Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

Quando un essere umano insegna a un bambino come andare in bicicletta, la lezione è una conversazione fatta di sguardi, oscillazioni e parole incoraggianti. Il bambino impara sentendo cambiare l'equilibrio, e il genitore impara osservando come il bambino interpreta la sua guida. Questo scambio è l'essenza dell'intelligenza ibrida: due menti diverse che lavorano insieme per risolvere un problema che nessuna delle due potrebbe padroneggiare da sola. Nel mondo della robotica, questa partnership è chiamata apprendimento robotico interattivo con l'uomo. Qui, una persona agisce come un insegnante, guidando un robot attraverso un compito utilizzando il feedback o le dimostrazioni. La speranza è che il robot impari a navigare in una stanza, spingere una scatola o pulire un pavimento comprendendo i segnali dell'insegnante. Tuttavia, spesso esiste un divario significativo tra ciò che l'insegnante intende e ciò che il robot comprende effettivamente. Se un essere umano pensa che il robot sia confuso, potrebbe offrire un suggerimento che il robot interpreta come una ricompensa per un'azione completamente diversa. Per costruire partnership migliori, gli scienziati devono prima capire come gli esseri umani diano senso al comportamento di un robot quando non possono comunicare direttamente con esso.

Un team di ricercatori si è posto l'obiettivo di scoprire esattamente come le persone interpretano il processo di apprendimento di un robot quando si limitano a osservare. Non erano interessati a come un robot apprenda matematicamente, quanto piuttosto alla storia che un osservatore umano racconta a se stesso riguardo a ciò che il robot sta pensando. Per farlo, hanno sviluppato un nuovo modo per studiare la percezione umana che eliminava la complicazione dell'insegnamento attivo. Invece di chiedere alle persone di interagire con un robot e fornire feedback, i ricercatori hanno semplicemente chiesto loro di guardare video di robot che imparano e poi descrivere ciò che credevano stesse accadendo all'interno della mente della macchina. Questo approccio ha permesso agli scienziati di vedere le assunzioni grezze e non filtrate che le persone fanno quando cercano di comprendere un apprendista artificiale.

Nel loro primo studio, i ricercatori hanno intervistato nove persone che hanno osservato un robot imparare a navigare in un ambiente a griglia, evitando buchi e trovando un'uscita. Ai partecipanti è stato chiesto di esporre i propri pensieri ad alta voce mentre guardavano il robot muoversi. I ricercatori hanno ascoltato schemi nel modo in cui gli osservatori spiegavano le azioni del robot. Hanno scoperto che le persone non vedevano solo movimenti casuali; costruivano un modello mentale dettagliato della vita interiore del robot. Questo modello rientrava costantemente in quattro categorie principali. In primo luogo, le persone assumevano che il robot avesse obiettivi specifici, come voler raggiungere l'uscita il più velocemente possibile o cercare di evitare di cadere. In secondo luogo, credevano che il robot stesse raccogliendo conoscenze, ricordando quali punti fossero pericolosi e quali sicuri. Terzo, gli osservatori pensavano che il robot stesse prendendo decisioni, valutando le opzioni e scegliendo percorsi basati su una strategia. Infine, le persone inferivano che il robot avesse un meccanismo di apprendimento, un modo per aggiornare la propria comprensione basata su errori o successi passati. Questi risultati suggerivano che gli essari umani proiettino naturalmente una ricca vita interiore simile a quella umana sulla macchina per rendere comprensibile il suo comportamento.

Per confermare queste idee iniziali e vedere se resistessero in situazioni più complesse, i ricercatori hanno condotto un secondo studio, più ampio, con trentantaquattro partecipanti. Hanno ampliato l'esperimento includendo due diversi tipi di compiti e due diversi tipi di algoritmi di apprendimento. In uno scenario, un robot imparava a pulire una stanza navigando intorno ai mobili e raccogliendo lo sporco. Nell'altro, un robot diverso imparava a spingere una scatola di medicinali attraverso un tavolo verso un paziente che non riusciva a raggiungerla. I robot utilizzavano metodi diversi per imparare: uno usava un metodo semplice, basato su tabelle di tentativi ed errori, mentre l'altro usava un metodo continuo più complesso che imita il modo in cui i cervelli biologici potrebbero elaborare movimenti fluidi. I partecipanti hanno osservato i video di questi robot in tre diverse fasi di apprendimento: iniziale, intermedia e finale. Dopo ogni video, hanno valutato quanto fossero rilevanti i quattro temi degli obiettivi, della conoscenza, del processo decisionale e dei meccanismi di apprendimento rispetto a ciò che stavano vedendo.

I risultati di questo studio più ampio hanno confermato che i quattro temi identificati nel primo esperimento non erano solo un caso fortuito. In entrambi i compiti, quello di pulizia e quello di spinta, e indipendentmente dal complesso metodo di apprendimento utilizzato dal robot, le persone si sono affidate costantemente a queste quattro categorie per dare un senso al robot. I ricercatori hanno scoperto che man mano che i robot diventavano più bravi nei loro compiti, il modo in cui le persone li descrivevano cambiava. Nelle fasi iniziali, gli osservatori pensavano spesso che il robot mancasse di conoscenza o che stesse semplicemente tirando a indovinare. Man mano che il robot migliorava, le persone cambiavano visione, credendo che il robot avesse sviluppato un piano chiaro e stesse prendendo decisioni deliberate. Lo studio ha dimostrato che la comprensione umana non è statica; evolve man mano che il comportamento del robot cambia. Le persone non vedono solo una macchina che segue un codice; vedono un agente che impara, ricorda e pianifica.

I ricercatori hanno anche scoperto che i dettagli specifici di queste assunzioni erano piuttosto fluidi. Ad esempio, quando le persone pensavano agli obiettivi del robot, a volte si concentravano sul risultato finale, come raggiungere l'uscita, e altre volte sulla qualità del movimento, come pulire in modo efficiente o muoversi in sicurezza. Allo stesso modo, quando consideravano come il robot imparava, le persone a volte immaginavano che stesse imparando attraverso la pura esplorazione, mentre altre volte credevano che stesse imparando dal feedback o ragionando sul problema. Questa flessibilità suggerisce che gli esseri umani abbiano un quadro dinamico per interpretare i robot, uno che aggiustano costantemente mentre osservano il robot operare. Lo studio non ha trovato che il background di una persona, come il fatto di avere figli o animali domestici, cambiasse questi schemi fondamentali di pensiero.

Questo lavoro evidenzia una sfida critica per il futuro della collaborazione uomo-robot. Poiché gli esseri umani assumono naturalmente che i robot abbiano obiettivi, conoscenze e processi decisionali simili ai propri, esiste il rischio che queste assunzioni siano errate. Se un essere umano crede che un robot stia imparando attraverso il ragionamento, quando in realtà sta solo seguendo una regola semplice, l'essere umano potrebbe fornire un feedback che confonde la macchina. I ricercatori suggeriscono che, affinché i robot siano veri partner efficaci, i loro progettisti debbano comprendere queste assunzioni umane. Riconoscendo che le persone proietteranno inevitabilmente una mente simile a quella umana su un robot, gli ingegneri possono creare sistemi che siano più trasparenti. Possono progettare robot che comunichino il loro effettivo processo di apprendimento in un modo che si allinei con le aspettative umane, riducendo il divario tra ciò che il robot sta facendo e ciò che l'essere umano pensa che stia facendo. Questo allineamento è essenziale per costruire il tipo di intelligenza ibrida in cui esseri umani e macchine possano davvero lavorare insieme, comprendendo ciascuno il ruolo dell'altro nel compito condiviso.