🤖 AI

Evaluating XAI Support From A Hierarchical Reinforcement Learning Policy in Human-Agent Collaboration

Questo articolo presenta la prima valutazione sistematica dell'apprendimento per rinforzo gerarchico intrinsecamente spiegabile nella collaborazione uomo-agente utilizzando il benchmark Overcooked-AI, rivelando che, sebbene le spiegazioni abbiano mostrato tendenze verso un miglioramento più rapido, le spiegazioni erogate tramite audio hanno indebolito significativamente l'alleanza di lavoro tra uomo e agente creando aspettative di partnership non soddisfatte.

Autori originali: Mateus Levi Simões Fernandes, Alberto Sardinha

Pubblicato 2026-08-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mateus Levi Simões Fernandes, Alberto Sardinha

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di giocare a un videogioco ad alta velocità con un compagno robot. Entrambi dovete sminuzzare cipolle, cucinare zuppa e servirla prima che il tempo finisca. Nel mondo reale, quando due esseri umani giocano insieme, parlano: "Prendo io il pomodoro, tu prendi la pentola!" oppure "Attento, sto passando!". Questa conversazione aiuta a costruire una comprensia comune di ciò che sta accadendo. Ma i robot sono spesso come macchine silenziose e misteriose; si muovono velocemente e fanno cose, ma non ti dicono perché. Questo crea un divario. Se un robot vuole essere un vero partner, non solo uno strumento, deve spiegare i suoi pensieri. È qui che entra in gioco l' "Intelligenza Artificiale Spiegabile" (XAI). È la scienza di insegnare ai robot a dire: "Lo sto facendo perché...", così che gli esseri umani possano fidarsi di loro e collaborare meglio. Ma ecco la parte complicata: se il robot parla troppo, potrebbe distrarti. Se parla nel modo sbagliato, potrebbe infastidirti. La grande domanda è: come possiamo far sì che un robot si spieghi senza intralciare il gioco?

Questo articolo approfondisce esattamente questo problema impostando un esperimento in una cucina digitale utilizzando un gioco chiamato Overcooked-AI. I ricercatori hanno utilizzato un tipo speciale di cervello robotico chiamato "Apprendimento per Rinforzo Gerarchico". Pensa a questo come a un robot che non pensa solo a ogni singolo micro-passo (come "muovi a sinistra, muovi a destra"), ma pensa invece in grandi blocchi, come "prendi una cipolla" o "metti la zuppa in una ciotola". Poiché pensa in questi grandi blocchi, può naturalmente dirti cosa ha intenzione di fare dopo. Il team voleva vedere se lasciare che questo robot parlasse al suo giocatore umano avrebbe fatto lavorare meglio insieme. Hanno testato due modi di comunicare: il robot poteva scrivere messaggi sullo schermo (Testo) o pronunciarli ad alta voce (Audio).

I risultati sono stati un misto di sorprese e lezioni. In primo luogo, le spiegazioni del robot non hanno fatto segnare più punti alla squadra immediatamente. Infatti, i giocatori umani che non ricevevano alcuna spiegazione hanno segnato punteggi mediamente leggermente superiori, anche se la differenza non era enorme. Ciò suggerisce che per le persone che sono già brave nei giochi, gli aggiornamenti costanti potrebbero essere solo una distrazione. Tuttavia, c'era un lato positivo: i giocatori che ricevevano le spiegazioni sembravano imparare a lavorare con il robot più velocemente. I loro punteggi sono migliorati più rapidamente nel tempo, come se il chiacchiericcio del robot li avesse aiutati a capire prima lo stile del robot stesso.

Ma la scoperta più interessante è avvenuta riguardo al modo in cui il robot parlava. Quando il robot parlava ad alta voce (Audio), accadeva qualcosa di strano. Anche se i giocatori imparavano più velocemente, sentivano una connessione molto più debole con il robot. Non sentivano di essere sulla stessa squadra. È come se la voce del robot facesse loro aspettare una vera conversazione e una promessa di ciò che sarebbe accaduto dopo. Ma poiché il robot stava solo reagendo al momento (come un riflesso), cambiava spesso idea istantaneamente dopo aver parlato. Quando il robot diceva: "Sto andando alla pentola", ma poi correva immediatamente verso il bancone, l'umano si sentiva tradito. La voce parlata faceva sembrare il robot un partner che dovrebbe mantenere la parola data, ma il cervello del robot era troppo reattivo per poter mantenere effettivamente quella promessa.

Al contrario, quando il robot si limitava a scrivere messaggi sullo schermo, i giocatori non provavano questo senso di tradimento. Potevano ignorare il testo se volevano, quindi il robot non sembrava un partner "finto". Lo studio suggerisce che, sebbene parlare ad alta voce attiri l'attenzione e aiuti ad imparare più velocemente, alza anche aspettative che un robot semplice e reattivo potrebbe non essere in grado di soddisfare. I ricercatori concludono che, se vogliamo che i robot ci parlino, dobbiamo assicurarci che siano effettivamente capaci di mantenere le promesse che le loro voci implicano, altrimenti la partnership potrebbe sembrare interrotta.

Sintesi Tecnica: Valutazione del supporto XAI da una politica di Reinforcement Learning Gerarchico nella collaborazione uomo-agente

Definizione del Problema

La transizione dei sistemi di IA da strumenti a partner collaborativi richiede che essi siano non solo efficaci, ma anche comprensibili per i compagni umani. Sebbene l'IA spiegabile (XAI) offra potenziali soluzioni, la valutazione sistematica in contesti collaborativi rimane limitata. La ricerca esistente si basa spesso su politiche create manualmente in ambienti personalizzati (ad es. Minecraft), il che limita la generalizzabilità dei risultati alla ricerca di punta sul teaming che utilizza benchmark stabiliti come Overcooked-AI. Inoltre, la letteratura attuale manca di una valutazione sistematica del supporto XAI generato da politiche apprese intrinsecamente spiegabili (rispetto a spiegazioni post-hoc o regole create manualmente) all'interno di questi benchmark ad alte prestazioni. Esiste anche una lacuna nella comprensione di come la modalità di spiegazione (testo vs. audio) influenzi la collaborazione in compiti visivamente impegnativi e frenetici.

Metodologia

Gli autori hanno condotto un esperimento tra soggetti ( $n=38$ ) nell'ambiente benchmark Overcooked-AI, specificamente utilizzando il layout Counter-Circuit.

Architettura dell'Agente: Lo studio ha utilizzato l'architettura Hierarchical Ad Hoc Agents (HA2). Questo sistema impiega una struttura Manager-Worker in cui una politica di alto livello, il Manager ( $\pi_H$ ), seleziona sottotask semanticamente significativi (ad es. "prendi cipolla", "metti cipolla nel vaso") da un insieme predefinito di 12 obiettivi specifici del dominio. Una politica di basso livello, il Worker ( $\pi_W$ ), esegue quindi azioni primitive per completare il sottotask selezionato. Questa gerarchia fornisce spiegabilità intrinseca, poiché le decisioni di alto livello sono interpretabili dall'uomo.
Generazione delle Spiegazioni: Le spiegazioni in tempo reale sono state generate direttamente dalle selezioni dei sottotask del Manager. Per evitare il sovraccarico informativo, è stato implementato un nuovo sistema basato su trigger per fornire spiegazioni solo nei momenti rilevanti per la coordinazione. I trigger includevano:
- Blocco (Blocking): Quando l'umano ostruisce il percorso dell'agente.
- Percorso Critico (Critical Path): Quando l'agente seleziona sottotask essenziali per il progresso del compito.
- Soglia di Distanza (Distance Threshold): Aggiornamenti periodici durante movimenti prolungati.
- Cambio di Sottotask (Subtask Change): Annunci quando il Manager cambia obiettivo.
Condizioni Sperimentali: I partecipanti sono stati assegnati casualmente a una di tre condizioni:
1. Controllo: Nessuna spiegazione.
2. Testo: Spiegazioni visualizzate in una barra semi-trasparente nella parte inferiore dello schermo.
3. Audio: Contenuto identico consegnato tramite text-to-speech nativo del browser.
Procedura: I partecipanti hanno completato quattro sessioni di gioco da 80 secondi ciascuna. Le metriche includevano punteggi di gioco, tassi di apprendimento (pendenze lineari attraverso le sessioni), valutazioni del carico di lavoro NASA-TLX e valutazioni soggettive utilizzando il questionario Godspeed e un modulo modificato della Human-Robot Fluency Assessment. Il campione consisteva in adulti con esperienza di gioco (punteggio medio di familiarità 8.1/10).

Contributi Chiave

Prima Valutazione Sistematica in un Benchmark: Questo lavoro fornisce la prima valutazione sistematica del supporto XAI generato da politiche apprese allo stato dell'arte (HA2) all'interno di un benchmark stabilito per il teaming uomo-agente (Overcooked-AI), dimostrando che le architetture di reinforcement learning intrinsecamente spiegabili possono generare spiegazioni autentiche in tempo reale senza compromettere le prestazioni.
Confronto tra Modalità: Presenta il primo confronto tra modalità di spiegazione (testo vs. audio) in un compito collaborativo uomo-agente in tempo reale, isolando gli effetti della modalità di consegna sulle prestazioni e sull'esperienza soggettiva.
Metodologia di Base: Gli autori stabiliscono un sistema di consegna basato su trigger come baseline per le spiegazioni delle politiche gerarchiche, offrendo una metodologia per valutare le architetture di RL intrinsecamente spiegabili in ambienti benchmark.

Risultati

Prestazioni (H1): Non c'è stata differenza significativa nei punteggi immediati di gioco tra il gruppo di controllo e le condizioni con spiegazione combinata ( $p=0.136$ ). Tuttavia, una tendenza ha suggerito che i partecipanti che ricevevano spiegazioni (particolarmente l'audio) mostravano tassi di apprendimento più rapidi (miglioramento attraverso le sessioni) rispetto al gruppo di controllo ( $d=0.59$ ), sebbene ciò non abbia raggiunto la significatività statistica ( $p=0.087$ ).
Carico Cognitivo (H2): Non sono state trovate differenze significative nel carico cognitivo (NASA-TLX) tra le modalità testo e audio.
Esperienza Soggettiva (H3): È emerso un risultato significativo e robusto riguardo al Legame di Alleanza Lavorativa (Working-Alliance Bond). I partecipanti nella condizione Audio hanno valutato il loro legame con l'agente significativamente più basso rispetto a quelli nelle condizioni Testo o Controllo ( $p=0.003$ $p = 0.003$ ). Le spiegazioni testuali non hanno influenzato negativamente il legame rispetto al gruppo di controllo.
- Antropomorfismo: Una tendenza ha indicato che i partecipanti all'audio valutavano l'agente come meno antropomorfico, sebbene ciò non sia sopravvissuto alla correzione di Bonferroni.
- Meccanismo: Gli autori interpretano la riduzione del legame nella condizione audio come un divario "affermazione-realtà" (claim-versus-reality). Le spiegazioni parlate inquadrano l'agente come un partner comunicativo che assume impegni, ma la politica sottostante, model-free e reattiva, non può sostenere tali impegni (ad es. può cambiare sottotask istantaneamente dopo aver parlato). Questo divario è meno evidente nel testo (che può essere ignorato) o nel silenzio.

Significato e Rivendicazioni

Il documento sostiene di far avanzare la comprensione di quando e come la XAI operi in ambienti collaborativi frenetici. L'intuizione primaria è che far corrispondere la modalità di spiegazione alla capacità della politica sottostante è cruciale.

Disallineamento Architetturale: Lo studio suggerisce che le spiegazioni parlate attivano aspettative di partnership che le politiche reattive e model-free non possono soddisfare, portando a una rottura nell'alleanza lavorativa. Il "costo del legame" non è un'accusa contro la consegna audio in sé, ma contro le politiche che mancano dell'orizzonte di pianificazione o delle capacità di modellazione umana per sostenere le intenzioni verbalizzate.
Adattamento vs. Esecuzione: I risultati suggeriscono che il supporto XAI possa migliorare l'adattamento umano ai modelli di comportamento dell'agente (accelerando l'apprendimento) piuttosto che l'esecuzione immediata del compito, particolarmente per gli utenti esperti che possono già possedere strategie di coordinamento efficienti.
Direzione Futura: Gli autori sostengono che la strada per una XAI collaborativa efficace sia architetturale. Per sostenere la partnership implicata dalle spiegazioni parlate, i sistemi futuri dovrebbero incorporare orizzonti di impegno più lunghi (piani vincolanti) e modelli espliciti dei compagni umani per consentire una comunicazione bidirezionale basata sulla teoria della mente, piuttosto che limitarsi a narrare output reattivi.

Il documento conclude che, sebbene il RL gerarchico offra una base promettente per l'IA intrinsecamente spiegabile, l'efficacia della XAI è limitata dalla capacità della politica di allineare il proprio comportamento effettivo con le aspettative relazionali create dal suo metodo di consegna (specialmente il parlato).