Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
Questo articolo introduce MOSAIC, un benchmark multimodale che rivela come gli attuali modelli visione-linguaggio non riescano a tradurre il ragionamento della Teoria della Mente in azioni sociali coordinate a causa di colli di bottiglia nella generazione di segnali non verbali coerenti e nell'interpretazione dei comportamenti altrui, mentre i modelli con un accoppiamento esplicito tra credenza e azione hanno successo.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
La connessione umana si basa su uno scambio silenzioso e rapido che va ben oltre le parole. Quando parliamo, modifichiamo anche il nostro sguardo, regoliamo la nostra postura e mutiamo le nostre espressioni facciali, tutto mentre cerchiamo di indovinare cosa l'altra persona stia pensando e provando. Questa capacità di comprendere la mente di un'altra persona e poi usare tale comprensione per guidare le proprie azioni è nota come teoria della mente. Per decenni, gli scienziati hanno studiato questa capacità, spesso chiedendo alle persone di rispondere a domande su storie o osservando come reagiscono a semplici enigmi sociali. L'obiettivo è stato quello di vedere se l'intelligenza artificiale potesse fare lo stesso. Ma è rimasta una lacuna critica: sapere cosa pensa qualcuno è diverso dal agire su quella conoscenza in tempo reale. Un sistema potrebbe indovinare correttamente che una persona sta nascondendo un segreto, ma può poi decidere di distogliere lo sguardo, sorridere o muovere il corpo in un modo che incoraggi sottilmente quella persona a rivelarlo? Fino ad ora, nessun test è stato in grado di misurare se un'IA possa tradurre un' ipotesi mentale in un segnale sociale fisico coordinato.
I ricercatori dell'Université Paris-Saclay e della Sorbonne Université si sono posti l'obiettivo di colmare questa lacuna con un nuovo esperimento chiamato MOSAIC. Hanno costruito un mondo virtuale in cui due agenti digitali interagivano in un gioco di caccia al tesoro. In questo scenario, un agente, il soggetto, sapeva dove si trovava un premio nascosto, mentre l'altro, il partecipante, non lo sapeva. Il compito del soggetto era quello di aiutare il partecipante a trovare il tesoro o, a seconda delle regole del turno, di ingannarlo portandolo a scegliere la scatola sbagliata. Il gioco è stato progettato per essere un test rigoroso di intelligenza sociale. Su dieci turni di interazione, gli agenti dovevano comunicare usando un mix di parole parlate, movimenti del corpo, direzione dello sguardo ed espressioni facciali. I ricercatori hanno variato la difficoltà cambiando le regole: a volte il soggetto doveva essere onesto, altre volte doveva essere ingannevole. Fondamentalmente, hanno anche cambiato le istruzioni interne del soggetto, chiedendo ad alcuni di agire secondo i propri desideri senza pensare all'altra persona, e chiedendo ad altri di modellare esplicitamente le credenze del partecipante e cercare di influenzarle.
I ricercatori hanno testato tredici diversi modelli di intelligenza artificiale in questo ambiente, inclusi undici modelli visione-linguaggio capaci di vedere e parlare, e un modello basato solo sul testo. Hanno eseguito duecento prove per ogni modello per raccogliere dati sufficienti a osservare schemi chiari. I risultati sono stati netti. La maggior parte degli avanzati sistemi di IA non è riuscita a produrre il comportamento coordinato necessario per avere successo. Quando diminta di ingannare, i modelli non riuscivano a generare il mix necessario di parole fuorvianti e linguaggio del corpo contraddittorio. Quando diminta di aiutare, spesso fallivano nel muoversi o nel guardare in modo da guidare l'altro agente. Lo studio ha identificato due punti di rottura specifici nel processo. In primo luogo, la maggior parte dei modelli non riusciva a produrre segnali non verbali che avessero senso direzionale; i loro movimenti e il loro sguardo erano spesso casuali o puntavano nella direzione sbagliata. In secondo luogo, anche quando un modello produceva un segnale chiaro, l'altro agente nella simulazione non riusciva a notarlo o ad agire di conseguenza. Gli agenti IA sembravano parlare e muoversi, ma non stavano comunicando veramente.
Un modello si è distinto come un'eccezione completa. Un sistema ibrido chiamato PCM-LLM, che è stato costruito con un modulo specifico e strutturato progettato per gestire credenze e intenzioni, ha avuto successo in ogni condizione. È riuscito a guidare con successo il partecipante verso il tesoro quando gli veniva chiesto di aiutare, ed è riuscito a tradirlo quando gli veniva chiesto di ingannare. Questo successo suggerisce che il fallimento degli altri modelli non fosse dovuto alla difficoltà del compito in sé, quanto piuttosto a un pezzo mancante nella loro architettura. I modelli standard, che elaborano insieme linguaggio e immagini, sembravano mancare del meccanismo interno per collegare una credenza su un'altra persona direttamente a un'azione fisica. I ricercatori hanno scoperto che, per la maggior parte dei modelli, l'input visivo ricevuto agiva in realtà come una distrazione piuttosto che come un indizio utile. In alcuni casi, rimuovere completamente l'immagine visiva migliorava la capacità del modello di inviare un segnale direzionale chiaro, suggerendo che i dati visivi interferissero con il loro ragionamento invece di supportarlo.
Lo studio ha anche esplorato se questi modelli potessero imparare a fare meglio con la pratica. I ricercatori hanno preso uno dei modelli fallimentari e lo hanno addestrato utilizzando esempi di comportamenti di successo generati dal sistema ibrido ad alte prestazioni. Sebbene questo addestramento abbia cambiato leggermente il comportamento del modello, non ha risolto il problema fondamentale. Il modello non era ancora in grado di coordinare le sue parole, i suoi occhi e il suo corpo in un unico segnale sociale coerente. Ciò suggerisce che mostrare semplicemente a un'IA come muoversi non sia sufficiente; ha bisogno di un cambiamento architettonico più profondo per capire che le sue azioni sono volte a influenzare un'altra mente. Le scoperte indicano che gli attuali sistemi di IA, nonostante la loro capacità di discutere scenari sociali complessi in forma testuale, non hanno ancora imparato a incarnare tali idee. Possono parlare della teoria della mente, ma non possono ancora viverla. Il divario tra l'inferire cosa pensa qualcuno e l'agire su tale inferenza in modo coordinato e fisico rimane un limite distinto e misurabile della tecnologia attuale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.