CARD: Diagnosing Belief to Action Routing Failures in Vision Language Models
Questo articolo introduce CARD, un metodo diagnostico che rivela come i modelli visione-linguaggio non riescano a instradare efficacemente le rappresentazioni delle credenze interne nelle loro predizioni di azione, un limite identificato attraverso un nuovo benchmark cooperativo in un mondo a griglia chiamato Relay Chain.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel campo in rapida crescita dell'intelligenza artificiale, i ricercatori sono sempre più interessati a capire se le macchine possano comprendere la mente altrui. Questa capacità, nota come "teoria della mente", permette a una persona di inferire ciò che un altro vede, sa o desidera, anche quando tali informazioni sono nascoste alla propria vista. È il collante mentale che rende possibile la cooperazione, permettendoci di prevedere la mossa successiva di un partner basandoci sulla sua prospettiva piuttosto che solo sulla nostra. Poiché i sistemi di intelligenza artificiale vengono impiegati per lavorare accanto agli esseri umani — come assistenti robotici, copiloti di guida o membri di un team — gli scienziati devono sapere se questi sistemi possiedono questa stessa capacità. Se un'IA non è in grado di comprendere veramente ciò che il suo partner sa, non può cooperare efficacemente, indipendentemente da quanto appaia intelligente in altri modi.
Per investigare su questo, un team di ricercatori dell'Università di Stoccarda ha sviluppato un nuovo modo per guardare dentro il "cervello" dei moderni modelli visivo-linguistici. Si tratta di programmi informatici avanzati in grado di vedere immagini e comprendere il linguaggio simultaneamente. I ricercatori volevano sapere se questi modelli utilizzino effettivamente la loro comprensione interna dello stato mentale di un partner per decidere quale azione intraprendere successivamente. Hanno creato un nuovo ambiente di test chiamato Relay Chain, un gioco cooperativo giocato su una griglia digitale. In questo gioco, due agenti tengono delle leve che aprono dei cancelli per permettere a un terzo agente di passare. Il successo dipende interamente dal fatto che gli agenti sappiano se il loro partner vede il viaggiatore che attraversa. Se un agente non può vedere l'attraversamento, deve tenere la leva; se può vedere l'attraversamento, deve rilasciare la leva. Questa configurazione costringe l'IA a prendere decisioni basate su ciò che crede che il suo partner veda, piuttosto che solo su ciò che sta accadendo nel mondo.
I ricercatori hanno utilizzato una tecnica chiamata "activation steering" (orientamento dell'attivazione) per sondare i modelli. Immaginate i pensieri interni dell'IA come un vasto paesaggio di segnali. Il team ha identificato segnali specifici che rappresentavano la "credenza" — il registro interno dell'IA di ciò che il partner vede. Hanno poi artificialmente rafforzato o indebolito questi segnali di credenza mentre l'IA giocava, essenzialmente stimolando lo stato interno del modello per renderlo più o meno certo della visione del partner. Se l'IA stesse realmente usando la sua comprensione della mente del partner per prendere decisioni, cambiare quella credenza interna dovrebbe cambiare l'azione scelta dall'IA. Per esempio, se il modello fosse stato stimolato a credere che il partner potesse vedere il viaggiatore, dovrebbe rilasciare la leva. Se stimolato a credere che il partner non potesse vedere, dovrebbe tenerla.
I risultati hanno rivelato un fallimento critico nel modo in cui operano questi modelli. Gli esperimenti hanno mostrato che i modelli possiedono effettivamente una rappresentazione chiara e leggibile della credenza del partner. Quando interrogati direttamente con la domanda "Il tuo partner vede il viaggiatore?", i modelli rispondevano correttamente, e i ricercatori potevano persino cambiare la risposta modificando i segnali interni. Tuttavia, quando ai modelli veniva chiesto di eseguire l'azione cooperativa — decidere se rilasciare la leva o tenerla — i loro segnali di credenza interna venivano completamente ignorati. Anche quando i ricercatori alteravano forzatamente la credenza interna del modello su ciò che il partner vedeva, la decisione del modello su cosa fare rimaneva esattamente la stessa. Agiva come se avesse una memoria perfetta della visione del partner, ma sceglieva semplicemente di non usare quella memoria nel compiere un movimento.
Questa discrepanza era costante in quattro diversi tipi di modelli open-source testati, dai sistemi più piccoli a quelli più grandi. I modelli non stavano fallendo perché mancavano delle informazioni; stavano fallendo perché non stavano indirizzando tali informazioni alla parte del sistema che decide sulle azioni. I ricercatori hanno escluso diverse altre possibilità, come il fatto che i modelli fossero confusi dalla formulazione delle domande o che il metodo di orientamento fosse troppo debole per essere registrato. Hanno testato decine di modi diversi per formulare le istruzioni e hanno scoperto che nessun tipo di prompting poteva costringere i modelli a usare le proprie credenze interne per guidare le proprie azioni. I modelli erano effettivamente "ciechi" rispetto alla propria conoscenza quando si trattava di compiere un passo.
Lo studio conclude che, sebbene questi sistemi di intelligenza artificiale possano essere addestrati a descrivere lo stato mentale di un partner, essi non collegano automaticamente tale descrizione al proprio comportamento. Possono parlare di ciò che un altro sa, ma non usano quella conoscenza per decidere cosa fare. Ciò suggerisce che insegnare a un modello a rispondere a domande sulle credenze non sia sufficiente per creare un agente veramente cooperativo. Affinché l'IA possa lavorare fluidamente con gli esseri umani, la comprensione interna degli altri deve essere cablata direttamente nel processo decisionale, una connessione che i modelli attuali sembrano non possedere.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.