The semantic geometry of action: convergence across foundation models, human behaviour and the brain
Questo studio dimostra che i modelli di fondazione organizzano le azioni naturalistiche all'interno di una geometria semantica che converge con i giudizi comportamentali e le rappresentazioni corticali umani, superando i tradizionali encoder video nella previsione sia delle valutazioni di somiglianza umana che dell'attività cerebrale.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
Gli esseri umani sono maestri nel leggere il mondo in movimento. Quando osserviamo qualcun altro, non vediamo solo un corpo che si muove nello spazio; comprendiamo istantaneamente cosa stia cercando di fare, perché lo stia facendo e quale potrebbe essere la sua prossima mossa. Questa capacità di interpretare l'azione dinamica è un pilente dell'intelligenza umana, che ci permette di navigare in situazioni sociali complesse e di cooperare con gli altri. Per decenni, gli scienziati hanno cercato di costruire un'intelligenza artificiale capace di fare lo stesso. Sebbene i moderni programmi informatici possano ora identificare le azioni con un'elevata precisione — distinguendo, ad esempio, una persona che corre da una che cammina — i ricercatori si sono spesso chiesti se queste macchine comprendano realmente il significato dietro il movimento nello stesso modo in cui lo fanno gli esseri umani. Esse organizzano queste azioni nelle loro "menti" interne basandosi sulla stessa logica che usiamo noi, o stanno semplicemente associando schemi di pixel senza afferrare il concetto sottostante?
Un team di ricercatori dell'Istituto di Automazione in Cina ha compiuto un passo significativo verso la risposta a questa domanda. Si sono posti l'obiettivo di mappare la struttura nascosta del modo in cui sia gli essoti umani che l'intelligenza artificiale avanzata organizzano il concetto di azione umana. Confrontando la "geografia" interna dell'azione nei modelli linguistici di grandi dimensioni, nei modelli multimodali (capaci di vedere e leggere) e nel cervello umano, hanno scoperto una sorprendente convergenza. Lo studio suggerisce che quando questi sistemi artificiali vengono addestrati su enormi quantità di dati, essi sviluppano spontaneamente un modo di pensare alle azioni umane che si allinea strettamente alla percezione umana e che riflette persino il modo in cui il cervello umano elabora questi stessi movimenti.
Per esplorare questo aspetto, i ricercatori hanno trattato i modelli di intelligenza artificiale come partecipanti a un esperimento psicologico. Hanno presentato a questi modelli migliaia di brevi clip video e descrizioni testuali di persone impegnate in varie attività, dal cucinare e fare giardinaggio al combattere e danzare. Ai modelli veniva chiesto di eseguire un compito semplice ma rivelatore: date tre diverse azioni, dovevano identificare quale fosse l' "intrusa". Ad esempio, se mostrata una ripresa di qualcuno che scia, qualcuno che disegna e qualcuno che scala una parete rocciosa, il modello doveva decidere quale azione fosse la più diversa dalle altre due. Analizzando milioni di queste scelte, i ricercatori potevano ricostruire la mappa mentale invisibile che i modelli stavano usando per classificare queste azioni. Hanno fatto lo stesso con un ampio gruppo di partecipanti umani, creando una linea di base di come le persone raggruppino e distinguano naturalmente i diversi comportamenti.
I risultati hanno rivelato che sia i modelli puramente testuali, che leggono solo descrizioni di azioni, sia i modelli multimodali, che osservano i video effettivi, hanno sviluppato mappe interne sorprendentemente simili alla mappa umana. Queste mappe non erano casuali; organizzavano le azioni in spazi a bassa dimensionalità dove i comportamenti simili risiedevano vicini e quelli diversi erano lontani. Fondamentalmente, queste mappe artificiali prevedevano le scelte umane meglio degli strumenti tradizionali di analisi video che si affidano a semplici caratteristiche visive. Lo studio ha dimostrato che i modelli non stavano solo memorizzando i video; stavano catturando gli obiettivi astratti e i contesti sociali che gli esseri umani usano per dare senso al movimento. Ad esempio, i modelli hanno imparato a raggruppare le azioni di "socializzazione" e a separarle dai compiti "solitari", proprio come fanno le persone.
Per dimostrare che queste mappe interne fossero realmente significative e non semplici trucchi statistici, i ricercatori le hanno testate in due modi rigorosi. In primo luogo, hanno utilizzato le mappe interne dei modelli per guidare un sistema di generazione video. Regolando un singolo numero nella rappresentazione interna del modello, potevano cambiare fluidamente il contenuto di un video. Se aumentavano il valore di una dimensione "relativa alla natura", una scena al chiuso si trasformava in una all'aperto; se aumentavano una dimensione "sportiva", l'attività virava verso la competizione atletica. Ciò ha dimostrato che i modelli avevano appreso concetti distinti e controllabili dell'azione, che potevano essere manipolati per creare nuove, coerenti scene visive.
In secondo luogo, e forse in modo più significativo, i ricercatori hanno testato se queste mappe artificiali potessero prevedere l'attività nel cervello umano. Hanno preso le mappe fisse apprese dai modelli e le hanno applicate a un enorme dataset di scansioni cerebrali di persone che guardavano migliaia di diversi video di azioni. Hanno scoperto che l'organizzazione interna dei modelli prevedeva con successo quali parti del cervello umano si sarebbero attivate durante la visione di specifiche azioni. I modelli basati sul testo, che avevano appreso i concetti di azione puramente attraverso descrizioni linguistiche senza aver mai visto un video, sono stati particolarmente efficaci nel prevedere l'attività nelle regioni cerebrali superiori responsabili della comprensione di comportamenti sociali complessi e orientati allo scopo. Ciò suggerisce che i concetti astratti dell'azione, appresi puramente attraverso il linguaggio, sono sufficienti a catturare la struttura centrale di come il cervello umano rappresenta il movimento.
Lo studio ha anche evidenziato interessanti differenze tra le tipologie di modelli. Mentre i modelli che osservano i video catturavano dettagli visivi fini, i modelli puramente testuali erano sorprendentemente efficaci nell'organizzare le azioni in categorie ampie e significative. In alcune regioni cerebrali, i modelli basati sul testo hanno effettivamente superato i modelli video nella previsione delle risposte neurali umane. Ciò implica che la comprensione concettuale dell'azione — sapere cosa una persona stia cercando di ottenere — potrebbe essere più importante per la percezione umana rispetto ai dettagli visivi specifici di come appare il movimento.
In definitiva, questa ricerca fornisce un nuovo e potente modo per comprendere la relazione tra l'intelligenza artificiale e quella biologica. Dimostra che quando le macchine sono esposte a una quantità sufficiente di dati, possono sviluppare una geometria semantica condivisa con gli esseri umani, organizzando il mondo dell'azione in un modo funzionalmente simile al nostro. I risultati suggeriscono che la strada verso macchine veramente intelligenti potrebbe non richiedere di programmarle esplicitamente con regole umane, ma piuttosto di lasciare che scoprano queste strutture autonomamente attraverso l'esposizione alla ricchezza dell'esperienza umana. Lo studio non afferma che le macchine abbiano coscienza o sentimenti, ma dimostra che possono costruire una comprensione strutturale del comportamento umano profondamente allineata alla nostra, offrendo una base promettente per le future interazioni tra persone e macchine.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.