Gli esseri umani trasmettono costantemente la propria vita interiore attraverso movimenti minuscoli, quasi invisibili. Una mano che si agita, una testa che si inclina di una frazione di pollice, o una gamba che trema con un ritmo sottile: questi sono micro-movimenti. A differenza dei grandi gesti deliberati che usiamo per salutare con la mano o indicare un cartello, questi piccoli movimenti avvengono con poco pensiero conscio. Eppure, essi rivelano in modo affidabile lo stato emotivo e la condizione psicologica di una persona. Per decenni, gli scienziati hanno cercato di insegnare ai computer a vedere questi segnali fugaci, trattandoli come un difficile enigma nell'analisi video. La sfida risiede nella loro sottigliezza; sono brevi, a bassa ampiezza e facilmente confondibili tra loro. Un'inclinazione della testa può sembrare un giro della testa; un tocco può somigliare a un grattamento. Fino a poco tempo fa, il modo migliore per risolvere questo problema era costruire programmi informatici specializzati addestrati su migliaia di esempi, un processo che richiedeva enormi quantità di dati e potenza di calcolo.

Un team di ricercatori dell'Università di Wuhan ha affrontato ora questo problema con una strategia diversa, una che si basa su strumenti di intelligenza artificiale esistenti e potenti, piuttosto che costruire nuovi da zero. In una recente competizione focalizzata sulla comprensione di questi micro-movimenti, hanno ottenuto il primo posto senza addestrare il loro sistema su alcun nuovo dato. Invece di insegnare a un computer come appare un micro-movimento, hanno chiesto a un sofisticato modello linguistico di descrivere ciò che vede e spiegare perché lo vede. Il loro successo rivela una verità sorprendente su come funzionano questi modelli: il modo migliore per far comprendere a un computer un movimento sottile non è chiedergli di indovinare la risposta, ma chiedergli di descrivere prima i dettagli, e poi lasciare che quei dettagli guidino la conclusione finale.

I ricercatori hanno partecipato a una sfida chiamata Micro-Action Analysis Grand Challenge, dove l'obiettivo era analizzare migliaia di brevi clip video di persone che compiono questi movimenti sottili. Il compito era diviso in diverse parti. Alcune parti richiedevano al computer di scegliere la categoria corretta da un elenco, come decidere se un movimento fosse un'interazione "testa-mano" o un'interazione "gamba-mano". Altre parti erano più aperte, chiedendo al computer di descrivere esattamente quali parti del corpo si muovevano, come si muovevano e perché un determinato' etichetta fosse quella giusta. Le regole della competizione erano rigide: i team non potevano addestrare i propri modelli sui dati della competizione, né potevano usare le risposte corrette per insegnare al sistema. Dovevano usare i modelli esattamente così come erano, guidandoli solo con istruzioni scritte.

Il team si è reso conto che un singolo modello di intelligenza artificiale non era lo strumento giusto per ogni parte del lavoro. Alcuni modelli sono eccellenti nel compiere scelte rapide e precise, come scegliere la lettera corretta da un elenco a scelta multipla. Altri sono migliori nel scrivere descrizioni dettagliate e fluide di ciò che accade in una scena. I ricercatori hanno costruito un sistema che agisce come un direttore d'orchestra, indirizzando ogni domanda specifica al modello più adatto a rispondere. Quando il compito era identificare una categoria o fare un semplice giudizio sì-o-no, inviavano il video a un modello noto per le sue forti capacità decisionali. Quando il compito era scrivere una descrizione o spiegare il ragionamento dietro una scelta, inviavano il video a un modello noto per la sua capacità di generare testi fluidi e coerenti.

Questa divisione del lavoro ha risolto un problema importante. Spesso, un modello che è bravo a descrivere una scena descriverà con sicurezza l'azione sbagliata perché si perde nei dettagli. Viceversa, un modello che è bravo a scegliere un'etichetta potrebbe dare una spiegazione molto breve e poco utile. Separando i compiti, il team ha garantito che il modello che scrive la descrizione non fosse distratto dalla pressione di indovinare l'etichetta finale. Tuttavia, sono andati oltre. Hanno scoperto che, anche con la migliore descrizione, il modello poteva comunque commettere un errore nell'etichetta finale se non era ancorato ai fatti corretti. Per risolvere questo, hanno introdotto un metodo che hanno chiamato ragionamento condizionato dal riconoscimento.

In questo approccio, il sistema chiede prima al modello decisionale di predire la categoria corretta. Prende poi questa predizione e la inserisce direttamente nel prompt per il modello descrittivo. Al modello descrittivo viene quindi chiesto di scrivere la sua spiegazione, ma deve farlo tenendo presente quella categoria predetta. È come se il sistema dicesse: "In base a ciò che vedi, spiega perché questo movimento è un'inclinazione della testa, e assicurati che la tua descrizione supporti questa conclusione". Questo semplice passaggio di fornire al modello descrittivo un indizio sull'esistenza della risposta ha migliorato drasticamente l'accuratezza del risultato finale. Il modello descrittivo non ha solo scritto una storia migliore; ha scritto una storia che era fattualmente coerente con l'etichetta corretta.

I risultati di questo approccio sono stati sorprendenti. Nella competizione finale, il sistema del team ha ottenuto punteggi significativamente più alti di qualsiasi altra partecipazione, in particolare nelle sezioni aperte in cui il computer doveva descrivere e ragionare sui movimenti. Mentre altri team faticavano a scrivere spiegazioni che fossero sia fluide che accurate, questo sistema è riuscito a produrre descrizioni che erano fedeli al contenuto del video. I ricercatori hanno scoperto che il motivo principale degli errori non era che i modelli non potessero vedere il movimento o non potessero scrivere bene, ma che a volte indovinavano l'etichetta sbagliata proprio all'inizio. Una volta fornita l'etichetta corretta come punto di partenza, i modelli erano in grado di costruire spiegazioni perfette.

Questo lavoro suggerisce che, per compiti visivi complessi che coinvolgono il comportamento umano sottile, il futuro potrebbe non risiedere nell'addestramento di nuovi modelli massicci da zero. Invece, la chiave potrebbe essere nel modo in cui organizziamo e dirigiamo i potenti strumenti che già possediamo. Abbinando attentamente il tipo giusto di intelligenza artificiale al tipo giusto di domanda, e lasciando che i modelli controllino il lavoro l'uno dell'altro, è possibile raggiungere un livello di comprensione che rivaleggia con i sistemi specializzati. I ricercatori hanno dimostrato che un sistema costruito interamente da modelli preesistenti e "congelati" può superare quelli addestrati specificamente per il compito, provando che un'orchestrazione intelligente è potente quanto un addestramento pesante.

Lo studio ha anche introdotto un nuovo modo per misurare il successo che evitasse i pregiudizi dei giudici automatizzati. Spesso, i modelli linguistici usati per valutare le risposte sono influenzati dalla fluidità, premiando una frase ben scritta anche se i fatti sono errati. I ricercatori hanno sviluppato un metodo per verificare se la spiegazione menzionasse effettivamente la categoria corretta, indipendentemente da quanto fosse scritta bene. Questo controllo "senza giudice" ha confermato che il loro metodo di guidare i modelli con un'etichetta predetta era il vero motore del loro successo. Ha dimostrato che il collo di bottiglia nella comprensione dei micro-movimenti non è la capacità di vedere o parlare, ma la capacità di identificare correttamente l'azione in primo luogo.

In definitiva, questa ricerca offre una via chiara per comprendere il comportamento umano attraverso il video. Dimostra che non abbiamo bisogno di reinventare la ruota per risolvere problemi difficili. Comprendendo i punti di forza e di debolezza degli strumenti che già possediamo, e disponendoli in una sequenza logica, possiamo sbloccare capacità che prima erano fuori portata. La capacità di leggere accuratamente i movimenti sottili e involontari del corpo umano ha profonde implicazioni in campi che vanno dallo screening della salute mentale all'interazione uomo-computer. I ricercatori hanno dimostrato che, con l'approccio giusto, l'intelligenza artificiale può imparare a vedere l'invisibile, non diventando più complessa, ma diventando più riflessiva.