Immaginate un computer che cerca di comprendere il mondo attraverso una telecamera fissata alla testa di una persona. Questo non è lo stesso che guardare un film da un posto fisso in un cinema. In questa visuale in prima persona, il mondo sfreccia via, gli oggetti appaiono e scompaiono in un batter d'occhio e l'indizio più importante potrebbe essere un dettaglio minuscolo e fugace proprio nell'angolo dell'obiettivo. Per l'intelligenza artificiale, questo è un rompicapo difficile. I moderni sistemi informatici, noti come grandi modelli visivo-linguistici, sono incredibilmente intelligenti nel leggere il testo e guardare le immagini, ma spesso faticano quando la visuale è caotica e personale. Tendono a indovinare cosa stia accadendo basandosi su ciò che hanno letto in precedenza, piuttosto che guardare attentamente ciò che è effettivamente presente. Potrebbero vedere una cucina e presumere che qualcuno stia cucinando, anche se il video mostra che la persona sta semplicemente lavando una tazza, perché il loro database interno dice loro che le cucine servono per cucinare. Questa dipendenza dalla memoria invece che dall'osservazione porta a errori in situazioni critiche, come quando un robot deve aiutare un essere umano o quando un dispositivo indossabile deve assistere una persona con disabilità.

Un team di ricercatori dalla Cina ha sviluppato un nuovo modo per insegnare a questi sistemi informatici di smettere di indovinare e iniziare a guardare. Chiamano il loro metodo Visual Evidence-Guided Learning (Apprendimento Guidato dall'Evidenza Visiva). L'idea centrale è semplice ma potente: costringere il computer a indicare la parte specifica del video che prova che la sua risposta è corretta. Nei loro esperimenti, hanno scoperto che quando hanno addestrato i modelli a trovare e fare affidamento su questi piccoli e decisivi indizi visivi, i computer sono diventati molto più bravi a comprendere ciò che accadeva nel video. Hanno smesso di inventare storie basate sulla conoscenza generale e hanno iniziato a descrivere esattamente ciò che vedevano. Questo passaggio dal "tirare a indovinare" al "vedere" è un passo significativo verso la creazione di un'intelligenza artificiale affidabile nel mondo reale e disordinato del movimento umano.

I ricercatori hanno iniziato osservando perché questi sistemi intelligenti falliscono così spesso nei video in prima persona. Hanno notato due problemi principali. Primo, quando gli indizi visivi erano deboli o difficili da individuare, il computer ricorreva all'addestramento linguistico, usando il senso comune per colmare le lacune. Ad esempio, se una persona immergeva un pennello in una piccola tazza, il computer poteva ignorare la tazza e dire che la persona stava dipingendo, semplicemente perché i pennelli servono solitamente a quello. Secondo, il computer veniva spesso distratto dalla visione d'insieme. Se un video mostrava un intero studio d'arte, il sistema poteva concentrarsi sull'atmosfera della stanza piuttosto che sull'azione specifica di una mano che tiene uno strumento. I ricercatori si resero conto che i metodi di addestramento attuali non punivano il computer per aver ignorato i piccoli dettagli o per essersi affidato troppo alla propria conoscenza interna. Al computer non veniva insegnato a dare valore all'evidenza visiva che stava vedendo.

Per risolvere il problema, il team ha costruito una pipeline di addestramento che agisce come un allenatore severo. Non hanno chiesto agli esseri umani di etichettare manualmente ogni singolo video, il che sarebbe stato troppo lento e costoso. Invece, hanno creato un sistema automatico che scansiona il video e seleziona i indizi visivi più probabili. Il sistema analizza i fotogrammi del video e la domanda posta, identificando poi la specifica porzione dell'immagine che sembra più rilevante. Identifica anche una seconda porzione che è simile ma meno chiara, per fungere da test per la concentrazione del computer. Questo crea una coppia di segnali: uno che rappresenta la verità e uno che rappresenta una distrazione confondente. Il computer viene quindi addestrato ad allineare il proprio ragionamento con il segnale chiaro e a ignorare quello confondente.

Una parte cruciale di questo processo è una fase di filtraggio che avviene prima che il computer inizi il suo addestramento finale. I ricercatori si sono resi conto che non tutti i video sono buoni per l'insegnamento. Alcuni video sono troppo sfocati, o l'azione importante è troppo piccola per essere vista chiaramente dal sistema automatico. Se il computer prova a imparare da questi cattivi esempi, imparerà solo a essere confuso. Così, il team ha costruito un meccanismo per controllare la qualità degli indizi visivi. Se il computer non riesce a trovare un oggetto chiaro e decisivo nel video, quell'esempio viene scartato. Controllano anche se l'esempio è effettivamente utile per l'apprendimento. Se il computer può già rispondere alla domanda facilmente, o se il video è troppo complesso per fornire una lezione chiara, anche quell'esempio viene scartato. Questo lascia un insieme più piccolo e di alta qualità di video dove gli indizi visivi sono nitidi e la lezione è chiara.

Una volta che il computer è addestrato su questi dati filtrati e di alta qualità, attraversa una fase finale di apprendimento per rinforzo. È qui che il computer impara a fare scelte migliori ricevendo ricompense per i comportamenti corretti. In questo nuovo sistema, la ricompensa non è solo per aver dato la risposta giusta, ma per aver dato la risposta giusta guardando la cosa giusta. Se il computer identifica correttamente l'oggetto o l'azione specifica che prova la risposta, riceve una ricompensa. Se cerca di indovinare basandosi sulla scena generale o elenca troppi oggetti non correlati per coprire tutte le possibilità, viene penalizzato. Il sistema scoraggia attivamente il computer dal concentrarsi sulla porzione "confondente" creata in precedenza. Questo costringe il computer a restringere la sua attenzione su l'unica cosa che conta davvero, invece di disperdere il suo focus su tutta la scena.

I risultati di questo approccio sono stati sorprendenti. I ricercatori hanno testato il loro metodo su diversi benchmark progettati per misurare quanto bene i computer comprendano i video in prima persona. Hanno confrontato il loro sistema con altri metodi avanzati sviluppati di recente. In ogni test, il loro sistema è stato superiore. Era più accurato nel rispondere a domande su ciò che accadeva nel video, che il compito fosse identificare un oggetto, pianificare una sequenza di azioni o comprendere una scena complessa. Il miglioramento è stato costante attraverso diversi tipi di modelli informatici, suggerendo che il metodo funziona bene indipendentmente dall'architettura cerebrale specifica utilizzata. I ricercatori hanno scoperto che il sistema era particolarmente bravo a gestire situazioni in cui il dettaglio importante era piccolo o si muoveva velocemente, che è esattamente dove gli altri sistemi di solito falliscono.

Il team ha anche dedicato del tempo a verificare che il loro sistema automatico stesse effettivamente scegliendo i giusti indizi. Hanno controllato manualmente un campione dei video per vedere se la porzione visiva scelta dal computer corrispondeva a ciò che un essere umano considererebbe la parte più importante. Hanno scoperto che nella stragrande maggioranza dei casi, la scelta del computer era corretta. Ciò ha dato loro la fiducia che il processo automatico fosse abbastanza affidabile da essere usato come insegnante. Hanno anche testato quanto il sistema fosse sensibile a diverse impostazioni, come quanto dovesse essere severo il filtraggio. Hanno scoperto che esisteva un punto di equilibrio: se il filtraggio era troppo blando, il computer imparava da esempi errati; se era troppo severo, il computer non aveva abbastanza dati da cui imparare. Trovando il giusto equilibrio, hanno garantito che il sistema fosse sia efficiente che efficace.

Uno dei risultati più interessanti è stato come il sistema abbia cambiato il modo in cui il computer "pensa". Quando i ricercatori hanno esaminato il processo di ragionamento dei vecchi modelli, hanno visto che il computer spesso saltava alle conclusioni basandosi sul contesto generale. Al contrario, il nuovo sistema mostrava un modello chiaro di ricerca dell'evidenza specifica prima di prendere una decisione. Per esempio, quando gli veniva chiesto di una persona che tiene uno strumento, il vecchio modello poteva dire "la persona sta lavorando in un'officina" basandosi sullo sfondo. Il nuovo modello direbbe "la persona sta tenendo un cacciavite", perché è stato addestrato a concentrarsi sulla mano e sullo strumento. Questo passaggio dal contesto globale all'evidenza locale è ciò che rende il sistema più affidabile. Non sta solo indovinando in base a ciò che di solito accade; sta riportando ciò che sta effettivamente accadendo.

I ricercatori riconoscono che il loro metodo non è perfetto. Funziona meglio quando l'indizio importante è un oggetto o un'azione singola e localizzata che può essere vista chiaramente in una piccola parte del video. Se la risposta dipende da una lunga sequenza di eventi distribuiti nel tempo, o se l'oggetto importante è nascosto dietro qualcos'altro, il sistema può ancora avere difficoltà. Hanno anche notato che se la domanda è troppo astratta, il sistema automatico potrebbe avere difficoltà a trovare un indizio visivo corrispondente. Tuttavia, per la stragr parte dei compiti in cui un dettaglio visivo specifico è la chiave per la risposta, il loro approccio offre una soluzione robusta.

Questo lavoro rappresenta un passo significativo verso il rendere l'intelligenza artificiale più radicata nella realtà. Insegnando ai computer a dare valore a ciò che vedono rispetto a ciò che pensano di sapere, i ricercatori hanno creato un sistema che è meno propenso a commettere errori pericolosi o sciocchi. In un mondo in cui i robot e i dispositivi intelligenti stanno diventando sempre più comuni, avere un sistema che possa comprendere in modo affidabile una visuale in prima persona e capire esattamente cosa sta accadendo è essenziale. Il metodo non richiede insegnanti umani costosi o enormi quantità di nuovi dati. Invece, utilizza un processo di filtraggio intelligente e un nuovo modo di premiare il computer per guidarlo verso la verità. Mentre la tecnologia continua a evolversi, questo focus sull'evidenza visiva potrebbe diventare lo standard per come insegniamo alle macchine a vedere il mondo, assicurando che vedano ciò che conta.