Results of the 1st Asynchronous CASTLE Challenge at the Joint Egocentric Vision Workshop in Conjunction with CVPR 2026
Questo articolo riassume i contributi e i risultati della 1ª sfida Asynchronous CASTLE, che si è tenuta presso il Joint Egocentric Vision Workshop in occasione di CVPR 2026.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate di cercare di ricordare tutto ciò che è accaduto durante una vacanza di quattro giorni, non solo i momenti salienti, ma ogni conversazione, ogni oggetto spostato e ogni piccolo cambiamento nella stanza, il tutto guardando attraverso gli occhi di dieci persone diverse contemporaneamente. Questo è il tipo di test di memoria con cui i computer faticano, anche quando vengono nutriti con migliaia di ore di video. Nel campo dell'intelligenza artificiale, i ricercatori stanno cercando di costruire sistemi in grado di guardare registrazioni lunghe e non strutturate della vita quotidiana e rispondere a domande specifiche su di esse, proprio come farebbe un essere umano dopo aver letto un diario o guardato un film. La sfida risiede nel puro volume di informazioni e nella necessità di collegare dettagli che potrebbero essere separati da ore o giorni. Se una macchina riuscisse a imparare a farlo, potrebbe alla fine aiutarci a cercare tra anni di filmati personali per trovare un momento specifico o comprendere schemi complessi nel modo in cui le persone vivono.
Per testare quanto siamo vicini a risolvere il problema, un gruppo di ricercatori ha organizzato una competizione chiamata CASTLE Challenge. Hanno fornito alle squadre un enorme dataset contenente oltre 600 ore di video ultra-high-definition, registrati ad alta velocità per catturare ogni dettaglio. Il filmato proveniva da telecamere indossate da dieci partecipanti mentre svolgevano le loro normali attività, insieme a cinque telecamere fisse che osservavano dalla stanza. I dati erano ricchi, includendo l'audio, monitor della frequenza cardiaca e persino immagini termiche, creando un registro digitale completo di quattro giorni di attività. Il compito per le squadre concorrenti era semplice in teoria ma incredibilmente difficile in pratica: dovevano rispondere a 185 domande a scelta multipla su ciò che accadeva nei video. Queste domande richiedevano al computer di tracciare persone, contare oggetti, ricordare dove fossero nascoste le cose e comprendere la tempistica degli eventi, come capire chi avesse mangiato per primo una fetta di torta o quanto velocemente qualcuno stesse caricando la propria auto nell'ultimo giorno.
Quattro squadre si sono misurate con la sfida, portando ciascuna una strategia diversa al problema. La squadra vincitrice, nota come WDL, ha trattato il compito come un detective che raccoglie indizi. Invece di cercare di guardare tutte le 600 ore di video in una volta sola, il loro sistema ha prima esaminato la domanda per trovare parole chiave, come il nome di una persona o un giorno specifico. Ha poi utilizzato questi indizi per estrarre solo le parti più rilevanti del video e delle trascrizioni parlate, ignorando il resto. Hanno addestrato il loro modello informatico a concentrarsi rigorosamente sulle prove trovate, eseguendo varianti di prompt rigorose, bilanciate e aggressive per ogni domanda per garantire la coerenza attraverso la multi-sample self-consistency. Questo approccio ha permesso loro di raggiungere un'accuratezza di quasi il 58 percento, il che significa che hanno risposto correttamente a circa 108 delle 185 domande.
Un'altra squadra, MARS, ha adottato un approccio più interattivo. Hanno costruito un sistema che agiva come un agente curioso, decidendo passo dopo passo quale tipo di informazione consultare successivamente. Se una domanda riguardava l'attività fisica, il sistema poteva scegliere di controllare specificamente i dati della frequenza cardiaca per quelle query. Se riguardava dove qualcuno stesse guardando, avrebbe recuperato i dati del tracciamento oculare. Scegliendo dinamicamente quale pezzo di evidenza esaminare invece di cercare di elaborare tutto in una volta, hanno migliorato il loro punteggio al 57 percento. Una terza squadra, TAHAKOM, ha organizzato le informazioni in una mappa strutturata di relazioni, collegando persone, luoghi e oggetti con timestamp. Ciò ha permesso loro di porre al sistema domande specifiche sulle connessioni tra gli eventi, raggiungendo un'accuratezza del 54,6 percento. L'ultima squadra, CuriosAI, si è concentrata sul prevenire che il computer inventasse cose. Hanno costruito un processo rigoroso in cui il sistema doveva cercare le prove, verificarle rispetto al video originale e poi rispondere, assicurando che ogni affermazione fosse basata su ciò che era effettivamente visto o sentito. Il loro miglior metodo ha raggiunto un'accuratezza del 49,7 percento.
I risultati della competizione mostrano che, sebbene i computer stiano diventando più bravi a comprendere video lunghi, hanno ancora molta strada da fare. Le migliori squadre hanno risposto correttamente a più della metà delle domande, il che rappresenta un significativo miglioramento rispetto al caso casuale, ma hanno comunque mancato quasi la metà delle risposte. Ciò che è forse più rivelatore è che le squadre non hanno tutte indovinato le stesse domande. Combinando le risposte corrette di tutte e quattro le squadre, sono riuscite a risolvere 176 delle 185 domande, lasciandone solo nove che nessuna squadra è riuscita a rispondere. Questo suggerisce che nessun metodo singolo è ancora perfetto, ma approcci diversi catturano pezzi diversi del puzzle. I ricercatori hanno scoperto che l'ostacolo maggiore rimane la capacità di coprire abbastanza prove senza perdersi nella mole enorme di dati. Sebbene i sistemi possano navigare attraverso centinaia di ore di filmati, il compito di ragionare su eventi non strutturati del mondo reale su lunghi periodi rimane un problema difficile. La competizione non ha risolto la questione, ma ha chiaramente mostrato che combinare queste diverse strategie potrebbe essere la chiave per costruire macchine che comprendano davvero le nostre vite quotidiane.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.