🤖 AI

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

EgoGazeLite è un predittore di sguardo a doppio processo, leggero e on-device, che consente una comprensione dei video egocentrici efficiente in termini di token per i modelli linguistici di grandi dimensioni multimodali, ritagliando accuratamente il video in base allo sguardo previsto, eliminando così la necessità di hardware dedicato per l'eye-tracking e mantenendo al contempo la qualità della descrizione e operando in tempo reale su hardware consumer.

Autori originali: Matteo Stoiber, Niels Buus Lassen

Pubblicato 2026-08-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Matteo Stoiber, Niels Buus Lassen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate di indossare un paio di occhiali intelligenti capaci di osservare il mondo attraverso i vostri occhi e di descrivere ciò che state facendo. Questa tecnologia promette di aiutare un chirurgo a ricordare una procedura complessa, di guidare un meccanico durante una riparazione o di assistere una persona con disabilità visive narrando l'ambiente circostante. Per far sì che ciò funzioni, gli occhiali devono inviare un flusso video a un potente sistema di intelligenza artificiale capace di comprendere immagini e linguaggio. Tuttavia, esiste un collo di bottiglia significativo: l'invio di video in alta definizione richiede una quantità massiccia di dati, molto superiore a quanto un piccolo dispositivo indossabile possa facilmente trasmettere o elaborare. Anche i sistemi informatici che comprendono questi video faticano quando vengono alimentati con troppe informazioni visive contemporaneamente, spesso rimanendo sopraffatti dall'enorme volume di pixel.

I ricercatori hanno trovato un modo intelligente per risolvere questo problema di dati concentrandosi solo su ciò che la persona sta effettivamente guardando. Invece di inviare l'intera visuale ampia, il sistema può ritagliare il video per mostrare solo la piccola area in cui lo sguardo dell'utente è fisso. Ciò riduce l'ammontare di dati che il computer deve elaborare di circa il novanta percento, rendendo il compito molto più veloce ed economico. Fino ad ora, questo approccio richiedeva un componente hardware speciale ed costoso integrato negli occhiali per tracciare precisamente i movimenti oculari. Senza questo hardware dedicato, il sistema non poteva sapere dove guardare, lasciando inespresso il potenziale di questi occhiali intelligenti per i consumatori comuni.

Un team di ricercatori ha ora dimostrato che un sensore dedicato per l'eye-tracking non è in realtà necessario. Hanno sviluppato un programma software leggero che può prevedere dove una persona sta guardando semplicemente analizzando il flusso video stesso. Questo programma, chiamato EgoGazeLite, può essere eseguito direttamente su uno smartphone standard ed è abbastanza accurato da sostituire i sensori hardware costosi. I ricercatori hanno testato questo approccio fornendo clip video a un sistema di intelligenza artificiale, ritagliandole in base ai dati reali del tracciamento oculare o alla previsione del software. Hanno poi chiesto all'intelligenza artificiale di descrivere le azioni nel video. I risultati hanno mostrato che le descrizioni generate dallo sguardo previsto erano virtualmente identiche a quelle generate dai dati reali del tracciamento oculare. In ogni caso di test, la previsione del software ha performato altrettanto bene della misurazione hardware, dimostrando che il sistema può funzionare senza il sensore specializzato.

Il software stesso è straordinariamente efficiente. È abbastanza piccolo da poter girare in tempo reale su hardware di consumo, come il processore di uno smartphone moderno, completando la previsione e il ritaglio di ogni fotogramma video in meno di ventidue millisecondi. Questa velocità è cruciale perché significa che il sistema può stare al passo con un flusso video dal vivo senza ritardi. I ricercatori hanno addestrato questo software su migliaia di ore di video di persone che svolgono varie attività, dal cucinare e riparare biciclette al giocare a calcio e praticare la rianimazione cardiopolmonare. Quando hanno testato il sistema su nuovi video mai visti prima, esso ha identificato con alta precisione dove la persona stava guardando. Il software funziona imparando due modi diversi di prestare attenzione: uno basato su ciò che è visivamente luminoso o in movimento nella scena, e un altro basato su dove la persona ha guardato un istante prima. Combina questi due indizi per indovinare il punto di messa a fuoco successivo.

Per garantire la robustezza delle loro scoperte, i ricercatori non si sono affidati a un singolo metodo di valutazione. Hanno utilizzato due diversi modelli linguistici di grandi dimensioni per generare le descrizioni dei video e hanno fatto in modo che tali descrizioni fossero giudicate sia da sistemi di punteggio automatizzati che da altri modelli di intelligenza artificiale avanzata. Hanno confrontato la qualità delle descrizioni derivanti dallo sguardo previsto rispetto al tracciamento oculare hardware e rispetto a un semplice baseline che ritagliava semplicemente il centro dello schermo. I risultati sono stati chiari: lo sguardo previsto produceva descrizioni significativamente migliori rispetto al ritaglio centrale e statisticamente indistinguibili dallo sguardo basato sull'hardware. Infatti, la previsione del software era così vicina ai dati reali dell'eye-tracking che la differenza era troppo piccola per essere misurata come significativa in tutti i dieci scenari di test eseguiti.

Questo lavoro rimuove una barriera importante all'adozione diffusa dell'intelligenza artificiale consapevole dello sguardo. Dimostrando che un modello software può sostituire il sensore hardware, i ricercatori hanno mostrato che i futuri occhiali intelligenti non devono essere gravati da componenti di eye-tracking costose e dispendose in termini di energia per essere utili. Il sistema può ora essere implementato su qualsiasi dispositivo dotato di una fotocamera e di un processore standard, aprendo la strada a un'assistenza economica e in tempo reale in una vasta gamma di attività quotidiane. Sebbene lo studio sia stato condotto su dataset e modelli specifici, i risultati suggeriscono un cambiamento fondamentale nel modo in cui possiamo costruire questi sistemi, passando dall'hardware specializzato verso un software intelligente e leggero capace di comprendere l'attenzione umana semplicemente osservando ciò che vediamo.

Riepilogo Tecnico: EgoGazeLite

Definizione del Problema

L'implementazione di Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM) per la comprensione di video egocentrici su dispositivi indossabili è limitata da un rigoroso budget di token. Gli MLLM codificano tipicamente l'input visivo tramite Vision Transformer, dove i costi di memoria e computazione scalano linearmente con il numero di token visivi, che a loro volta dipendono dalla risoluzione e dalla durata del video. I video ad alta risoluzione sono proibitivi in termini di costi per la trasmissione e l'elaborazione su larga scala.

Il lavoro precedente, nello specifico GazeLLM, ha affrontato questo problema ritagliando i fotogrammi video attorno al punto di sguardo dell'utente prima dell'elaborazione, riducendo i token visivi di circa dieci volte pur mantenendo la qualità della descrizione. Tuttavia, GazeLLM si affida interamente a hardware dedicato per l'eye-tracking, assente negli attuali occhiali intelligenti di consumo. Ciò crea una barriera all'ingresso per una comprensione condizionata dallo sguardo ed efficiente in termini di token. La sfida centrale è determinare se un predittore dello sguardo basato esclusivamente su software possa sostituire accuratamente lo sguardo misurato dall'hardware senza degradare le prestazioni degli MLLM a valle, rimanendo al contempo abbastanza leggero da poter essere eseguito sul dispositivo entro i budget di potenza e computazione di uno smartphone.

Metodologia

Architettura EgoGazeLite

Gli autori propongono EgoGazeLite, un predittore dello sguardo leggero a doppio processo progettato per l'implementazione su dispositivi. Si basa sulla struttura a doppio processo identificata da Huang et al. [10] come un forte baseline non-Transformer, ma introduce tre modifiche architettoniche per ridurre il costo computazionale:

Backbone Condiviso: Sostituisce i flussi spaziale e temporale separati con un unico backbone EfficientNet-Lite4 condiviso, inizializzato con pesi ImageNet.
Differenza Temporale a Livello di Feature: Sostituisce il flusso ottico denso con una semplice sottrazione a livello di feature ( $\Delta F = \text{BatchNorm}(F_t - F_{t-1})$ ) per catturare il movimento.
Fusione Residua: Sostituisce la fusione convoluzionale non lineare con un modulo di fusione residua che opera nello spazio dei logit, permettendo alla mappa di attenzione di affilare o sopprimere la predizione di salienza senza saturazione.

L'architettura consiste in:

Percorso Bottom-up: Calcola una mappa di calore della salienza ( $G^s_t$ ) dal solo input visivo, incorporando un bias centrale Gaussiano 2D apprendibile per tenere conto del bias dello sguardo egocentrico.
Percorso Top-down: Traccia l'attenzione basandosi sulla cronologia delle fissazioni. Estrae i pesi dei canali dalla posizione dello sguardo precedente, li propaga tramite un LSTM a porta (gated da una decisione di fissazione/saccade I-DT online) e li applica alle feature del fotogramma corrente per generare una mappa di calore dell'attenzione ( $G^a_t$ ).
Fusione: Combina $G^s_t$ e $G^a_t$ utilizzando un modulo residuo per produrre la mappa di calore della predizione finale $G_t$ , dalla quale viene estratta la coordinata dello sguardo tramite argmax.

Pipeline di Ritaglio Guidata dallo Sguardo

Il sistema segue il protocollo GazeLLM:

Input: Clip sorgente da 1404×1404 a 30 fps dal dataset Ego-Exo4D.
Elaborazione: I fotogrammi sono campionati a 1 fps. Una finestra fissa di 448×448 è centrata sulla coordinata dello sguardo (predetta da EgoGazeLite o proveniente dall'eye-tracker della verità fondamentale/ground-truth).
Condizioni: Lo studio confronta quattro condizioni: Risoluzione completa (Full-resolution), Ritaglio con sguardo ground-truth, Ritaglio con sguardo predetto e un Ritaglio centrale (center crop, baseline).
Valutazione: Le clip ritagliate vengono caricate in MLLM (Gemini 2.5 Flash e Pro) per generare descrizioni di attività passo dopo passo. Queste vengono valutate rispetto ai riferimenti a risoluzione completa tramite metriche automatizzate (BLEU, ROUGE-L, SBERT) e giudici LLM (Claude Sonnet 4.6, GPT-4o).

Configurazione Sperimentale

Dataset: Ego-Exo4D (occhiali Project Aria Gen 1). Addestramento su sette domini (Cucinare, Calcio, Salute, Riparazione di Biciclette, Danza, Bouldering, Musica); il Basket è stato tenuto come set di test separato.
Set di Test di Sostituzione: Un set tenuto separato di 138 clip che copre sei categorie di task, garantendo nessuna sovrapposizione con il set di addestramento.
Valutazione Hardware: L'intera pipeline è stata testata su un iPhone 15 Pro per misurare la latenza end-to-end.

Contributi Chiave

Sostituzione dello Sguardo Misurato con quello Predetto: Il documento dimostra che lo sguardo predetto da un modello leggero può sostituire lo sguardo misurato dall'hardware nella pipeline di GazeLLM. Attraverso due MLLM, tre metriche automatizzate e due giudici LLM, i ritagli con sguardo predetto hanno mostrato nessuna differenza significativa rispetto ai ritagli con sguardo ground-truth nella qualità della descrizione a valle.
Conferma dell'Equivalenza: Utilizzando i Due Test Unilaterali (TOST), gli autori hanno confermato l'equivalenza in tutte le dieci celle di valutazione (2 MLLM × 5 metriche/giudici). La differenza tra le condizioni di sguardo predetto e ground-truth era inferiore alla metà della deviazione standard combinata, soddisfacendo il margine primario di equivalenza.
Efficienza di EgoGazeLite: Il modello raggiunge questa prestazione con 15,7 milioni di parametri e 6,71 GFLOPs, rappresentando una riduzione di 8,6 volte dei FLOP rispetto ai precedenti modelli di sguardo egocentrico allo stato dell'arte (Huang et al. [10] e Lai et al. [13]).
Prestazioni Real-Time su Dispositivo: L'intera pipeline di sguardo e ritaglio gira end-to-end in 21,6 ms/fotogramma (circa 46 FPS) su hardware acceleratore consumer (Neural Engine di iPhone 15 Pro), rendendola idonea per l'implementazione in tempo reale.

Risultati

Accuratezza: Sul set di validazione in-distribuzione, EgoGazeLite ha raggiunto un Errore Angolare Medio (AAE) di 8,33° e un AUC di 0,9655.
Qualità a Valle:
- Sia i ritagli con sguardo predetto che quelli con sguardo ground-truth hanno superato significativamente la baseline del ritaglio centrale in tutte le metriche.
- La differenza tra i ritagli con sguardo predetto e ground-truth non è stata statisticamente significativa (p-value corretto minimo = 0,054).
- Gli effetti ( $d_z$ ) sono stati costantemente piccoli (< 0,17), ben entro la convenzione di Cohen per effetti trascurabili.
- I test di equivalenza (TOST) hanno confermato che le due condizioni sono statisticamente equivalenti in tutti i dieci casi sotto un margine di effetto medio (0,5× deviazione standard combinata), e in quattro casi sotto un margine di effetto piccolo e rigoroso (0,2× deviazione standard combinata).
Latenza: Il passaggio forward di EgoGazeLite costituisce circa il 41% del tempo della pipeline (8,9 ms), con il tempo rimanente speso nell'elaborazione dell'immagine (ritaglio, downscaling). La pipeline supporta tassi di campionamento fino a 30 FPS, superando di gran lunga il requisito di 1 FPS per l'MLLM a valle.

Significato e Rivendicazioni

Il documento afferma che EgoGazeLite elimina il prerequisito rigoroso di un hardware dedicato per l'eye-tracking per la comprensione video egocentrica condizionata dallo sguardo con MLLM. Dimostrando che un predittore dello sguardo leggero, basato solo su software, può sostituire lo sguardo misurato dall'hardware senza degradare la qualità delle descrizioni generate dagli MLLM, questo lavoro abilita l'elaborazione video guidata dallo sguardo ed efficiente in termini di token su smart glasses e smartphone di grado consumer.

Gli autori sottolineano che questo risultato chiude il cerchio tra la predizione dello sguardo e l'input dell'MLLM sul dispositivo. Sebbene lo studio sia modesto nella sua portata — riconoscendo che non sono stati eseguiti confronti diretti di accuratezza testa a testa con modelli precedenti sotto partizioni identiche, e che la generalizzazione a domini non visti o altre famiglie di MLLM deve ancora essere testata — il nucleo della scoperta è che la sostituzione è empiricamente valida per i task e i modelli testati. Ciò sposta il paradigma dai sistemi di sguardo dipendenti dall'hardware a soluzioni guidate dal software accessibili a qualsiasi telecamera in prima persona.