StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos

1. Il Problema

L'articolo affronta una lacuna critica nell'ambito della comprensione dei video in streaming da parte dei Modelli Linguistici Multimodali (MLLM). Sebbene esistano benchmark per il ragionamento temporale su video in streaming (che richiedono l'elaborazione di frame man mano che arrivano senza accesso al futuro), nessuno valuta la capacità dei modelli di interpretare o sfruttare i segnali di sguardo umano (gaze) in questo contesto.

In scenari reali come gli occhiali per la Realtà Aumentata (AR) o gli agenti robotici, lo sguardo è il segnale percettivo più diretto per capire l'intenzione dell'utente, filtrare le informazioni rilevanti e anticipare le azioni future. Tuttavia, integrare lo sguardo nella comprensione video è complesso a causa di:

• Rumore e instabilità: I flussi di sguardo grezzi contengono fluttuazioni rapide.
• Dinamiche spaziali: I video in prima persona (egocentrici) si muovono e ruotano, rendendo difficile l'ancoraggio spaziale ("su cosa sta guardando l'utente?").
• Vincoli di streaming: I modelli devono ragionare causalmente basandosi solo su frame passati e presenti, senza poter "guardare avanti" nel video.

2. Metodologia: STREAMGAZE e la Pipeline di Costruzione Dati

Gli autori introducono STREAMGAZE, il primo benchmark progettato specificamente per valutare l'uso dello sguardo nel ragionamento temporale e proattivo su video in streaming.

Pipeline di Costruzione dei Dati

Per creare il dataset, è stata sviluppata una pipeline semi-automatica che allinea le traiettorie dello sguardo ai video egocentrici:

1. Preprocessing e Proiezione: Le traiettorie di sguardo grezze (coordinate 3D o 2D) vengono proiettate sul piano dell'immagine del video utilizzando i parametri della camera.
2. Estrazione delle Fissazioni (Fixation Extraction): Vengono identificati i momenti di fissazione stabile (dove lo sguardo rimane su una regione per un certo tempo), filtrando i movimenti saccadici rapidi. Si applicano criteri di stabilità spaziale e coerenza della scena (basata su istogrammi di colore).
3. Estrazione degli Oggetti per Area di Sguardo: Per ogni fissazione, il video viene diviso in due regioni:
   • FOV (Field of View): L'area centrale attorno al punto di fissazione (dove l'utente sta guardando).
   • Out-of-FOV: Il resto del frame (contesto periferico).
     Vengono estratti gli oggetti in entrambe le regioni utilizzando un MLLM con prompt visivi specifici (es. mascherando la zona centrale per la regione Out-of-FOV).
4. Generazione del Percorso di Sguardo (Scanpath): Si costruisce una sequenza temporale ordinata di oggetti fissati, catturando come l'attenzione si sposta nel tempo.
5. Generazione e Verifica QA: Vengono generate coppie Domanda-Risposta (QA) basate su questi scanpath, seguite da una verifica umana per garantire la qualità (tasso di correttezza medio ~83%).

Taxonomia dei Compiti

STREAMGAZE comprende 8.521 coppie QA su 285 video, suddivise in 10 compiti che coprono tre dimensioni temporali:

• Passato (Past):
  • Non-Fixated Object Identification: Identificare oggetti visibili ma mai guardati direttamente.
  • Object Transition Prediction: Prevedere il prossimo oggetto fissato.
  • Gaze Sequence Matching: Riconoscere pattern sequenziali di transizione dello sguardo.
  • Scene Recall: Ricordare oggetti di sfondo visibili in fissazioni precedenti.
• Presente (Present):
  • Object Identification (Easy/Hard): Riconoscere l'oggetto attualmente fissato (con distrattori visivamente simili).
  • Object Attribute Recognition: Identificare attributi (colore, forma) dell'oggetto fissato.
  • Future Action Prediction: Prevedere l'azione successiva basandosi sulle fissazioni recenti.
• Proattivo (Proactive):
  • Gaze-Triggered Alert: Avvisare quando l'utente fissa un oggetto specifico.
  • Object Appearance Alert: Avvisare quando un nuovo oggetto appare nella periferia (prima che venga fissato).

3. Risultati Sperimentali

Gli autori hanno valutato diversi MLLM (inclusi GPT-4o, Claude, Qwen2.5-VL, InternVL3.5 e modelli specifici per lo streaming come ViSpeak e VideoLLM-Online) su STREAMGAZE.

• Divario Prestazionale: Esiste un gap sostanziale tra le prestazioni umane (media di accuratezza ~82.7%) e quelle dei modelli MLLM più avanzati (che raramente superano il 50-60% in media).
• Limiti dei Modelli:
  • I modelli generici faticano a utilizzare lo sguardo per il ragionamento temporale a lungo termine, spesso trattando i frame in modo indipendente.
  • I modelli di streaming esistenti falliscono nei compiti proattivi, producendo descrizioni generiche invece di intervenire tempestivamente.
  • I modelli basati sullo sguardo (come AssistGaze) non generalizzano bene agli scenari di streaming a lungo termine.
• Analisi delle Strategie di Input:
  • L'uso di mappe di salienza (heatmap aggregate) come input visivo ha mostrato prestazioni leggermente migliori rispetto ai semplici punti o prompt testuali, ma nessun metodo ha colmato completamente il divario con l'umano.
  • L'analisi di ragionamento mostra che combinare ragionamento testuale, basato sullo sguardo e visivo offre i migliori risultati, ma i modelli tendono ancora a sovrappesare i segnali visivi locali rispetto al contesto temporale dello sguardo.
• Fine-tuning: Il fine-tuning su dati sintetici generati dalla pipeline STREAMGAZE ha migliorato le prestazioni, dimostrando che l'addestramento specifico su dati di sguardo in streaming è cruciale.

4. Contributi Chiave

1. Prima Pipeline di Costruzione Dati: Un metodo innovativo che integra traiettorie di sguardo e video egocentrici per produrre coppie QA spazialmente e temporalmente allineate, modellando la dinamica completa dello scanpath.
2. Benchmark STREAMGAZE: Il primo dataset e suite di valutazione completa per la comprensione video guidata dallo sguardo in streaming, con oltre 8.500 domande su compiti passati, presenti e proattivi.
3. Valutazione e Analisi: Una valutazione estensiva che rivela limiti fondamentali degli MLLM attuali nel modellare l'intenzione e il ragionamento causale basati sullo sguardo, fornendo linee guida concrete per futuri sviluppi.

5. Significato e Impatto

STREAMGAZE rappresenta un passo fondamentale verso lo sviluppo di assistenti AI reali e proattivi (come occhiali AR o robot domestici). Dimostra che la semplice visione computerizzata non è sufficiente; per un'interazione naturale, i sistemi devono comprendere dove guarda l'utente e perché, anticipando le sue intenzioni prima che vengano espresse verbalmente. Il benchmark fornisce una base solida per la ricerca futura su modelli capaci di ragionamento temporale guidato dall'attenzione umana, un requisito essenziale per l'interazione uomo-macchina di prossima generazione.