💻 computer science

Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos

Questo lavoro propone un metodo innovativo basato su modelli linguistici visivi di grandi dimensioni (VLLM) che, integrando l'indicazione di oggetti tramite Set-of-Mark, la traiettoria dello sguardo e un campionamento temporale esponenziale inverso, supera lo stato dell'arte nell'anticipazione delle interazioni uomo-oggetto in video egocentrici.

Autori originali: Daniele Materia, Francesco Ragusa, Giovanni Maria Farinella

Pubblicato 2026-04-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Daniele Materia, Francesco Ragusa, Giovanni Maria Farinella

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente personale super-intelligente che ti guarda mentre cucini, lavori o ti diverti. Il suo compito non è solo guardare cosa stai facendo ora, ma indovinare cosa farai tra un attimo. Se stai per prendere un coltello affilato, lui dovrebbe dirti: "Attenzione, stai per tagliare!" prima che tu lo faccia.

Questo è il cuore del lavoro presentato in questo articolo: un nuovo modo per insegnare alle intelligenze artificiali a prevedere le tue intenzioni guardando i tuoi occhi e il tuo ambiente, proprio come farebbe un umano molto attento.

Ecco come funziona, spiegato con parole semplici e qualche metafora creativa:

1. Il Problema: L'AI è spesso "distraibile"

Fino a poco tempo fa, le intelligenze artificiali che guardano i video (chiamate VLLM, o "Cervelli Artificiali Visivi") erano un po' come studenti distratti. Se guardavano un video di cucina, potevano vedere il coltello, la pentola e il gatto sul tavolo, ma faticavano a capire quale oggetto stavi per toccare davvero. Mancava loro il "senso comune" visivo e la capacità di seguire il tuo sguardo.

2. La Soluzione: Tre Super-Poteri

Gli autori hanno dato al loro "assistente AI" tre nuovi super-poteri per renderlo un vero mago della previsione:

A. La "Mappa dei Punti di Interesse" (Set-of-Mark)

Immagina di prendere una foto della tua cucina e di disegnare sopra dei cerchietti colorati o dei contorni intorno a ogni oggetto importante (il fornello, il sale, il coltello).

L'analogia: È come se l'AI mettesse degli adesivi luminosi sugli oggetti. Invece di dover cercare nel caos dell'immagine, l'AI vede subito: "Ecco il coltello, ecco la pentola". Questo la aiuta a non confondersi e a capire esattamente dove sono le cose nello spazio.

B. La "Scia dei Pensieri" (Gaze Trajectory)

Sappiamo che i nostri occhi ci tradiscono: prima di afferrare qualcosa, il nostro sguardo si posa su di esso.

L'analogia: Immagina che l'AI veda una scia luminosa dietro i tuoi occhi, come la scia di un aereo o di un'astronave. Se la scia rossa (l'ultimo sguardo) punta verso il gatto, e la scia blu (i sguardi precedenti) si muove verso il gatto, l'AI capisce: "Ok, sta guardando il gatto, probabilmente lo prenderà o lo accarezzerà".
Invece di guardare solo l'immagine statica, l'AI segue il flusso dei tuoi pensieri visivo.

C. Il "Ritmo Intelligente" (Campionamento Inverso)

I video sono lunghi e pieni di momenti noiosi. Se l'AI guardasse ogni singolo secondo, si stancherebbe e perderebbe i dettagli importanti.

L'analogia: Immagina di dover leggere un libro per capire come finisce la storia. Non leggi ogni singola parola della prima metà se la parte cruciale è negli ultimi 10 minuti.
L'AI usa una strategia speciale: guarda il video saltando i momenti tranquilli e concentrandosi moltissimo sugli ultimi istanti prima dell'azione. È come se dicesse: "Cosa è successo appena prima? È lì che c'è la risposta".

3. Il Risultato: Un Assistente che Capisce Davvero

Gli autori hanno provato questo sistema su un dataset famoso (HD-EPIC), che contiene video di persone che cucinano.

Senza questi trucchi: L'AI indovinava giusto circa il 20% delle volte (come tirare a caso).
Con i trucchi (Mappa + Scia degli occhi + Ritmo): L'AI è salita al 27,5% di precisione, battendo tutti gli altri sistemi più famosi.

Perché è importante?

Pensa a un futuro in cui un occhiale intelligente o un robot domestico ti avvisa: "Attenzione, stai per toccare quella pentola bollente!" o "Hai dimenticato di spegnere il gas".
Questo lavoro è un passo fondamentale per creare assistenti che non solo vedono, ma capiscono le tue intenzioni prima che tu le metta in atto, rendendo la nostra vita più sicura e aiutandoci nelle attività quotidiane.

In sintesi: hanno insegnato all'AI a guardare meglio (con i cerchi sugli oggetti), a capire dove guardi (con la scia degli occhi) e a concentrarsi sul momento giusto (saltando il superfluo). Il risultato? Un assistente molto più sveglio e attento.

Titolo

Sfruttamento dello Sguardo e del Set-of-Mark nei VLLM per l'Anticipazione delle Interazioni Uomo-Oggetto in Video Egocentrici

1. Il Problema

L'obiettivo principale della ricerca è l'anticipazione delle interazioni uomo-oggetto (HOI) in video registrati da una prospettiva egocentrica (vista in prima persona). Questo compito è cruciale per lo sviluppo di sistemi assistivi intelligenti capaci di supportare gli utenti nelle attività quotidiane (es. cucina, industria) prevedendo le loro intenzioni a breve termine.
La sfida risiede nel distinguere l'oggetto con cui l'utente interagirà successivamente da un insieme di oggetti candidati, basandosi sul contesto visivo e sulle intenzioni dell'utente, spesso prima che l'interazione fisica abbia luogo. Le limitazioni degli approcci precedenti includono la difficoltà nel "grounding" visivo (collegare il linguaggio alla posizione spaziale degli oggetti) e la capacità di interpretare le intenzioni umane tramite segnali non verbali come lo sguardo.

2. Metodologia

Gli autori propongono un approccio innovativo che formula il problema come un task di Visual Question Answering (VQA), sfruttando le capacità dei Vision Large Language Models (VLLM). La soluzione è "model-agnostic", ovvero applicabile a qualsiasi VLLM, e si basa su quattro moduli chiave (illustrati nella Figura 2 del paper):

Modulo Set-of-Mark (SoM):
- Mira a migliorare il visual grounding.
- L'ultimo frame del video viene elaborato tramite Semantic-SAM per generare maschere semantiche sugli oggetti.
- Queste maschere vengono sovrapposte all'immagine (senza etichette alfanumeriche, poiché il modello deve scegliere tra candidati forniti nel prompt), aiutando il VLLM a localizzare e comprendere la scena spaziale.
Modulo Gaze (Sguardo):
- Sfrutta i dati di tracciamento oculare (eye-tracking) come indicatore di intenzione.
- Viene costruita una traiettoria visiva delle ultime 15 fissazioni dello sguardo dell'utente.
- La traiettoria viene renderizzata come cerchi collegati che cambiano colore dal rosso (fissazione più recente) al blu (meno recente), fornendo un segnale visivo al modello su dove l'utente sta guardando e verso dove si sta muovendo la sua attenzione.
Modulo di Campionamento (Sampling):
- Affronta il problema della complessità computazionale e della ridondanza nei video densi.
- Introduce una strategia di campionamento esponenziale inverso. Invece di campionare i frame in modo uniforme, la probabilità di selezione aumenta esponenzialmente man mano che ci si avvicina al frame finale (quello immediatamente precedente l'interazione).
- Questo permette al modello di concentrarsi sulla dinamica temporale più rilevante, scartando dati irrilevanti. La formula di probabilità è controllata dal parametro $\lambda$ .
Modulo VLLM:
- Riceve i frame campionati (arricchiti da SoM e Gaze) e un prompt testuale che include la domanda, i candidati e istruzioni specifiche su come interpretare i segnali visivi (maschere e traiettoria dello sguardo).
- Il modello seleziona l'oggetto corretto tra i candidati.

3. Contributi Chiave

Nuova Strategia di Prompting: Integrazione simultanea di informazioni spaziali (tramite Set-of-Mark) e intenzionali (tramite traiettorie dello sguardo) per potenziare i VLLM.
Campionamento Temporale Ottimizzato: Introduzione di una strategia di campionamento esponenziale inverso che massimizza l'informazione rilevante per l'anticipazione, riducendo il carico computazionale.
Approccio Model-Agnostic: Il metodo non è legato a un singolo modello, ma è stato validato su diverse architetture VLLM.
Open Source: Rilascio del codice sorgente per favorire la ricerca futura.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset HD-EPIC, specificamente sul benchmark Gaze Interaction Anticipation.

Dataset: HD-EPIC (41 ore di video in cucina, annotazioni multimodali dense, inclusi dati di sguardo).
Modelli Testati: LLaVA-OneVision 7B e Gemini 2.0 Flash.
Performance:
- L'approccio proposto ha raggiunto un'accuratezza del 27.5% con Gemini 2.0 Flash e 27.2% con LLaVA-OneVision.
- Questi risultati superano lo stato dell'arte (SOTA), inclusi i vincitori della sfida HD-EPIC (es. Qwen2.5VL-Ricoh al 22.0%) e la baseline originale di HD-EPIC (Gemini 1.5 Pro al 21.0%).
- Il miglioramento rispetto alle versioni standard dei VLLM (senza le tecniche proposte) è significativo: +6.8% per LLaVA e +6.5% per Gemini.
Studi di Ablazione:
- L'uso combinato di SoM + Gaze è risultato superiore all'uso singolo di ciascun modulo.
- La strategia di campionamento con $\lambda = 1/10$ (concentrazione sui frame finali) e una dimensione del campione di 15 frame ha prodotto le prestazioni ottimali.
- Un campionamento eccessivo (oversampling) ha mostrato di degradare le prestazioni.

5. Significato e Implicazioni

Questo lavoro dimostra che l'integrazione di segnali multimodali specifici (come lo sguardo) e tecniche di prompting visivo avanzate (Set-of-Mark) può superare le limitazioni dei modelli generici nell'ambito della visione egocentrica.

Sicurezza e Assistenza: La capacità di prevedere interazioni pericolose (es. toccare una pentola calda senza manico) o di assistere in compiti complessi rende questa tecnologia fondamentale per robotica assistiva e sistemi di sicurezza industriale.
Efficienza: La strategia di campionamento inverso offre un modo efficiente per gestire video lunghi senza sacrificare l'accuratezza temporale.
Flessibilità: La natura model-agnostic della soluzione permette di adattarla facilmente ai futuri VLLM più potenti, rendendo l'architettura proposta un punto di riferimento per la ricerca sull'anticipazione delle azioni umane.

In sintesi, il paper stabilisce un nuovo stato dell'arte nell'anticipazione delle interazioni uomo-oggetto, dimostrando che la combinazione di contesto spaziale, intenzione umana (sguardo) e selezione temporale intelligente è la chiave per decifrare le azioni future in ambienti complessi.