Sintesi Tecnica: Decodifica dell'Intento di Attraversamento Pedonale dalla Visione Egocentrica tramite Modelli Vision-Language

Definizione del Problema

Questo lavoro affronta la sfida di prevedere le intenzioni di attraversamento dei pedoni (specificamente, se un pedone "attraverserà" o "cederà il passo") utilizzando la visione egocentrica (prospettiva in prima persona). A differenza degli approcci esocentrici tradizionali che si affidano a telecamere montate su veicoli o sistemi di sorveglianza, questo studio si concentra sulla decodifica dell'intento da brevi clip video monoculari (2 secondi) catturate dal punto di vista del pedone. L'obiettivo è prevedere l'azione del pedone entro un orizzonte temporale futuro di 1 secondo.

Gli autori riformulano questo compito di previsione come un problema di Visual Question Answering (VQA) a risposta chiusa. Il modello riceve una clip video egocentrica ($V$), informazioni contestuali opzionali ($C$) e una query specifica ($Q$), e deve selezionare l'intento corretto da un insieme predefinito $\{cross, yield\}$ (attraversare, cedere il passo).

Metodologia

1. Selezione del Modello e Baseline

Lo studio valuta due famiglie di Modelli Vision-Language (VLM):

• Multimodal Large Language Models (MLLM): Nello specifico, la famiglia Qwen3-VL (varianti 2B e 8B) e Qwen2.5-VL-7B, nonché i modelli InternVL3. Questi sono stati scelti per la loro ampia conoscenza del mondo e capacità di ragionamento generale.
• Modelli di Video-Language Pretraining (VLP): Nello specifico, GroundVQA, che è pre-addestrato su dati video-testuali egocentrici ma spesso dominato da attività indoor.
• Baseline: Un baseline specializzato CLIP+Transformer (deep learning basato solo su video) funge da principale benchmark delle prestazioni, insieme alla scelta casuale e alla predizione della classe maggioritaria.

2. Strategie di Prompting (Valutazione Zero-Shot)

Prima del fine-tuning, gli autori testano tre strategie di prompting per valutare le capacità di ragionamento intrinseche dei modelli:

• Standard Prompting: Una query diretta che richiede l'azione più probabile.
• Text Chain-of-Thought (CoT): Incoraggia il modello a generare passaggi di ragionamento intermedi (ad esempio, analizzando elementi visivi, rischi e logica) prima di rispondere.
• Visual Prompting: Aumenta gli input video con overlay "set-of-marks" (riquadri di delimitazione e ID) generati da un detector (GroundingDINO) per evidenziare oggetti rilevanti come veicoli e obiettivi di attraversamento.

3. Integrazione delle Informazioni Contestuali

Oltre al video, lo studio incorpora ulteriori modalità per migliorare il ragionamento:

• Ego Motion: Posizione e velocità del pedone.
• Vehicle Motion: Posizione e velocità del veicolo automatizzato.
• Eye Gaze (Sguardo): Rappresentato sia come descrizioni testuali (direzione in gradi) che come overlay visivi (punti rossi sui punti di fissazione).
• Attributi Personali: Dati demografici (ad esempio, età, genere, lateralità) inclusi nel prompt.

Gli autori indagano due strategie di integrazione per il contesto variabile nel tempo: Preface (appendere il contesto all'inizio del prompt) e Interleaved (inserire il contesto accanto a specifici frame video).

4. Strategia di Fine-Tuning

Per adattare i modelli pre-addestrati al dominio del traffico, gli autori utilizzano il Supervised Fine-Tuning (SFT) tramite Low-Rank Adaptation (LoRA). Questo approccio congela i parametri originali del modello e addestra solo aggiornamenti a basso rango in determinati strati. Sperimentano il tuning di:

• Solo gli encoder del linguaggio.
• Solo i moduli di fusione cross-modale.
• Sia i componenti linguistici che quelli cross-modali congiuntamente.
  L'encoder visivo rimane congelato per preservare il suo ruolo di estrattore di caratteristiche.

Risultati Chiave

Prestazioni Zero-Shot

• Ragionamento Limitato: I VLM allo stato dell'arte in un setting zero-shot ottengono solo guadagni moderati rispetto alla scelta casuale (ad esempio, Qwen2.5-VL-7B raggiunge circa il 63% di accuratezza) ma non riescono a superare il baseline specializzato CLIP+Transformer (72,7% di accuratezza).
• Limitazioni del Prompting: Il prompting Text CoT non ha migliorato le prestazioni e ha aumentato significativamente la latenza di inferenza. In alcuni casi, ha degradato le prestazioni causando il default del modello verso "yield". Anche il visual prompting (set-of-marks) non ha prodotto miglioramenti misurabili, probabilmente a causa delle inconsistenze del detector e della natura specifica dell'ambiente VR.
• Sensibilità all'Input: I modelli più grandi (ad esempio, Qwen3-VL-8B) hanno performato peggio con un aumento del campionamento dei frame (da 4 a 32), suggerendo sensibilità agli input ridondanti, mentre i modelli più piccoli (Qwen3-VL-2B) hanno beneficiato di un numero maggiore di frame.

Prestazioni del Fine-Tuning

• Guadagni Significativi: Il fine-tuning efficiente dei parametri ha migliorato sostanzialmente le prestazioni. Il modello Qwen3-VL-2B dopo il fine-tuning ha raggiunto il 77,7% di accuratezza, e il modello VLP (GroundVQA) dopo il fine-tuning ha raggiunto il 78,9%.
• Stato dell'Arte: Questi risultati rappresentano un miglioramento dell'accuratezza del 9% rispetto al baseline specializzato CLIP+Transformer.
• Adattamento dell'Architettura: Per i modelli Qwen, il tuning dei soli moduli cross-modali è stato sufficiente. Per i modelli VLP, il tuning di entrambi i componenti (linguaggio e cross-modale) ha prodotto i risultati migliori.

Impatto dei Segnali Contestuali

• Zero-Shot: L'aggiunta di contesto (ad esempio, ego motion, sguardo) ha generalmente migliorato le prestazioni zero-shot, con l'ego motion che si è rivelato il segnale informativo singolo più rilevante. Tuttavia, combinare i segnali senza fine-tuning ha talvolta portato a allucinazioni o al degrado delle prestazioni.
• Fine-Tuned: Con il fine-tuning, i modelli hanno imparato efficacementamente a sfruttare il contesto. La combinazione di ego motion e eye gaze (specificamente lo sguardo sullo schermo) ha fornito il miglior grado di generalizzazione, ottenendo un miglioramento dell'accuratezza del 14,5% rispetto al baseline transformer.
• Formattazione del Contesto: La strategia Preface (appendere il contesto all'inizio) ha costantemente superato la strategia Interleaved, suggerendo che il condizionamento globale sul contesto sia più efficace dell'interleaving frame-per-frame per questo compito.

Significato e Rivendicazioni

Il documento sostiene di aver stabilito un nuovo stato dell'arte per la decodifica dell'intento pedonale egocentrico. I suoi principali contributi sono:

1. Fattibilità dei VLM: Dimostrare che, sebbene i VLM pronti all'uso possiedano capacità zero-shot non trascurabili per il ragionamento sul traffico, richiedono un adattamento al dominio (fine-tuning) per eguagliare o superare i baseline di deep learning specializzati.
2. Efficacia del Fine-Tuning: Mostrare che il fine-tuning efficiente dei parametri (LoRA) è una strategia altamente efficace per adattare i VLM general-purpose a compiti di traffico critici per la sicurezza, superando i modelli addestrati da zero solo su dati video.
3. Valore del Contesto Multimodale: Stabilire che l'integrazione di eye gaze ed ego motion migliora significativamente l'accuratezza predittiva e la generalizzazione, specialmente quando il modello è addestrato per interpretare tali segnali.
4. Approfondimenti Metodologici: Fornire prove del fatto che il prompting CoT basato su testo e gli overlay visivi potrebbero non essere benefici per questo compito specifico, mentre l'integrazione strutturata del contesto (tramite preface) e il fine-tuning sono critici.

Gli autori segnalano alcune limitazioni, tra cui l'uso di un dataset basato su VR che potrebbe non catturare tutte le complessità del mondo reale, e la dipendenza da frame campionati uniformemente. Suggeriscono che i lavori futuri dovrebbero concentrarsi su pre-training specifico per il traffico, campionamento temporale adattivo e valutazione su dati reali con eventi rari.