Perception Test 2025: Challenge Summary and a Unified VQA Extension

1. Enunciato del Problema

Il paper affronta la rapida evoluzione dei Large Multimodal Models (LMM) e la necessità di valutare le loro capacità oltre i modelli specializzati per singoli compiti. Mentre le iterazioni precedenti del Perception Test valutavano i modelli su compiti distinti (ad esempio, tracce separate per il tracciamento di oggetti, il tracciamento di punti e la localizzazione di azioni), il settore si è spostato verso la Percezione Unificata.

Il problema centrale è determinare se i modelli attuali all'avanguardia (State-of-the-Art, SOTA) possano gestire compiti di percezione spazio-temporale diversi e complessi attraverso un'interfaccia unificata singola (nello specifico, un'interfaccia basata sul linguaggio) invece di affidarsi a pipeline ingegnerizzate con modelli specifici per ogni compito. La sfida del 2025 mirava a testare se i modelli potessero generalizzare attraverso compiti come tracciamento, localizzazione e ragionamento senza un adattamento specifico per compito (fine-tuning) o modifiche architetturali.

2. Metodologia e Configurazione della Sfida

La sfida è stata organizzata come un workshop parallelo all'ICCV 2025, utilizzando la piattaforma eval.ai. Ha presentato cinque tracce consolidate, allontanandosi da compiti disgiunti per approcci unificati:

A. Tracce di Compiti Unificati (Nessuna Interfaccia Linguistica)

Queste tracce richiedevano a un singolo modello di risolvere due compiti distinti simultaneamente:

1. Tracciamento Unificato di Oggetti e Punti: I modelli devono tracciare sia le caselle di delimitazione (oggetti) che punti 2D specifici (punti) attraverso i fotogrammi video, gestendo le occlusioni.
   • Metrica: Jaccard Medio (AJ), che media il Punto AJ (TAP-Vid) e l'Oggetto AJ (IoU).
2. Localizzazione Temporale Unificata di Azioni e Suoni: I modelli devono identificare e localizzare sia azioni visive che eventi uditivi all'interno di un video.
   • Metrica: Precisione Media Media (mAP) attraverso le classi di azioni e suoni.

B. Tracce di VQA Unificate (Interfaccia Linguistica)

Queste tracce hanno utilizzato query in linguaggio naturale per testare la percezione, inclusa un'estensione innovativa:
3. VQA Video a Scelta Multipla Unificata (mc-VQA): L'innovazione principale di quest'anno.
* Novità: I compiti tradizionali non linguistici (tracciamento di punti, localizzazione temporale di azioni) sono stati riformulati come domande a scelta multipla.
* Tecnica: Gli autori hanno utilizzato l'in-painting visivo (ad esempio, barre colorate, indicatori lampeggianti) e marcatori temporali per ancorare direttamente le query spaziali/temporali nel flusso video. Ciò permette ai VLM di "vedere" i requisiti del compito senza decoder complessi.
* Nuovi Tipi di Domande:
* Tracciamento di Punti: Identificare un punto superficiale specifico tra i distrattori dopo un "Lampeggio Verde".
* Ordinamento delle Azioni: Identificare la sequenza corretta delle azioni.
* Interazione Oggetto-Azione: Identificare gli oggetti coinvolti in un segmento temporale specifico.
* Azione Finta: Identificare i segmenti in cui un'azione è "finta" o errata.
* Dataset: Espanso da 11.528 domande originali a 3 opzioni per includere 1.842 nuove domande a 5 opzioni per mitigare l'apprendimento tramite scorciatoie.
4. VQA Video Ancorata: I modelli rispondono a una domanda tracciando l'oggetto (o gli oggetti) specifico che rappresenta la risposta per tutta la durata del video.
* Metrica: HOTA (Higher Order Tracking Accuracy).
5. VQA Video di un'ora: I modelli rispondono a domande su video molto lunghi (1+ ore) per testare la memoria a lungo termine e il ragionamento.
* Metrica: Accuratezza Top-1.

Protocollo di Valutazione:

• Fasi: Validazione (invii illimitati) e Test (limitati a 30 invii).
• Vincoli: Per le tracce congiunte, i modelli dovevano risolvere entrambi i compiti simultaneamente. L'adattamento sequenziale (ad esempio, addestramento sul tracciamento di oggetti seguito dal tracciamento di punti) era vietato.
• Modalità: I partecipanti specificavano se utilizzavano adattamento (fine-tuning), pochi esempi (few-shot) o valutazione zero-shot.

3. Contributi Chiave

• Valutazione Unificata: Ha fuso con successo compiti precedentemente separati (tracciamento, localizzazione) in tracce unificate, costringendo la comunità a sviluppare modelli generalisti piuttosto che pipeline di ensemble.
• Estensione Unificata mc-VQA: Ha introdotto un nuovo framework che ricastifica compiti spazio-temporali complessi (tracciamento, localizzazione) come domande VQA a scelta multipla utilizzando l'in-painting visivo. Questo colma il divario tra percezione visiva e ragionamento linguistico.
• Valutazione Completa: Ha valutato 450 invii provenienti da oltre 100 team, fornendo un confronto robusto dei modelli SOTA (inclusi Gemini, GPT-4V, Qwen, Llama 3-V) rispetto alle linee di base umane.
• Analisi del Contesto Lungo: Ha incluso una traccia dedicata per video di un'ora, spingendo i limiti delle finestre di contesto attuali e del ragionamento temporale.

4. Risultati

I risultati evidenziano una divergenza nelle prestazioni basata sulla presenza di un'interfaccia linguistica:

• Tracce con Interfaccia Linguistica (Progressi Significativi):

  • VQA Video Ancorata: Le prestazioni sono quasi raddoppiate rispetto al 2024. Il modello migliore (SGVR@KAIST) ha raggiunto 0,499 HOTA, rispetto a una linea di base di 0,057. Ciò indica che i modelli stanno ora ancorando efficacemente il linguaggio ai flussi visivi.
  • VQA Video di un'ora: I modelli migliori hanno raggiunto un'accuratezza di 0,780 (rispetto a una linea di base casuale di 0,203), mostrando forti capacità nell'elaborazione di contenuti di lunga durata.
  • mc-VQA Unificata: Il modello zero-shot migliore ha raggiunto un'accuratezza dell'81,2% sul set originale e del 65,4% sul nuovo set più difficile a 5 opzioni.
  • Osservazione: I modelli si stanno avvicinando rapidamente alle linee di base umane nei compiti ancorati al linguaggio.

• Tracce senza Interfaccia Linguistica (Stagnazione/Guadagni Modesti):

  • Tracciamento Unificato di Oggetti e Punti: Il modello unificato migliore ha raggiunto 0,62 AJ, che non ha superato la media dei migliori modelli specializzati del 2024 (0,47 per i punti, 0,81 per gli oggetti).
  • Localizzazione Unificata di Azioni e Suoni: Il modello migliore ha raggiunto 0,52 mAP, simile ai vincitori specializzati precedenti.
  • Osservazione: Sebbene i modelli multi-compito siano capaci, faticano a superare le pipeline specializzate per singoli compiti quando manca un'interfaccia linguistica.

• Prestazioni dei Modelli:

  • Zero-Shot vs. Adattati: I migliori risultati sono stati ottenuti sia da ensemble adattati (ad esempio, Qwen-2.5VL + GLM-4.5V) che da approcci zero-shot sofisticati (ad esempio, Seed 1.6 Vision + Qwen-VL-Max).
  • Linea di Base Umana: Gli umani hanno ottenuto il 91,4% sul compito mc-VQA, mentre i migliori modelli hanno raggiunto circa l'82%, indicando un divario residuo nel ragionamento.

5. Significato

Il Perception Test 2025 funge da pietra miliare critica nello sviluppo di modelli di percezione generale:

1. Validazione delle Interfacce Unificate: La sfida dimostra che le interfacce linguistiche migliorano significativamente le prestazioni su compiti di percezione complessi, suggerendo che i VLM stanno diventando l'architettura preferita per la percezione generale.
2. Identificazione dei Colli di Bottiglia: La stagnazione nelle tracce unificate non linguistiche (tracciamento/localizzazione) rivela che i modelli attuali faticano ancora a integrare compiti visivi diversi senza l'impalcatura del linguaggio naturale.
3. Direzione Futura: I risultati suggeriscono che la prossima frontiera per i modelli multimodali non è solo la scalabilità, ma il miglioramento del ragionamento spazio-temporale e della comprensione del contesto lungo per raggiungere prestazioni a livello umano in compiti che non si basano su prompt linguistici espliciti.
4. Evoluzione del Benchmark: Introducendo il sottoinsieme "Unified mc-VQA", gli autori forniscono un metodo scalabile per valutare le capacità di tracciamento e localizzazione utilizzando metriche VQA standard, semplificando la pipeline di valutazione per la ricerca futura.

In conclusione, sebbene gli LMM abbiano compiuto passi da gigante nella percezione ancorata al linguaggio (raddoppiando le prestazioni nella QA ancorata), la sfida evidenzia che una vera "percezione generale" capace di gestire compiti visivi diversi in modo unificato e non linguistico rimane un problema aperto e difficile.