Perception Test 2025: Challenge Summary and a Unified VQA Extension

1. Probleemstelling

Het artikel behandelt de snelle evolutie van Large Multimodal Models (LMM's) en de noodzaak om hun capaciteiten te benchmarken buiten gespecialiseerde, single-task modellen om. Waar eerdere iteraties van de Perception Test modellen beoordeelden op afzonderlijke taken (bijvoorbeeld aparte tracks voor objecttracking, punttracking en actielocalisatie), is het veld verschoven naar Unificatie van Perceptie.

Het kernprobleem is het bepalen of huidige State-of-the-Art (SOTA) modellen diverse, complexe spatiotemporale perceptietaken kunnen hanteren via een enkele, geünificeerde interface (specifiek een taalgebaseerde interface), in plaats van te vertrouwen op ontworpen pipelines met taakspecifieke modellen. De uitdaging van 2025 had tot doel te testen of modellen konden generaliseren over taken zoals tracking, localisatie en redeneren zonder taakspecifieke fine-tuning of architecturale wijzigingen.

2. Methodologie en Uitdagingopzet

De uitdaging was georganiseerd als een workshop naast ICCV 2025, met gebruikmaking van het eval.ai-platform. Het kende vijf geconsolideerde tracks, die zich afscheidden van losstaande taken en overgingen naar geünificeerde benaderingen:

A. Geünificeerde Task Tracks (Geen Taalinterface)

Deze tracks vereisten dat een enkel model twee verschillende taken gelijktijdig oplost:

1. Geünificeerde Object- en Punttracking: Modellen moeten zowel boks (objecten) als specifieke 2D-punten (punten) over videoframes volgen, inclusief het hanteren van occlusies.
   • Maatstaf: Average Jaccard (AJ), een gemiddelde van Point AJ (TAP-Vid) en Object AJ (IoU).
2. Geünificeerde Actie- en Geluidstemporalisatie: Modellen moeten zowel visuele acties als auditieve gebeurtenissen binnen een video identificeren en localiseren.
   • Maatstaf: Mean Average Precision (mAP) over actie- en geluidsklassen.

B. Geünificeerde VQA Tracks (Taalinterface)

Deze tracks gebruikten natuurlijke taalvragen om perceptie te testen, inclusief een nieuwe uitbreiding:
3. Geünificeerde Multiple-Choice Video QA (mc-VQA): De kerninnovatie van dit jaar.
* Nieuwheid: Traditionele niet-taaltaken (punttracking, temporele actielocalisatie) werden herformuleerd als meerkeuzevragen.
* Techniek: De auteurs gebruikten visuele inpainting (bijvoorbeeld gekleurde balken, flitsende indicatoren) en temporele markers om ruimtelijke/temporele vragen direct te verankeren in de videostream. Dit stelt VLM's in staat om de taakeisen te "zien" zonder complexe decoders.
* Nieuwe Vraagtypes:
* Punttracking: Identificeer een specifiek oppervlaktepunt tussen afleiders na een "Groene Flits".
* Actievolgorde: Identificeer de juiste volgorde van acties.
* Object-Actie Interactie: Identificeer objecten die betrokken zijn bij een specifiek temporeel segment.
* Gedraaide Actie: Identificeer segmenten waar een actie "nep" of onjuist is.
* Dataset: Uitgebreid van 11.528 oorspronkelijke 3-keuzevragen tot 1.842 nieuwe 5-keuzevragen om shortcut learning te mitigeren.
4. Geverifieerde Video QA: Modellen beantwoorden een vraag door het specifieke object (de objecten) dat het antwoord vertegenwoordigt door de hele video te volgen.
* Maatstaf: HOTA (Higher Order Tracking Accuracy).
5. Video QA van een uur: Modellen beantwoorden vragen over zeer lange video's (1+ uur) om langetermijngeheugen en redeneren te testen.
* Maatstaf: Top-1 Nauwkeurigheid.

Evaluatieprotocol:

• Fases: Validatie (onbeperkte inzendingen) en Test (beperkt tot 30 inzendingen).
• Beperkingen: Voor gezamenlijke tracks moesten modellen beide taken gelijktijdig oplossen. Sequentiële fine-tuning (bijvoorbeeld eerst trainen op objecttracking en vervolgens op punttracking) was niet toegestaan.
• Modi: Deelnemers specificeren of ze fine-tuning, few-shot of zero-shot evaluatie gebruikten.

3. Belangrijkste Bijdragen

• Geünificeerde Benchmarking: Met succes samengevoegde eerder gescheiden taken (tracking, localisatie) in geünificeerde tracks, waardoor de gemeenschap gedwongen werd generalistische modellen te ontwikkelen in plaats van ensemble-pipelines.
• Geünificeerde mc-VQA Uitbreiding: Introductie van een nieuw raamwerk dat complexe spatiotemporale taken (tracking, localisatie) herformuleert als meerkeuze VQA-vragen met behulp van visuele inpainting. Dit overbrugt de kloof tussen visuele perceptie en taalredenering.
• Uitgebreide Evaluatie: Evaluatie van 450 inzendingen van meer dan 100 teams, waardoor een robuuste vergelijking mogelijk werd van SOTA-modellen (waaronder Gemini, GPT-4V, Qwen, Llama 3-V) tegen menselijke baselines.
• Long-Context Analyse: Inclusie van een dedicate track voor video's van een uur, wat de grenzen van huidige contextvensters en temporeel redeneren opzoekt.

4. Resultaten

De resultaten benadrukken een divergentie in prestaties op basis van de aanwezigheid van een taalinterface:

• Tracks met Taalinterface (Significante Vooruitgang):

  • Geverifieerde Video QA: Prestaties bijna verdubbeld ten opzichte van 2024. Het topmodel (SGVR@KAIST) behaalde 0,499 HOTA, vergeleken met een baseline van 0,057. Dit geeft aan dat modellen taal nu effectief verankeren in visuele streams.
  • Video QA van een uur: Topmodellen behaalden 0,780 nauwkeurigheid (tegenover 0,203 willekeurige baseline), wat sterke capaciteiten aantoont in het verwerken van langere content.
  • Geünificeerde mc-VQA: Het top zero-shot model behaalde 81,2% nauwkeurigheid op de originele set en 65,4% op de nieuwe, moeilijkere 5-keuze set.
  • Observatie: Modellen naderen snel menselijke baselines in taalgewenste taken.

• Tracks zonder Taalinterface (Stagnatie/Beperkte Winsten):

  • Geünificeerde Object- en Punttracking: Het top geünificeerde model behaalde 0,62 AJ, wat niet de gemiddelde prestatie van de beste gespecialiseerde modellen uit 2024 overtrof (0,47 voor punt, 0,81 voor object).
  • Geünificeerde Actie- en Geluidslocalisatie: Het topmodel behaalde 0,52 mAP, vergelijkbaar met eerdere gespecialiseerde winnaars.
  • Observatie: Hoewel multitask-modellen bekwaam zijn, worstelen ze om gespecialiseerde, single-task pipelines te overtreffen wanneer er geen taalinterface aanwezig is.

• Modelprestaties:

  • Zero-Shot versus Fine-Tuned: Topresultaten werden behaald door zowel fine-tuned ensembles (bijvoorbeeld Qwen-2.5VL + GLM-4.5V) als geavanceerde zero-shot benaderingen (bijvoorbeeld Seed 1.6 Vision + Qwen-VL-Max).
  • Menselijke Baseline: Mensen scoorden 91,4% op de mc-VQA-taak, terwijl de beste modellen ongeveer 82% bereikten, wat een resterende kloof in redeneren aangeeft.

5. Betekenis

De Perception Test 2025 dient als een kritieke mijlpaal in de ontwikkeling van algemene perceptiemodellen:

1. Validatie van Geünificeerde Interfaces: De uitdaging bewijst dat taalinterfaces de prestaties op complexe perceptietaken aanzienlijk verhogen, wat suggereert dat VLM's de voorkeursarchitectuur worden voor algemene perceptie.
2. Identificatie van Bottlenecks: De stagnatie in niet-taal geünificeerde tracks (tracking/localisatie) onthult dat huidige modellen nog steeds moeite hebben om diverse visuele taken te integreren zonder het steigersysteem van natuurlijke taal.
3. Toekomstige Richting: De resultaten suggereren dat de volgende grens voor multimodale modellen niet alleen schaalvergroting is, maar het verbeteren van spatiotemporale redenering en long-context begrip om menselijk niveau te bereiken in taken die niet vertrouwen op expliciete taalprompten.
4. Evolutie van Benchmarking: Door de "Geünificeerde mc-VQA" subset in te voeren, bieden de auteurs een schaalbare methode om tracking- en localisatiecapaciteiten te evalueren met standaard VQA-maatstaven, wat de evaluatiepipeline voor toekomstig onderzoek vereenvoudigt.

Concluderend, hoewel LMM's indrukwekkende stappen hebben gemaakt in taalgebaseerde perceptie (verdubbelde prestaties in grounded QA), benadrukt de uitdaging dat ware "algemene perceptie" die diverse visuele taken op een geünificeerde, niet-taalgebonden manier kan hanteren, een open en moeilijk probleem blijft.