Technische Samenvatting: Voorbij de Enkele Camera: Agentic Multi-View Redeneren in Sportvideo-begrip

1. Probleemdefinitie

Het begrijpen van sportvideo's presenteert unieke uitdagingen voor Multimodale Large Language Models (MLLM's) die niet adequaat worden geadresseerd door bestaande benchmarks. Hoewel huidige MLLM's goed presteren bij single-view video-taken, omvatnen sportscenario's dichte occlusies, snelle bewegingen en complexe interacties tussen spelers die vaak een enkele camerahoek ontoereikend of misleidend maken. In de echte wereld van arbitrage vertrouwen scheidsrechters op meerdere asynchrone camerahoeken om ambiguïteit op te lossen (bijv. bepalen of er een overtreding plaatsvond of dat een speler buiten de lijnen stond). Echter, bestaande benchmarks (bijv. SoccerNet, Sports-QA) bieden doorgaans alleen single-view inputs, waardoor het vermogen van een MLLM om over meerdere perspectieven te redeneren, niet wordt geëvalueerd.

Het kernprobleem dat wordt aangepakt is Multi-View Sportvideo-begrip: gegeven een set van $N$ video's ($V = \{V_1, ..., V_N\}$) die dezelfde gebeurtenis vastleggen vanuit verschillende, potentieel niet-gesynchroniseerde gezichtspunten, en een natuurlijke taalvraag $q$, moet het model bewijslast over de views aggregeren om het juiste antwoord $a$ af te leiden.

2. Methodologie

2.1. SportMV-Bench: Een Nieuwe Benchmark

Om het gebrek aan multi-view evaluatie aan te pakken, introduceren de auteurs SportMV-Bench, geconstrueerd uit officiële wedstrijdopnames van basketbal en voetbal.

• Data Constructie Pipeline: De dataset wordt gebouwd via een vierfasenproces om kwaliteit en verifieerbaarheid te garanderen:
  1. Dataverzameling: Video's en officiële scheidsrechterrapporten worden afkomstig van publieke platforms (NBA replay archive, SoccerNet). Multi-view clips worden gesegmenteerd met behulp van scène-detectie om dezelfde actie vanuit verschillende hoeken vast te leggen.
  2. LLM-gebaseerde QA-voorstel: Een LLM genereert meerkeuzevragen die strikt gebaseerd zijn op de scheidsrechterrapporten, wat ervoor zorgt dat het "gouden antwoord" feitelijk is en de afleiders semantisch vergelijkbaar maar onjuist zijn.
  3. Multimodale Verificatie: Een sterke MLLM (GPT-5) fungeert als auditor om de consistentie tussen het QA-paar, het scheidsrechterrapport en het visuele bewijs te verifiëren, waarbij hallucinaties of vragen die enkel op common sense berusten worden gefilterd.
  4. Menselijke Filtering: Deskundige annotatoren verfijnen de dataset om ambigue of slecht geformuleerde vragen te verwijderen.
• Statistieken: De uiteindelijke benchmark bevat 787 multi-view videobundels (2–4 views per bundel) en 2.592 QA-paren.
• Taakcategorieën: Vragen worden gecategoriseerd in drie redeneerniveaus:
  • Perception-Aware Recognition (PAR): Laagniveau actie-identificatie (bijv. tackle, blokkade) onder occlusie.
  • Rule Event Aware Interpretation (REI): Middelniveau redeneren dat lokalisatie van gebeurtenissen op basis van regels vereist.
  • Adjudicative Decision Reasoning (ADR): Hoogniveau normatieve inferentie om sancties te bepalen (bijv. penalty versus vrije trap) door cross-view bewijslast te synthetiseren.

2.2. Baseline Analyse en Bevindingen

De auteurs evalueerden state-of-the-art MLLM's (inclusief GPT-4.1, Qwen3-VL, en anderen) met een standaard baseline waarbij alle views worden geconcateneerd tot een enkele input.

• Belangrijkste Bevindingen:
  • View Quantity $\neq$ Quality: Het gezamenlijk aanbieden van alle views leverde slechts marginale winst op ten opzichte van een willekeurige single view en presteerde aanzienlijk slechter dan het aanbieden van de enkele "beste" view. Redundante of geoccludeerde views introduceren ruis.
  • Perceptie is de Bottleneck: Het aanbieden van ground-truth fijnmazige perceptie-labels (actie/contact) verbeterde de nauwkeurigheid met ~16,5%, terwijl Chain-of-Thought (CoT) redeneren en extra domeinkennis verwaarloosbare of zelfs negatieve winsten opleverden.
  • Conclusie: De primaire foutmodus van huidige MLLM's is niet logische redenering of een gebrek aan domeinkennis, maar het onvermogen om autonoom informatieve views te selecteren en fijnmazige visuele perceptie uit te voeren.

2.3. SportMV-Agent: Een Agentic Framework

Gemotiveerd door de analyse, stellen de auteurs SportMV-Agent voor, een agentic framework dat passieve verwerking vervangt door een iteratieve, actieve redeneerlus.

• Architectuur: Het systeem bestaat uit een Orchestrator (een sterke MLLM) en een set Perceptie Tools.
• Iteratieve Lus:
  1. State Maintenance: De orchestrator houdt een status bij die de vraag, de momenteel actieve views en het geaccumuleerde bewijs bevat.
  2. Besluitvorming: In elke stap genereert de orchestrator een gedachte en een operatie.
  3. Actieve View Selectie: Als de huidige view geoccludeerd is of een gebrek aan detail vertoont, triggert de agent een VIEWSELECT operatie om over te schakelen naar een meer informatieve hoek.
  4. Tool Executie: De agent kan TOOLEXEC triggeren om gespecialiseerde perceptietools (Actieherkenning, Contactdetectie, Contactdeeldetectie) op specifieke views aan te roepen om fijnmazig bewijs te extraheren.
  5. Terminatie: De lus gaat door totdat de orchestrator voldoende vertrouwen heeft om een definitief antwoord te geven.

3. Belangrijkste Resultaten

• Prestaties: SportMV-Agent behaalde een algehele nauwkeurigheid van 68,31% op SportMV-Bench, wat een relatieve verbetering van 14,46% betekent ten opzichte van de sterkste baseline (GPT-4.1 met 59,68%).
• Ablatie Studies:
  • Orchestrator Sterkte: Het gebruik van een zwakkere orchestrator (GPT-4o) verlaagde de prestaties met ~8,6%, wat het belang van sterke redeneercapaciteiten benadrukt.
  • Actieve View Selectie: Het uitschakelen van de view-switching module verminderde de prestaties met ~7,3%, wat bevestigt dat dynamische view-selectie cruciaal is.
  • Tool Robuustheid: Het framework is robuust tegen het specifieke perceptiemodel dat wordt gebruikt; het vervangen van de tool door een sterker model leverde slechts marginale winsten op, wat suggereert dat de orchestratiestrategie de primaire drijfveer van succes is.
  • Ruisafhandeling: Het aanbieden van de top-3 tool-voorspellingen in plaats van top-1 verbeterde de robuustheid, wat aangeeft dat de orchestrator retrieval-ruis kan filteren.

4. Betekenis en Claims

Het artikel claimt dat SportMV-Bench de eerste benchmark is die MLLM's evalueert op multi-view sportvideo-begrip, waarmee een kritiek gat wordt gevuld tussen synthetische single-view taken en real-world arbitrage scenario's.

De auteurs stellen dat hun werk aantoont:

1. Beperkingen van Huidige MLLM's: Standaardmodellen slagen er niet in om multi-view bewijslast effectief te exploiteren omdat ze geen mechanismen hebben voor actieve view-selectie en gevoelig zijn voor perceptiefouten.
2. De Rol van Perceptie: Fijnmazige visuele perceptie is de beslissende bottleneck in sportredeneren, meer nog dan logische redenering of domeinkennis.
3. Agentic Oplossing: Een agentic framework dat actieve view-selectie en tool-gebaseerde bewijsverzameling orchestreert, presteert aanzienlijk beter dan passieve, single-pass benaderingen.

Het artikel concludeert dat toekomstige vooruitgang in sportvideo-begrip vereist dat men verder kijkt dan statische, single-view inputs naar dynamische, op bewijs gebaseerde redeneersystemen die in staat zijn de complexiteit van real-world multi-camera sportdata aan te kunnen.