DeepSport: A Multimodal Large Language Model for Comprehensive Sports Video Reasoning via Agentic Reinforcement Learning

Het artikel introduceert DeepSport, het eerste end-to-end getrainde multimodale taalmodel dat via agentic reinforcement learning en een geavanceerd trainingspipeline state-of-the-art prestaties bereikt in het begrijpen en redeneren over complexe sportvideo's over meerdere sporten heen.

De kern

DeepSport: De Sportanalist die "Meer Kijkt"

Stel je voor dat je een sportwedstrijd op tv bekijkt. Een gewone camera (of een standaard computerprogramma) kijkt vaak alleen naar een paar willekeurige beelden: hier is een speler, daar is de bal, en opeens is er een goal. Maar in het echte leven, en zeker in de sport, gebeurt er heel veel tussen die beelden door. Snelheid, regels, en subtiele bewegingen zijn vaak te snel voor een simpele blik.

DeepSport is een nieuw, slim computerprogramma (een "Multimodal Large Language Model" of MLLM) dat dit probleem oplost. Het is niet zomaar een camera die kijkt; het is een sportanalist die actief nadenkt.

1. Het Probleem: De "Passieve Kijker"

De meeste huidige AI's zijn als een passieve kijker die een filmpje in één keer afspeelt. Ze kijken naar 16 beelden per video en proberen dan een antwoord te geven.

• Het nadeel: Als er een fout (een "foul") gebeurt in de 0,5 seconde tussen twee beelden door, ziet de AI het niet. Het is alsof je een boek leest door alleen de eerste en laatste zin van elke pagina te scannen. Je mist de hele plot.
• Huidige AI's: Ze zijn vaak gespecialiseerd in één sport (bijvoorbeeld alleen voetbal) of kunnen alleen één ding doen (zoals alleen commentaar geven). Ze zijn niet flexibel.

2. De Oplossing: DeepSport als een "Actieve Detective"

DeepSport werkt anders. Het is als een detective die een dossier bestudeert.

• Actief Kijken: In plaats van alleen te kijken wat er wordt aangeboden, vraagt DeepSport: "Wacht even, ik heb een beter beeld nodig van wat er tussen seconde 30 en 40 gebeurde."
• Het Gereedschap: Het programma heeft een speciaal gereedschap waarmee het zelf nieuwe, scherpere beelden kan "opvragen" uit de video. Het denkt: "Ik zie iets verdachts, laat me die specifieke momenten nog eens van dichtbij bekijken."
• Meerdere Ronden: Het proces verloopt in rondes. Eerst kijkt het, dan denkt het na, dan vraagt het om meer beelden, denkt het weer na, en geeft pas dan het antwoord. Dit noemen ze "Agentic Reinforcement Learning" (leren door te handelen en feedback te krijgen).

3. Hoe is het getraind? (De "Sport-Opleiding")

Om DeepSport zo slim te maken, hebben de onderzoekers een slimme trainingsmethode gebruikt, vergelijkbaar met hoe je een jonge sportcoach opleidt:

• Stap 1: De Basis (Curriculum SFT): Net als een kind eerst moet leren lopen voordat het kan sprinten, leerde men DeepSport eerst de basis. Het leerde eerst simpele dingen herkennen (wie is wie, wat is de bal?) voordat het ging nadenken over complexe regels.
• Stap 2: De "Grote Meester" (Reinforcement Learning): Daarna kregen ze een "leraar" (een nog slimmere AI) die hun antwoorden controleerde.
  • Als DeepSport een fout zag en vroeg om extra beelden om het op te lossen, kreeg het een beloning.
  • Als DeepSport onnodig extra beelden vroeg (terwijl het antwoord al duidelijk was), kreeg het een straf.
  • Zo leerde het wanneer het moet nadenken en wanneer het moet stoppen.

4. Wat kan het nu?

DeepSport is getraind op 12 verschillende sporten (van voetbal en basketbal tot schermen en duiken) en kan vier soorten taken doen:

1. Herkenning: Wie doet wat? (Bijv. "Die speler heeft de bal geraakt.")
2. Regels: Was het een overtreding? (Bijv. "Ja, dat was een 'traveling' in basketbal.")
3. Beoordeling: Hoe goed was de prestatie? (Bijv. "De duik was technisch perfect, maar de waterplons was groot.")
4. Commentaar: Het kan een verslag schrijven alsof het een presentator is.

5. Waarom is dit zo speciaal?

• Alles-in-één: Het is de eerste AI die alles kan in alle sporten, niet alleen voetbal.
• Efficiënt: Het gebruikt veel minder beelden dan andere systemen (gemiddeld 9 beelden in plaats van 16), maar is toch slimmer. Het is alsof het een boek sneller en beter begrijpt door alleen de belangrijkste zinnen te lezen, in plaats van alles te scannen.
• Slimme Overdracht: Als je DeepSport een sport geeft die het nooit eerder heeft gezien (bijvoorbeeld een obscure variant van volleybal), kan het de regels en bewegingen toch begrijpen. Het heeft de "essentie" van sportbewegingen geleerd, niet alleen de regels van één sport uit het hoofd geleerd.

Samenvattend

Stel je DeepSport voor als een super-sportanalist die niet alleen kijkt, maar ook nadenkt. Als het iets mist, vraagt het om een "slow-motion" terug te kijken. Het is getraind om slim te zijn in plaats van gewoon snel. Hierdoor kan het fouten zien die andere AI's missen, en het kan commentaar geven over vrijwel elke sport, van basketbal tot boksen.

Het is een grote stap van "AI die kijkt" naar "AI die begrijpt".

Technische samenvatting

Probleemstelling

Het begrijpen van sportvideo's is een uiterst complex probleem dat vereist dat modellen hoge snelheidsdynamiek, complexe spelregels en lange temporale contexten waarnemen. Bestaande Multimodale Large Language Models (MLLMs) hebben echter ernstige beperkingen:

1. Fragmentatie: De meeste modellen zijn gespecialiseerd in één specifieke sport (bijv. alleen voetbal) of één taak (bijv. alleen commentaar genereren).
2. Passieve Verwerking: Huidige modellen verwerken video's vaak passief door een vast aantal frames te analyseren, wat leidt tot het missen van snelle, cruciale momenten (zoals een overtreding of een technisch detail).
3. Gebrek aan End-to-End Training: Er bestaat geen unified model dat end-to-end is getraind om meerdere taken uit te voeren over diverse sporten heen. Bestaande multi-sport benaderingen vertrouwen vaak op "training-free" paradigma's die minder robuust zijn.

Methodologie: Het DeepSport Framework

DeepSport introduceert een nieuw paradigma: van passieve frame-verwerking naar actieve, iteratieve redenering ("Thinking with Videos"). Het model fungeert als een agent die dynamisch frames selecteert om de video te "herbekijken" en zo beter te redeneren.

De aanpak bestaat uit drie hoofdblokken:

1. Data Distillatie en Unificatie

Om het model te trainen, hebben de auteurs een rigoureuze drie-staps pipeline ontwikkeld om data uit 10 bestaande bronnen te unificeren en te distilleren:

• Bronnen: Data uit 12 verschillende sporten (o.a. voetbal, basketbal, duiken, gymnastiek, schermen) is samengevoegd.
• Taak Taxonomie: Taken zijn ingedeeld in vier dimensies:
  1. Fine-Grained Recognition: Visuele perceptie (actieherkenning, speleridentificatie).
  2. Rule & Procedural Logic: Regelkennis (overtredingen, scheidsrechterlijke beslissingen).
  3. Assessment & Coaching: Expertredenering (tactische analyse, technische fouten).
  4. Live Commentary & Reporting: Multimodale narratie.
• Filtering: Een drie-staps filterproces (Accuracy Check, Logic Consistency, Retrieval Usefulness) met behulp van sterke LLMs (DeepSeek, Kimi) garandeert dat alleen hoogwaardige "Chain-of-Thought" (CoT) trajecten met tool-gebruik behouden blijven. Dit resulteerde in een dataset van 78.000 samples.

2. Twee-Fase Trainingsstrategie

Het model ondergaat een progressieve training:

• Fase 1: Sports Curriculum Supervised Fine-Tuning (SFT):
  • Het model wordt eerst getraind op een "cold-start" dataset (14k samples) om de syntaxis van CoT en tool-gebruik te leren.
  • Een Curriculum Learning-strategie wordt toegepast: het model begint met basisopgaven (fine-grained herkenning) en werkt zich op naar complexe redeneertaken (regels, coaching). Dit zorgt voor een stevige visuele basis voordat complexe logica wordt aangeleerd.
• Fase 2: Agentic Reinforcement Learning (RL):
  • Er wordt gebruik gemaakt van Group Relative Policy Optimization (GRPO).
  • Gated Tool-Use Reward: Een innovatieve beloningsfunctie wordt ingevoerd om "reward hacking" te voorkomen. Het model wordt beloond voor het gebruiken van de tool (frame-extractie) alleen wanneer de initiële frames onvoldoende waren (Class-A), en voor het niet gebruiken van de tool wanneer de initiële frames al voldoende waren (Class-B). Dit dwingt het model om strategisch te beslissen wanneer het moet "hervatten".

3. Het Agent Mechanisme

Het model kan tijdens de inferentie een frame_extraction_tool aanroepen om een specifiek tijdsvenster (frame_range) uit de video op te halen. Dit stelt het in staat om iteratief te redeneren:

1. Kijk naar initiële frames.
2. Redeneer (Thought).
3. Beslis: Is meer informatie nodig?
4. Zo ja, roep de tool aan om nieuwe frames op te halen.
5. Herhaal tot een definitief antwoord wordt gegeven.

Kernresultaten

DeepSport werd geëvalueerd op een nieuw, uitgebreid benchmark van 6.700 samples die diverse sporten en taken dekt.

• State-of-the-Art (SOTA) Prestaties: DeepSport behaalde een gemiddelde score van 37,67, wat een nieuwe SOTA is. Het presteerde beter dan krachtige gesloten modellen (zoals GPT-5) en grote open-source modellen (zoals Qwen3-VL-235B), ondanks dat het model aanzienlijk kleiner is (gebaseerd op Qwen2.5-VL-7B).
• Efficiëntie: Het model gebruikt gemiddeld slechts 9,81 frames per vraag, terwijl concurrenten vaak vast staan op 16 frames of meer. Dit toont aan dat de actieve selectie efficiënter is dan passieve bemonstering.
• Generalisatie:
  • Zero-Shot Transfer: Het model toont sterke prestaties op onbekende sporten die niet in de trainingsdata zaten, wat aantoont dat het onderliggende atletische mechanieken heeft geleerd in plaats van alleen regels te memoriseren.
  • Algemene Video-taken: Het model behoudt competitieve prestaties op algemene lange-videobenchmarks (zoals LVBench en LongVideoBench) en verbetert zelfs op taken voor fijne bewegingsherkenning (DREAM-1K, MotionBench).
• Ablatie Studies: De studie bevestigt dat de "Curriculum SFT" essentieel is; zonder de progressieve opbouw van basis tot complexe taken daalt de prestatie aanzienlijk.

Bijdrage en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste Unified MLLM voor Sport: Het introduceert het eerste end-to-end getrainde model dat multi-task en multi-sport video-onderstanding mogelijk maakt.
2. Paradigmaverschuiving: Het verschuift de focus van statische analyse naar dynamische, tool-augmented redenering ("Thinking with Videos"), wat cruciaal is voor het begrijpen van snelle sportdynamiek.
3. Nieuwe Benchmark en Data: De publicatie van een rigoureuze distillatie-pipeline en een uitgebreide dataset (78k training, 6.7k test) vult een gat in de huidige sport-AI-landschap.
4. Efficiëntie en Generalisatie: Het bewijst dat een kleiner model, getraind met de juiste agent-strategie, superieur kan zijn aan veel grotere modellen door slimme, actieve data-selectie.

Beperkingen en Toekomst:
De auteurs wijzen erop dat "Tool Grounding Failure" (het verkeerd selecteren van het tijdsvenster) nog steeds de grootste foutbron is. Toekomstig werk zal zich richten op het verbeteren van de temporele precisie van de ophaalmodule en het uitbreiden van de dataset naar minder populaire sporten waar data schaars is.

Kortom, DeepSport stelt een nieuwe standaard voor in sportvideo-analyse door agent-based reinforcement learning te combineren met een gestructureerde curriculum-training, waardoor modellen niet alleen "kijken", maar actief "nadenken" over video-inhoud.