DeepSport: A Multimodal Large Language Model for Comprehensive Sports Video Reasoning via Agentic Reinforcement Learning

Die Arbeit stellt DeepSport vor, das erste end-to-end trainierte multimodale Großsprachmodell, das durch einen aktiven, agentic-basierten Reinforcement-Learning-Ansatz und eine kuratierte Trainingspipeline state-of-the-art-Leistung in der umfassenden Analyse und Begründung von Sportvideos über verschiedene Disziplinen hinweg erzielt.

Das Wesentliche

Stellen Sie sich vor, Sie schauen sich einen hochintensiven Fußball- oder Basketball-Spielclip an. Für ein menschliches Auge ist es manchmal schwer, jeden einzelnen Moment zu erfassen, besonders wenn die Aktion blitzschnell passiert. Ein herkömmlicher Computer sieht das Video oft wie einen statischen Bildstreifen: Er schaut sich ein paar zufällige Bilder an und versucht, eine Antwort zu erraten. Das ist, als würde man versuchen, einen ganzen Film zu verstehen, indem man nur drei zufällige Standbilder betrachtet.

Das neue Modell DeepSport, vorgestellt in diesem Papier, ist anders. Es ist wie ein super-intelligenter Sportanalyst mit einer Fernbedienung, der nicht nur schaut, sondern aktiv nachfragt.

Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Die "Passive" Kamera

Bisherige KI-Modelle für Sportvideos waren oft wie ein Zuschauer, der die Augen geschlossen hält und nur hin und wieder kurz aufschaut.

• Sie waren oft nur auf eine Sportart spezialisiert (z. B. nur Fußball).
• Sie konnten nicht gut zwischen verschiedenen Aufgaben wechseln (z. B. nicht gleichzeitig einen Foul erkennen und den Spielstand kommentieren).
• Sie schauten sich das Video oft nur einmal passiv an, ohne nachzudenken.

2. Die Lösung: DeepSport – Der "aktive Detektiv"

DeepSport ist das erste Modell, das wie ein echter Sportexperte denkt. Es nutzt eine Technik namens "Agentic Reinforcement Learning" (Agenten-basiertes verstärktes Lernen).

Die Analogie des Detektivs:
Stellen Sie sich DeepSport als einen Detektiv vor, der einen Fall lösen muss.

• Der alte Weg: Der Detektiv schaut sich nur die ersten 10 Sekunden des Videos an und schreibt sofort einen Bericht. Wenn er den entscheidenden Moment verpasst hat, ist sein Bericht falsch.
• Der DeepSport-Weg: Der Detektiv schaut sich den Anfang an. Dann sagt er: "Moment mal, das sieht verdächtig aus, aber ich brauche mehr Beweise."
  • Er drückt auf eine Fernbedienung (ein Werkzeug), um genau den Zeitraum im Video herauszusuchen, in dem die Aktion passiert ist.
  • Er schaut sich diese neuen, detaillierten Bilder an.
  • Er denkt nach: "Aha! Jetzt sehe ich, dass der Spieler gestoßen hat."
  • Erst dann gibt er die Antwort.

Das Modell lernt also nicht nur, was es sieht, sondern wann es genauer hinschauen muss.

3. Wie wurde es trainiert? (Der "Lehrplan")

Um diesen Detektiv zu erschaffen, haben die Forscher zwei Dinge getan:

• Der Datensatz (Die Bibliothek): Sie haben 78.000 Beispiele aus 12 verschiedenen Sportarten (von Fußball über Schwimmen bis hin zu Fechten) gesammelt. Aber sie haben nicht einfach nur Fragen und Antworten gesammelt. Sie haben eine KI (einen "Lehrer") benutzt, um Denkwege zu erstellen. Der Lehrer hat sich die Videos angesehen und geschrieben: "Ich schaue mir erst Bild 1 an, dann merke ich, dass ich Bild 50 brauche, also hole ich mir Bild 50, und dann kann ich antworten."
• Der Trainingsplan (Curriculum Learning): Man kann nicht sofort einen Experten für komplexe Regeln machen. Also lernte das Modell zuerst die Grundlagen (z. B. "Wer ist das?", "Welche Farbe hat das Trikot?"). Erst als es darin sicher war, lernte es die schwierigen Regeln (z. B. "Warum war das ein Foul?" oder "Wie wird der Punktestand berechnet?").

4. Der "Belohnungssystem"-Trick

Das Modell wurde mit einer speziellen Belohnungsmethode trainiert (Reinforcement Learning):

• Wenn das Modell die richtige Antwort gibt, ohne unnötig viele Bilder anzusehen, bekommt es Punkte.
• Wenn es die Fernbedienung (das Werkzeug) benutzt, nur wenn es wirklich nötig ist, um eine schwierige Frage zu lösen, gibt es extra Punkte.
• Wenn es die Fernbedienung benutzt, obwohl die Antwort schon klar war, oder wenn es sie benutzt und trotzdem die falsche Antwort gibt, gibt es Minuspunkte.

So lernt das Modell: "Sei sparsam mit deiner Fernbedienung, aber benutze sie mutig, wenn du unsicher bist."

5. Das Ergebnis

DeepSport ist jetzt der beste seiner Art.

• Es ist schneller und genauer als teure, geschlossene Modelle (wie GPT-5).
• Es braucht viel weniger Bilder aus dem Video, um die gleiche Leistung zu erbringen (es schaut nicht alles an, sondern nur das Wichtige).
• Es kann Sportarten verstehen, die es in der Trainingsphase gar nicht gesehen hat, weil es die Logik des Sports verstanden hat, nicht nur auswendig gelernt hat.

Zusammenfassend:
DeepSport ist wie ein Sportkommentator, der nicht nur blindlings redet, sondern aktiv das Video zurückspult, zoomt und genau hinschaut, um die Wahrheit zu finden. Es ist der erste Schritt zu einer KI, die Sport wirklich "versteht" und nicht nur Bilder erkennt.

Technische Zusammenfassung

1. Problemstellung

Das Verständnis von Sportvideos stellt eine komplexe Herausforderung dar, da es die Wahrnehmung von Hochgeschwindigkeitsdynamiken, das Verständnis komplexer Spielregeln und die Analyse langer zeitlicher Kontexte erfordert.

• Aktuelle Grenzen: Bestehende Multimodale Large Language Models (MLLMs) sind oft auf einzelne Sportarten (z. B. nur Fußball), spezifische Aufgaben (z. B. nur Kommentierung) oder training-freie Paradigmen beschränkt.
• Mangel an Generalisierung: Es fehlt ein einheitliches, end-zu-end trainiertes Modell, das in der Lage ist, verschiedene Aufgaben (von der Fehlererkennung bis zur taktischen Analyse) über diverse Sportarten hinweg zu lösen.
• Passive Verarbeitung: Herkömmliche Modelle verarbeiten Frames oft passiv und statisch, was dazu führt, dass schnelle, entscheidende Momente in langen Videos übersehen werden oder Halluzinationen auftreten.

2. Methodik: Das DeepSport-Framework

DeepSport ist das erste end-zu-end trainierte MLLM für das multimodale Verständnis von Sportvideos über mehrere Aufgaben und Sportarten hinweg. Der Kernansatz ist der Wechsel von einer passiven Frame-Verarbeitung hin zu einem aktiven, iterativen „Denken mit Videos" (Thinking with Videos).

A. Daten-Distillations-Pipeline

Um hochwertige Trainingsdaten zu generieren, wurde ein strenger dreistufiger Prozess entwickelt:

1. Datensammlung: Daten aus 10 verschiedenen Quellen wurden für 12 Sportarten (u. a. Fußball, Basketball, Schwimmen, Turnen, Fechten) vereinheitlicht.
2. Aufgaben-Taxonomie: Die Daten wurden in vier Hauptkategorien unterteilt:
   • Feinabgestimmte Erkennung (z. B. Spieleridentifikation).
   • Regel- und Verfahrenslogik (z. B. Foulerkennung).
   • Bewertung und Coaching (z. B. taktische Analyse).
   • Live-Kommentierung und Berichterstattung.
3. CoT-Distillation (Chain-of-Thought): Ein leistungsstarkes Teacher-Modell (Qwen3-VL) generierte detaillierte Reasoning-Pfade, die den Einsatz eines Frame-Extraction-Tools beinhalten. Ein dreistufiger Filtermechanismus (Richtigkeit, Logikkonsistenz, Nützlichkeit der Abrufe) sicherte die Qualität.
   • Ergebnis: Ein Datensatz von 78.000 hochwertigen Trainingsbeispielen (DeepSport-CoT-14K für SFT und DeepSport-RL-63K für RL).

B. Zwei-Phasen-Trainingsstrategie

Das Training folgt einem progressiven Ansatz:

1. Sports Curriculum Supervised Fine-Tuning (SFT):
   • Das Modell wird zunächst auf einem „Cold-Start"-Datensatz trainiert, um die Syntax von Chain-of-Thought und Tool-Aufrufen zu erlernen.
   • Curriculum-Learning: Die Trainingsdaten werden in 5 Stufen aufgeteilt. Der Fokus verschiebt sich schrittweise von einfachen visuellen Wahrnehmungsaufgaben hin zu komplexer logischer Schlussfolgerung und Regelverständnis. Dies stabilisiert das Modell vor dem RL-Training.
2. Agentic Reinforcement Learning (RL) mit GRPO:
   • Das Modell wird mit Group Relative Policy Optimization (GRPO) optimiert.
   • Neuartige Belohnungsfunktion (Gated Tool-Use Reward): Um „Reward Hacking" (blindes Nutzen von Tools) zu verhindern, werden die Trainingsdaten in zwei Klassen unterteilt:
     • Klasse A: Das Basismodell scheitert ohne Tool-Einsatz (Tool-Nutzung wird belohnt).
     • Klasse B: Das Basismodell löst die Aufgabe bereits mit den ersten Frames (Tool-Nutzung wird bestraft/ignoriert).
   • Dies zwingt das Modell zu lernen, wann es zusätzliche Frames abrufen muss, um effizient zu sein.

C. Der Agenten-Loop

Das Modell agiert in einem Multi-Turn-Loop:

1. Es erhält einen initialen Satz von Frames.
2. Es generiert einen Gedankengang (Thought).
3. Es entscheidet entweder, das choose_frames-Tool aufzurufen, um einen spezifischen zeitlichen Abschnitt genauer zu betrachten, oder eine Antwort zu geben.
4. Dieser Prozess wiederholt sich, bis eine fundierte Antwort gefunden ist.

3. Wichtige Beiträge

1. Erstes Multi-Task/Multi-Sport MLLM: DeepSport ist das erste Modell, das end-zu-end für diverse Sportarten und vier Kernfähigkeiten trainiert wurde, was einen Paradigmenwechsel von statischen zu dynamischen, tool-augmentierten Systemen darstellt.
2. Neuer Benchmark und strenge Datenpipeline: Vorstellung eines 6.700-Beispiel-Benchmarks und einer Pipeline zur Generierung von 78.000 hochwertigen CoT-Daten mit Tool-Nutzung.
3. Innovative Trainingsstrategie: Kombination aus Curriculum-SFT (für visuelles Grounding) und einem spezialisierten GRPO-RL-Ansatz mit einer gating-basierten Belohnungsfunktion für Tool-Nutzung.
4. Hohe Effizienz: Das Modell erreicht State-of-the-Art-Ergebnisse mit deutlich weniger Frames als vergleichbare Modelle (durchschnittlich ~9,8 Frames vs. 16 Frames bei anderen).

4. Ergebnisse

Die Evaluation erfolgte auf einem 6.700-Beispiel-Benchmark über verschiedene Sportarten und Aufgaben hinweg:

• State-of-the-Art (SOTA) Leistung: DeepSport erreichte einen durchschnittlichen Gesamtscore von 37,67. Damit übertrifft es sowohl leistungsstarke proprietäre Modelle (wie GPT-5) als auch große Open-Source-Modelle (wie Qwen3-VL-235B-Thinking).
• Überlegenheit in spezifischen Bereichen: Besonders stark ist das Modell bei „Feinabgestimmter Erkennung" (49,89) und „Regel- & Verfahrenslogik" (41,20).
• Effizienz: Trotz der Verwendung eines kleineren Backbones (Qwen2.5-VL-7B, nur ~3% der Parameter des größten Vergleichsmodells) und der Nutzung von weniger Frames, erzielt es die besten Ergebnisse.
• Zero-Shot Generalisierung: Das Modell zeigt robuste Transferfähigkeiten auf unbekannte Sportarten und allgemeine Bewegungsrecognitions-Aufgaben (z. B. DREAM-1K, MotionBench), was darauf hindeutet, dass es zugrunde liegende biomechanische Prinzipien internalisiert hat und nicht nur spezifische Regeln auswendig gelernt hat.
• Fehleranalyse: Die Hauptfehlerquelle liegt in der „Tool Grounding Failure" (42,9%), d. h. das Modell ruft das Tool auf, wählt aber den falschen zeitlichen Fenster aus. Dies bleibt die größte Herausforderung für die zukünftige Forschung.

5. Bedeutung und Ausblick

DeepSport etabliert einen neuen Standard für das Verständnis von Sportvideos. Es beweist, dass agentic Reinforcement Learning in Kombination mit aktiver Frame-Auswahl die Grenzen passiver Video-LLMs überwinden kann.

• Praktische Relevanz: Das System ermöglicht Anwendungen wie automatisierte Schiedsrichter-Unterstützung, taktische Analysen für Trainer und detaillierte Live-Kommentierung über verschiedene Sportarten hinweg.
• Zukünftige Arbeit: Die Autoren identifizieren die Verbesserung der zeitlichen Präzision beim Abruf von Frames und die Erweiterung des Datensatzes auf Nischen-Sportarten als nächste Schritte.

Zusammenfassend stellt DeepSport einen Meilenstein dar, der zeigt, dass spezialisierte, agentenbasierte MLLMs komplexe, dynamische Videoaufgaben effizienter und genauer lösen können als allgemeine, passive Modelle.