AI Driven Soccer Analysis Using Computer Vision

Diese Arbeit stellt ein computergestütztes System vor, das Objekterkennung, Segmentierung mit SAM2 und Homographie nutzt, um aus Fußballspiel-Aufnahmen präzise reale Spielerpositionen zu extrahieren und daraus taktische Leistungsdaten für Trainer und Spieler abzuleiten.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Fußballtrainer. Früher mussten Sie stundenlang Videobänder abspielen, um zu sehen, wer wo gelaufen ist, wie schnell er war oder wie weit er gelaufen ist. Das war mühsam und ungenau.

Dieses Papier beschreibt ein neues, künstliches Intelligenz-System, das genau das für Sie erledigt. Es nimmt ein ganz normales Spielvideo (wie man es von einer Tribüne oder einem Kameramann hat) und verwandelt es automatisch in eine digitale Landkarte, auf der man jeden Spieler als Punkt verfolgen kann – genau wie auf einem Taktikbrett, nur dass sich die Punkte live bewegen.

Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem: Der "Blinde" Kameramann

Ein normales Video ist nur eine flache Abbildung. Wenn ein Spieler auf dem Video groß aussieht, ist er vielleicht nur nah an der Kamera, nicht unbedingt groß. Wenn er klein aussieht, ist er vielleicht weit weg.
Das Ziel: Das System muss verstehen, wie weit ein Spieler tatsächlich gelaufen ist, obwohl es nur ein flaches Bild sieht. Es muss das Video in eine 2D-Top-Down-Ansicht (wie von einem Drohnenflug) verwandeln.

2. Die Lösung: Ein Team aus KI-Robotern

Die Forscher haben drei verschiedene "KI-Helfer" zusammengestellt, die zusammenarbeiten wie ein gut eingespieltes Team:

A. Der "Sucher" (Objekterkennung)

Zuerst muss das System wissen: "Wo sind die Spieler?"

• Wie es funktioniert: Sie haben verschiedene Modelle getestet (wie YOLO oder Faster R-CNN). Stellen Sie sich das wie einen sehr schnellen Scanner vor, der über das Video fährt und sagt: "Da ist ein Spieler! Da ist einer! Da ist einer!"
• Das Ergebnis: Der Scanner markiert jeden Spieler mit einem Kasten (einem "Bounding Box"). Das beste Modell war YOLOv5, das am zuverlässigsten war.

B. Der "Kleber" (Segmentierung & Tracking)

Ein Scanner allein reicht nicht, denn wenn sich die Spieler bewegen, könnte der Scanner denken, es sei ein neuer Spieler.

• Die Lösung: Hier kommt SAM2 ins Spiel. Stellen Sie sich SAM2 wie einen sehr geduldigen Kleber vor. Sobald der Scanner einen Spieler gefunden hat, "klebt" SAM2 sich an diesen Spieler und folgt ihm durch das ganze Video.
• Der Vorteil: Selbst wenn ein Spieler von einem anderen verdeckt wird (wie ein Spieler, der hinter einem anderen steht) oder kurz aus dem Bild läuft, weiß SAM2: "Das ist immer noch Spieler Nr. 7". Es behält die Identität bei, wie ein guter Freund, der Sie auch in einer Menschenmenge erkennt.

C. Der "Übersetzer" (Schlüsselpunkte & Homographie)

Jetzt haben wir Spieler, die verfolgt werden, aber wir wissen immer noch nicht, wie viele Meter sie gelaufen sind.

• Das Problem: Das Video ist schief und verzerrt.
• Die Lösung: Das System sucht nach festen Punkten auf dem Feld, wie den Eckpunkten des Strafraums oder dem Mittelpunkt. Ein spezielles neuronales Netz (eine Art KI-Gehirn) sucht diese Punkte im Video.
• Der Trick (Homographie): Sobald das System weiß, wo diese Punkte im Video sind, rechnet es eine Art "magische Umrechnung" durch. Es nimmt die verzerrte Kameraansicht und streckt sie so, als würde man das Video auf eine flache, perfekte Landkarte projizieren. Plötzlich kann das System sagen: "Der Spieler ist nicht nur 'rechts oben' im Bild, sondern hat tatsächlich 15 Meter gelaufen."

3. Die Team-Einteilung: Farben statt Namen

Das System kennt die Namen der Spieler nicht. Wie weiß es, wer zu welchem Team gehört?

• Der Trick: Es schaut sich einfach die Farbe der Trikots an. Es gruppiert alle Spieler mit ähnlicher Farbe zusammen (z. B. "Alle in Blau sind Team A, alle in Weiß sind Team B"). Das funktioniert automatisch, ohne dass jemand manuell Daten eingeben muss.

4. Was bringt das am Ende?

Am Ende haben die Trainer eine 2D-Animation des Spiels, die auf einem echten Spielfeld läuft. Sie können damit berechnen:

• Wie schnell war der Spieler?
• Wie viele Kilometer hat das Team gelaufen?
• Wo waren die "heißen Zonen" (Heatmaps), in denen das Team am meisten gespielt hat?

Zusammenfassung in einem Satz

Die Forscher haben ein System gebaut, das aus einem einfachen Handy- oder TV-Video automatisch eine präzise Taktik-Analyse erstellt, indem es KI nutzt, um Spieler zu finden, ihnen zu folgen und das Bild so zu verzerren, dass es wie eine echte Landkarte aussieht – alles ohne teure Sensoren oder GPS-Chips an den Spielern.

Warum ist das wichtig?
Bisher konnten sich nur reiche Profi-Clubs solche Analysen leisten. Dieses System macht die gleiche Technologie für jeden Verein verfügbar, der nur eine Kamera hat. Es ist wie ein "Demokratisierung" der High-Tech-Fußballanalyse.

Technische Zusammenfassung

Titel: KI-gestützte Fußballanalyse mittels Computer Vision

Autoren: Adrian Manchado, Tanner Cellio, Jonathan Keane, Yiyang Wang (Milwaukee School of Engineering)
Datum: März 2025 (veröffentlicht April 2026)

---

1. Problemstellung

Die Analyse von Sportdaten ist entscheidend für die Leistungssteigerung von Mannschaften. Während professionelle Teams oft teure Sensorik (GPS, Beschleunigungsmesser) nutzen, fehlt vielen anderen Vereinen diese Infrastruktur. Sie verfügen lediglich über Videomaterial.
Das Hauptproblem besteht darin, aus reinem Kameramaterial präzise statistische Daten (wie Laufstrecken, Geschwindigkeit, taktische Positionierung) zu extrahieren. Dies erfordert zwei komplexe Schritte:

1. Objekterkennung und -verfolgung: Spieler müssen über den gesamten Spielverlauf identifiziert und verfolgt werden.
2. Raumbezug (Homographie): Die 2D-Koordinaten im Videobild müssen in reale Feldkoordinaten umgewandelt werden, um physikalische Distanzen berechnen zu können. Dies ist besonders schwierig bei variierenden Kamerawinkeln, Zooms und Wetterbedingungen.

2. Methodik

Das vorgestellte System ist eine Pipeline, die verschiedene KI-Modelle kombiniert, um aus rohem, ungelabeltem Videomaterial eine 2D-Felddarstellung zu erzeugen.

A. Spielererkennung und -verfolgung (Player Detection & Tracking)

• Ansatz: Eine Kombination aus einem Objektdetektor und dem Segment Anything Model 2 (SAM2).
• Detektion: Ein Objektdetektor (z. B. YOLO) wird nur im ersten Frame ausgeführt, um Bounding Boxes für die Spieler zu generieren.
• Segmentierung & Tracking: Die Mittelpunkte dieser Bounding Boxes dienen als Prompts für SAM2. SAM2 segmentiert die Spieler pixelgenau und nutzt einen „Memory"-Mechanismus, um die Identität (ID) über den gesamten Videoverlauf beizubehalten.
• Vorteil: Im Gegensatz zu reinen Tracking-Methoden wie DeepSORT reduziert dies den Rechenaufwand, da der Detektor nicht in jedem Frame laufen muss, und bietet eine robustere Verfolgung bei Verdeckungen (Occlusion) oder Lichtwechseln.

B. Teamklassifizierung (Team Recognition)

• Methode: Unüberwachtes Clustering mittels K-Means.
• Prozess: Für jeden erkannten Spieler wird die durchschnittliche Farbe in einem kleinen Bereich (5x5 Pixel) um die Mitte der Bounding Box berechnet. Diese RGB-Vektoren werden in zwei Cluster (Team A und Team B) gruppiert.
• Ziel: Eine leichte Methode zur Trennung der Mannschaften ohne manuelle Labeling oder überwachtes Training für Trikots.

C. Schlüsselpunkterkennung und Homographie (Key Point Detection & Homography)

• Ziel: Umrechnung der Kameraperspektive in eine Top-Down-Ansicht des Spielfelds.
• Modell: Ein benutzerdefiniertes Convolutional Neural Network (CNN) wurde trainiert, um 12 vordefinierte Schlüsselpunkte auf dem Feld (z. B. Eckpunkte des Strafraums, Mittelpunkt) zu erkennen.
• Datenvorbereitung: Da keine gelabelten Daten vorhanden waren, wurde ein kleiner Datensatz (146 Frames) manuell annotiert. Das CNN gibt sowohl die Sichtbarkeit (0/1) als auch die normalisierten Koordinaten der Punkte aus.
• Transformation: Basierend auf den vorhergesagten Punkten und den bekannten Feldmaßen (NCAA-Regeln) wird eine Homographie-Matrix mittels Direct Linear Transformation (DLT) berechnet. Diese Matrix transformiert alle Spielerkoordinaten vom Kamerabild in reale Weltkoordinaten.

3. Wichtige Beiträge

1. Datenunabhängigkeit: Das System wurde entwickelt, um mit komplett ungelabelten, rohen Daten zu arbeiten, ohne auf hoch kuratierte, manuell annotierte Datensätze angewiesen zu sein.
2. Hybride Architektur: Die erfolgreiche Integration von SAM2 (für Tracking/Segmentierung) mit klassischen Objektdetektoren (YOLO) und einem benutzerdefinierten CNN für die Feldregistrierung.
3. Skalierbarkeit: Ein Ansatz, der auch für Vereine mit begrenzten Ressourcen (nur eine Kamera) anwendbar ist, um professionelle Statistiken zu generieren.
4. End-to-End-Pipeline: Demonstration eines kompletten Workflows von der Rohvideoaufnahme bis zur Berechnung von taktischen Kennzahlen (Heatmaps, Laufstrecken).

4. Ergebnisse

Die Autoren evaluierten verschiedene Modelle auf einem Datensatz von 10 Heimspielen der MSOE-Herrenmannschaft (verschiedene Wetterbedingungen).

• Objektdetektion:
  • Vier Modelle wurden verglichen: Faster R-CNN, YOLOv5x, YOLOv8x, YOLOv11x.
  • Bestes Modell: YOLOv5x erwies sich als optimal mit dem höchsten F1-Score (0,8451) und einer starken Balance zwischen Recall (0,7995) und Precision (0,8963).
  • YOLOv5x konnte 17 von 22 Spielern ohne Feinabstimmung (Fine-Tuning) korrekt identifizieren.
• Schlüsselpunkt-Modell:
  • Das CNN erreichte eine Sichtbarkeits-Genauigkeit von 97,18 % im Testset.
  • Der Mean Absolute Error (MAE) für die Koordinaten betrug im Testset 7,65 Pixel (ca. 0,0138 in normalisierten Koordinaten).
• Gesamtsystem:
  • Die Homographie-Transformation ergab einen durchschnittlichen Projektionsfehler von 0,499 Metern im Vergleich zu Ground-Truth-Punkten.
  • Die berechnete MAE für reale Feldpunkte lag bei ca. 0,225 m (Ground Truth) bzw. 0,26 m (vorhergesagt).

Limitationen:

• Falschpositive Erkennungen (z. B. Schiedsrichter oder Balljungen werden als Spieler erkannt).
• Probleme bei der Teamzuordnung durch starke Reflexionen (Glare) oder Schatten.
• Das Modell ist potenziell auf das Heimfeld der MSOE überangepasst (Overfitting).

5. Bedeutung und Ausblick

Das Papier zeigt, dass es möglich ist, ein automatisiertes System zu entwickeln, das tiefgreifende taktische Einblicke aus reinem Videomaterial gewinnt, ohne teure Sensorik. Dies demokratisiert die Sportanalyse für Vereine mit begrenzten Budgets.

Zukünftige Arbeiten umfassen:

• Verbesserung des Re-Identifikations-Systems für Spieler, die das Bildfeld verlassen und wieder betreten.
• Erweiterung des Datensatzes auf andere Spielorte und Kamerawinkel zur Verbesserung der Generalisierung.
• Integration der Ballerkennung zur Analyse des Spielverlaufs.

Zusammenfassend stellt dieses Werk einen wichtigen Schritt hin zu flexiblen, KI-gestützten Sportanalytik-Lösungen dar, die auf Standard-Hardware und ungelabelten Daten basieren.