A Computer Vision Framework for Multi-Class Detection and Tracking in Soccer Broadcast Footage

Dit paper presenteert een betaalbaar computerzichtkader dat YOLO en ByteTrack combineert om spelers, scheidsrechters en de bal uit standaard televisiebeelden van voetbalwedstrijden te detecteren en te volgen, waardoor data-gedreven analyse voor teams met beperkte middelen mogelijk wordt.

De kern

Stel je voor dat je een voetbalwedstrijd bekijkt op de tv. Voor de grote, rijke clubs is dit beeld slechts het begin: ze hebben dure camera's, GPS-chips in de shirts en legio analisten die elke beweging van elke speler bijhouden. Voor de kleine clubs, de academies en de amateurs is dit echter een droom die niet uitkomt. Ze hebben geen geld voor die dure apparatuur.

Dit onderzoek, geschreven door Daniel Tshiani, stelt een heel simpel maar slim idee voor: "Waarom zouden we dure apparatuur nodig hebben als we de tv-beelden al hebben?"

Hier is de uitleg van het onderzoek, vertaald naar begrijpelijk Nederlands met een paar creatieve vergelijkingen.

1. Het Probleem: De Kwaliteitskloof

Het is alsof de rijke clubs een superkrachtige telescoop hebben om de wedstrijd te bekijken, terwijl de arme clubs alleen met een vergrootglas moeten doen. De rijken weten precies hoe ver een speler loopt, hoe snel hij rent en waar hij staat. De anderen moeten het doen met wat ze zien met hun blote ogen. Dit onderzoek wil die kloof dichten door kunstmatige intelligentie (AI) te gebruiken als die "telescopen" voor iedereen.

2. De Oplossing: Een Slimme Digitale Oog

De auteur heeft een systeem gebouwd dat eruitziet als een super-snelle, onuitputtelijke scheidsrechter die alleen naar het scherm kijkt.

• De Camera: In plaats van 10 camera's op het veld, gebruikt het systeem slechts één: de gewone tv-uitzending.
• De AI (YOLO): Dit is het "oog" van het systeem. Het is een slimme software die frame per frame (elk plaatje van de video) doorzoekt. Het leert om te zien: "Ah, dat is een speler, dat is een scheidsrechter, dat is de keeper en dat is de bal."
• De Volger (ByteTrack): Zodra het oog iemand ziet, krijgt die persoon een virtueel naamplaatje. Het systeem houdt bij wie wie is, zelfs als de speler even achter een ander verdwijnt. Het is alsof de AI een onzichtbare draad om elke speler legt die nooit loslaat, zolang ze maar in beeld zijn.

3. Wat heeft het systeem geleerd? (De Resultaten)

Het systeem is getest op echte voetbalbeelden en deed het verrassend goed, maar niet perfect.

• De Spelers, Scheidsrechters en Keepers: Hier was het systeem een topscorer. Het zag bijna elke speler, zelfs als ze in een dichte massa stonden (zoals bij een hoekschop). Het kon ze bijna altijd herkennen en hun naamplaatje behouden.
  • Vergelijking: Het is alsof je een groep vrienden in een drukke supermarkt kunt volgen zonder dat je ze uit het oog verliest.
• De Bal: Hier liep het systeem tegen een muur. De bal is klein, beweegt razendsnel en wordt vaak door benen of het lichaam van een speler bedekt.
  • Vergelijking: Het is alsof je probeert een vlieg te volgen die door een storm vliegt en soms achter een boom verdwijnt. Het systeem zag de bal soms wel, maar miste hem heel vaak. Het was te snel en te klein voor de "bril" die het systeem gebruikte.

4. Waarom is dit belangrijk?

Stel je voor dat je een lokale voetbalclub hebt in een dorpje. Vroeger konden ze nooit weten of hun spits echt snel was of hoe ver hij liep, omdat ze geen geld hadden voor dure trackers.

Met dit systeem kunnen ze nu gewoon hun wedstrijd opnemen met een gewone camera (of de tv-uitzending), en de computer doet het zware werk.

• Voor de kleine club: Het is alsof ze ineens een dure, professionele analyse-afdeling in hun kelder hebben staan, zonder dat ze er een cent voor hebben betaald.
• Voor de sport: Het maakt data-analyse democratisch. Iedereen kan nu meedoen met de "data-revolutie", niet alleen de rijke clubs.

5. De Grenzen (Wat gaat er nog mis?)

Hoewel het systeem geweldig is, is het nog niet perfect voor gebruik in de echte wereld:

• De Bal: Omdat de bal zo moeilijk te volgen is, is de data daarover nog niet betrouwbaar genoeg voor professioneel gebruik.
• De Identiteit: Als een speler even uit beeld loopt en weer terugkomt, kan het systeem denken: "Oh, dit is een nieuwe speler!" en krijgt hij een nieuw naamplaatje. Voor echte statistieken (bijv. "Hoeveel heeft die specifieke speler gelopen?") moet het systeem slimmer worden om mensen langdurig te herkennen.
• De Hoek: Het systeem is getraind op tv-beelden. Als je de wedstrijd filmt vanaf de tribune of met een drone, raakt het systeem in de war. Het is gewend aan de "tv-blik", niet aan elke mogelijke hoek.

Conclusie

Kortom: Dit onderzoek toont aan dat we niet altijd de duurste apparatuur nodig hebben om slimme voetbaldata te krijgen. Met een slimme computer en een gewone tv-uitzending kunnen we al veel leren over spelers en tactiek. Het is een grote stap naar een wereld waar elke club, groot of klein, toegang heeft tot de geheimen van het spel. De bal is nog een beetje een lastpak, maar voor de rest werkt het systeem als een droom.

Technische samenvatting

Probleemstelling

Huidige voetbalclubs met toegang tot dure multi-camera-opstellingen of GPS-tracking-systemen hebben een significant concurrentievoordeel door de gedetailleerde data die ze kunnen verzamelen. Kleiner budgetclubs, academies en amateurteams missen echter deze mogelijkheden. Het paper onderzoekt of waardevolle speler- en baldata direct uit standaard broadcast-voetbalbeelden kunnen worden gehaald met behulp van een single-camera computer vision-pipeline. De centrale onderzoeksvraag luidt: Kan kunstmatige intelligentie spelers, keepers, scheidsrechters en de bal betrouwbaar detecteren en volgen met slechts één camera?

Methodologie

De auteur heeft een end-to-end computer vision-pipeline ontwikkeld die bestaat uit de volgende stappen:

1. Data Voorbereiding:

   • Gebruik van een aangepast dataset bestaande uit beelden van de Duitse Bundesliga, NCAA Division I en UPSL wedstrijden.
   • Video's worden geframeerd met een stride van 30 (ongeveer 1 frame per seconde) om de rekentijd te beperken.
   • Resolutie is opgevoerd naar 1280x1280 pixels (in plaats van de standaard 640x640) om kleine objecten, zoals de bal, beter te kunnen detecteren.

2. Detectie (YOLOv8s):

   • Het model gebruikt YOLOv8s (You Only Look Once) voor objectdetectie.
   • De architectuur bevat convolutielagen, CSP-blokken (Cross Stage Partial), SPPF (Spatial Pyramid Pooling Fast) en een detectie-head.
   • Het model is getraind om vier klassen te onderscheiden: Spelers, Keepers, Scheidsrechters en de Bal.
   • Training vond plaats met de AdamW-optimizer gedurende 25 epochs, waarbij gebruik werd gemaakt van pretrained weights voor stabiliteit.

3. Tracking en Clustering:

   • ByteTrack wordt gebruikt voor Multi-Object Tracking (MOT) om unieke ID's toe te wijzen en objecten over tijd te volgen.
   • CLIP (Contrastive Language-Image Pre-training) wordt ingezet als feature extractor om visuele embeddings (512-dimensionaal) te genereren op basis van uiterlijk (shirtkleuren).
   • Deze embeddings worden gereduceerd via UMAP naar 3D en vervolgens geclusterd met K-Means om teams te scheiden op basis van shirtkleur.

Belangrijkste Bijdragen

• Class-specifieke evaluatie: In tegenstelling tot eerdere studies die objecten vaak als één groep behandelen, biedt dit paper gedetailleerde prestatie-metrics (Precision, Recall, mAP) voor elke klasse apart (speler, keeper, scheidsrechter, bal).
• Toepassing van YOLOv8: Dit is een van de eerste studies die YOLOv8 toepast op voetbalbeelden met een focus op broadcast-omstandigheden, wat een modernere en snellere alternatief biedt voor oudere architecturen zoals Faster R-CNN.
• Democratisering van data: Het bewijst dat waardevolle ruimtelijke data kan worden gegenereerd zonder dure hardware, waardoor data-gedreven analyse toegankelijk wordt voor lagere divisies en amateurclubs.

Resultaten

De pipeline toonde sterke prestaties voor de meeste objectklassen, maar had moeite met de bal:

Klasse	Precision	Recall	mAP50	mAP50-95
Spelers	0.957	0.978	0.993	0.767
Scheidsrechter	0.864	0.925	0.946	0.610
Keeper	0.801	0.897	0.931	0.659
Bal	0.914	0.511	0.616	0.296
Totaal	0.884	0.828	0.871	0.583

• Spelers, Keepers en Scheidsrechters: De detectie is zeer betrouwbaar (mAP50 > 0.93). Het model herkent spelers zelfs in dichte formaties en bij verschillende camera-afstanden uitstekend.
• De Bal: Dit is de grootste uitdaging. Hoewel de precisie hoog is (0.914), is de recall laag (0.511). De bal wordt vaak gemist vanwege zijn kleine formaat, snelle beweging en frequente obstructie door spelers of cleats.
• Beperkingen:
  • ID-consistentie: ByteTrack genereert willekeurige ID's die niet corresponderen met shirtnummers. ID's veranderen als een speler het beeld verlaat en weer terugkomt.
  • Team-classificatie: De clustering op basis van CLIP-embeddings faalt soms bij veranderende lichtomstandigheden (bijv. direct zonlicht), wat leidt tot inconsistente teamtoewijzingen tussen frames.
  • Camera-hoek: Het model is getraind op broadcast-beelden en generaliseert slecht naar tactische bovenaanzichten of drone-beelden.

Betekenis en Conclusie

Het paper concludeert dat AI-pipelines op basis van één camera een haalbare en betaalbare route zijn voor voetbalanalyse. Hoewel de baldetectie nog verbetering behoeft, is het systeem succesvol in het extraheren van betrouwbare positiegegevens voor spelers, keepers en scheidsrechters.

De belangrijkste implicatie is dat professionele data-analyse niet langer exclusief is voor rijke clubs. Door de afhankelijkheid van gespecialiseerde hardware te verminderen, kunnen academies, hogescholen en amateurclubs nu gebruikmaken van schaalbare, datagedreven methoden voor scouting en prestatieanalyse. Dit onderzoek legt een empirische basis voor toekomstige verbeteringen in sportanalytics, met name gericht op het oplossen van de uitdagingen rondom baltracking en langdurige speler-identificatie.