💻 computer science

SoccerNet 2026 Player-Centric Ball Action Spotting: Per-Player Attention with Agreement-Based Ensembling

Dit artikel presenteert een tweestapsysteem voor de SoccerNet 2026 challenge dat een Track-Aware Action Detector combineert met een Denoising Sequence Transduction transformer voorzien van spatial-first per-player aandacht en een op overeenstemming gebaseerd ensemble, waarmee een Macro-F1-score van 58,94 wordt behaald.

Oorspronkelijke auteurs: Faisal Altawijri, Ismail Mathkour

Gepubliceerd 2026-06-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Faisal Altawijri, Ismail Mathkour

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een live verslag te geven van een voetbalwedstrijd, maar dat je dit perfect moet doen voor elke individuele speler op het veld, seconde per seconde. Dat is de uitdaging waar dit artikel zich mee bezighoudt: precies uitzoeken wat elke speler doet met de bal (dribbelen, passen, schieten, enz.) en wanneer.

De auteurs, afkomstig van een team genaamd TAHAKOM, hebben een "digitale scheidsrechter"-systeem gebouwd dat een zeer hoge score behaalde (58,94 van de 100) in een wedstrijd genaamd SoccerNet 2026. Dit is hoe ze het deden, onderverdeeld in eenvoudige stappen.

De Tweestapsfabriek

Beschouw hun systeem als een tweetraps productielijn.

Fase 1: Het "Oog" (TAAD)
Eerst moet het systeem zien wat er gebeurt. Het oorspronkelijke systeem gebruikte een basiscamera om de spelers te observeren. De auteurs hebben dit geüpgraded naar een "Temporal Transformer."

De Analogie: Stel je een gewone camera voor die elke seconde een foto van een speler maakt en raadt wat diegene doet op basis van slechts die ene foto. Het nieuwe systeem is als een filmregisseur die de hele scène bekijkt. Het kijkt niet alleen naar één frame; het kijkt naar de flow van de beweging over meerdere frames om het verhaal van de actie te begrijpen.
De Fix: Ze ontdekten ook een fout in het trainingsproces (zoals een thermostaat die vastgelopen is) en herstelden dit, waardoor het systeem veel effectiever kan leren.

Fase 2: Het "Brein" (DST)
Zodra het "Oog" de acties ziet, moet het "Brein" deze organiseren in een samenhangende lijst van gebeurtenissen.

De Oude Manier: Het oorspronkelijke brein behandelde alle 26 spelers op het veld als een platte, chaotische lijst met gegevens. Het was alsof je een gesprek probeert te begrijpen door naar iedereen te luisteren die tegelijkertijd schreeuwt, zonder te weten wie tegen wie praat.
De Nieuwe Manier (Per-Player Attention): De auteurs gaven het brein een superkracht: Focus.
1. Spatial Attention (De Ruimte): Eerst kijkt het systeem naar alle spelers op een enkel moment en vraagt: "Wie is er in de buurt van wie?" Het begrijpt de formatie van het team.
2. Temporal Attention (De Tijdlijn): Daarna zoomt het systeem in op elke individuele speler en kijkt hoe die specifieke persoon zich in de loop van de tijd beweegt.
- Het Resultaat: Door eerst de ruimtelijke relaties te begrijpen (wie waar is), krijgt het systeem een veel betere context om de tijdlijn te begrijpen (wat ze aan het doen zijn).

De "Commissie"-strategie (Ensembling)

In plaats van te vertrouwen op slechts één slimme AI, trainden de auteurs vier verschillende versies van hun "Brein" (Modellen A, B, C en D). Elk model is iets anders, zoals vier experts met verschillende specialisaties.

Om tot het definitieve antwoord te komen, kozen ze niet simpelweg de beste uit. Ze gebruikten een "Committee Voting System":

De Overeenkomstregel: Als slechts één expert zegt: "Speler #10 schiet," dan negeert het systeem dit. Het gaat ervan uit dat die expert hallucinaties heeft (dingen ziet die er niet zijn).
De Boost: Als twee of meer experts het met elkaar eens zijn, verhoogt het systeem de vertrouwensscore. Het is alsof je zegt: "Als drie mensen zeggen dat het regent, pak ik zeker mijn paraplu."
De "Solo Tackle" Uitzondering: Er was één probleem: "Tackels" (het afpakken van de bal) zijn zo zeldzaam dat soms slechts één expert ze opmerkt. Als ze de strikte overeenkomstregel zouden toepassen, zouden ze alle tackles missen. Daarom maakten ze een speciale uitzondering: Als een tackle wordt voorspeld, zelfs door slechts één expert, behouden ze deze. Dit zorgt ervoor dat ze de zeldzame, lastige momenten niet missen.

De Resultaten

Door deze verbeteringen te combineren, zag het team een gestage stijging in prestaties:

Basis Systeem: 48,6% nauwkeurigheid.
Het toevoegen van de "Filmregisseur" (Fase 1): Verbeterde lichtjes.
Het toevoegen van de "Focus" (Fase 2): Grote sprong naar 55,1%.
De Commissie (Ensemble): De definitieve score bereikte 58,94%.

Waarom dit ertoe doet:
Het meest indrukwekkende deel is dat de "Commissie" niet alleen geluk had tijdens de oefenwedstrijden (validatie); het generaliseerde goed naar de echte testwedstrijden (challenge). Het gat tussen hun oefenscore en testscore kromp van een groot verschil van 6 punten naar slechts 2 punten. Dit bewijst dat hun systeem niet alleen antwoorden uit het hoofd leert; het leert daadwerkelijk hoe het voetbal moet begrijpen.

Kortom, ze hebben een systeem gebouwd dat voetbal bekijkt als een regisseur, erover nadenkt als een gefocuste analist en beslissingen neemt als een voorzichtige commissie van experts.

Technische Samenvatting: SoccerNet 2026 Speler-Centrische Balactie-detectie

Probleemstelling

Het artikel behandelt de uitdaging van Speler-Centrische Balactie-detectie binnen de SoccerNet 2026 competitie. Het doel is om specifieke bal-gerelateerde acties (bijv. passen, schieten, tackelen) te detecteren en te lokaliseren die door individuele spelers worden uitgevoerd in videosequenties. Het systeem moet gestructureerde evenementensequenties produceren bestaande uit frame-tijdstempels, actieklassen en spelersrollen, waarbij verder wordt gegaan dan eenvoudige frame-niveau classificatie naar een temporeel samenhangende event-detectiepipeline.

Methodologie

Het voorgestelde systeem houdt zich aan de door de organisatoren vastgestelde twee-fasen pipeline, bestaande uit een Track-Aware Action Detector (TAAD) en een Denoising Sequence Transduction (DST) model. De auteurs introduceren specifieke architecturale en trainingsmodificaties voor beide fasen, wat culmineert in een overeenkomst-gebaseerde ensemble-strategie.

Verbeteringen aan Stage 1: Track-Aware Action Detector (TAAD)

De baseline TAAD, die leunt op een X3D-architectuur, is verbeterd om temporele afhankelijkheden beter te vangen:

Integratie van de Temporal Transformer: In plaats van frames onafhankelijk te classificeren, projecteert het systeem ROI-uitgelijnde kenmerken (per speler, per frame) naar een 256-dimensionale ruimte. Deze worden verwerkt via een 4-laagse transformer-encoder (8 attention heads, 1024 feedforward dimensie) met leerbare positionele embeddings (tot 50 frames). Dit stelt het model in staat om over temporele patronen te redeneren voordat het wordt geprojecteerd naar een 512-dimensionale ruimte voor 9-klasse classificatie.
Trainingsverfijningen: De auteurs hebben een bug in de warmup scheduler gecorrigeerd die voorheen de updates van de leersnelheid blokkeerde. Aanvullende modificaties omvatten:
- Een cosine annealing scheduler voor alle lagen, behalve de X3D-backbone (die een vaste LR gebruikt).
- Leersnelheden geschaald door $1/\sqrt{8}$ .
- Verminderd gewicht voor de achtergrondklasse (0.05) en verhoogd aantal tracklets van 4 naar 6 vanaf epoch 16.
- De resulterende logits worden behandeld als bevroren inputs voor de daaropvolgende DST-fase.

Verbeteringen aan Stage 2: Denoising Sequence Transduction (DST)

De DST-component zet game-state kenmerken en TAAD-logits om in gestructureerde evenementensequenties via een autoregressieve transformer. Belangrijke innovaties zijn:

Per-Speler Attention Mechanisme: De baseline encoder behandelde de 26-rol feature vector als een platte input. De voorgestelde methode introduceert een twee-fasen attention mechanisme:
1. Spatial Attention (Fase 1): Cross-player attention waarbij alle 26 spelers op een specifiek tijdstip op elkaar letten, waardoor ruimtelijke configuraties worden gevangen.
2. Temporal Attention (Fase 2): Self-attention toegepast onafhankelijk op de representatie van elke speler over de tijdsdimensie om de evolutie van de status te modelleren.
- Opmerking: Experimenten gaven aan dat het gebruik van enkel game-state kenmerken (posities, snelheden, zichtbaarheid) voor dit attention mechanisme, exclusief de TAAD-logits, superieure prestaties opleverde.
Spatial-First Ordering: Het verwerken van spatial attention vóór temporal attention bleek cruciaal en leverde een +1.87% Macro-F1 verbetering op de validatieset op vergeleken met de omgekeerde volgorde.
Architecturale Diversiteit voor Ensembling: Vier verschillende DST-modellen (A–D) zijn getraind met variërende hyperparameters om diversiteit te waarborgen:
- Model A: Base configuratie (hidden dim 512, 1 attention laag).
- Model B: Verhoogde hidden dimensie (768).
- Model C: Verhoogde attention diepte (2 lagen) en dimensie (dp=128).
- Model D: Parallelle attention architectuur waarbij spatial en temporal branches de inputs onafhankelijk verwerken en deze vervolgens optellen.
Inference Optimalisatie: De auteurs ontdekten dat het optimaliseren van de logit adjustment temperatuur ( $\tau$ ) op basis van per-klasse drempelwaarden leidde tot overfitting op de validatieset. Daarom werd gekozen voor $\tau=0$ met standaard drempelwaarden voor alle uiteindelijke voorspellingen.

Ensemble Strategie

De uiteindelijke inzending maakt gebruik van een Weighted Event Fusion strategie met Agreement Filtering:

Clustering: Voorspellingen van $N$ modellen worden gegroepeerd per (team, shirtnummer, actieklasse) en geclusterd binnen een venster van $\pm 12$ frames.
Agreement Boost: Voor clusters die door $n$ modellen worden ondersteund, wordt de gemiddelde score vermenigvuldigd met $(n/N)^{0.5}$ .
Filtering: Evenementen die door minder dan 2 modellen worden voorspeld, worden weggegooid om false positives (hallucinaties) te onderdrukken.
Uitzonderingsbehandeling: Vanwege de extreme zeldzaamheid van "Tackle" evenementen (26 voorkomens in 96 trainingswedstrijden) en een lage per-model F1, wordt de agreement filter omzeild voor tackles. Single-model detecties worden behouden om de recall voor deze specifieke klasse te waarborgen.

Resultaten

Het systeem behaalde een Macro-F1 score van 58.94 op de challenge set.

Progressieve Winsten: De baseline DST met verbeterde TAAD scoorde 48.6 op de challenge. Het toevoegen van per-player attention en de spatial-first volgorde verhoogde dit naar 55.1. Het uiteindelijke 4-model ensemble bereikte 58.94.
Prestaties per Klasse: Het ensemble presteerde beter dan individuele modellen op alle klassen, behalve "Tackle", waar Model B de sterkste individuele performer bleef. Het ensemble verbeterde de prestaties op veelvoorkomende tot gemiddelde frequentie klassen (bijv. drive, pass, cross) aanzienlijk door false positives te onderdrukken terwijl de recall behouden bleef.
Generalisatie: De kloof tussen de validatie- en challenge-prestaties kromp van ongeveer 6 punten (single model) naar 2 punten (ensemble), wat wijst op verbeterde generalisatie.

Betekenis en Claims

Het artikel stelt dat de primaire bijdrage ligt in de integratie van per-player attention mechanismen binnen de DST encoder en de overeenkomst-gebaseerde ensemble-strategie.

De spatial-first attention volgorde wordt geïdentificeerd als een kritieke architecturale keuze die rijkere context biedt voor temporele redenering.
Het agreement filtering mechanisme wordt benadrukt als de sleutel tot het verminderen van false positives zonder de recall op frequente klassen op te offeren, terwijl de specifieke uitzondering voor tackle events een gerichte aanpak toont voor het omgaan met klasse-imbalans.
De auteurs kaderen hun werk bescheiden als een systematische verbetering op de verstrekte baseline pipeline, waarbij zij aantonen dat architecturale diversiteit en rigoureuze ensemble-filtering de prestaties aanzienlijk kunnen verhogen bij complexe, multi-player actie-detectie taken.