💻 computer science

TennisExpert: Towards Expert-Level Analytical Sports Video Understanding

Dit paper introduceert TennisVL, een groot benchmarkdataset met expert-analytische commentaren, en TennisExpert, een multimodaal framework dat hiermee superieure prestaties behaalt in het begrijpen van tennismatches vergeleken met bestaande modellen.

Oorspronkelijke auteurs: Zhaoyu Liu, Xi Weng, Lianyu Hu, Zhe Hou, Kan Jiang, Jin Song Dong, Yang Liu

Gepubliceerd 2026-03-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhaoyu Liu, Xi Weng, Lianyu Hu, Zhe Hou, Kan Jiang, Jin Song Dong, Yang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een tenniswedstrijd kijkt. Vaak hoor je de presentator zeggen: "Ah, een mooie forehand van Nadal!" of "De bal gaat de net in." Dat is een beschrijving. Het vertelt je wat er gebeurt, maar niet waarom het gebeurt of wat het betekent voor de rest van de wedstrijd.

De onderzoekers in dit paper wilden een stap verder gaan. Ze wilden een computer bouwen die niet alleen kijkt, maar denkt als een echte tennisexpert. Ze noemen hun project TennisExpert.

Hier is hoe het werkt, uitgelegd met een paar simpele vergelijkingen:

1. Het Probleem: De "Stomme" Camera

Tot nu toe waren computers in het tennis heel goed in het tellen van punten of het zien van een bal die over het net gaat. Maar ze waren slecht in het begrijpen van de tactiek.

Vergelijking: Stel je voor dat je een film kijkt, maar de verteller zegt alleen: "Hij loopt naar links. Hij loopt naar rechts." Dat is saai. Een echte expert zou zeggen: "Hij loopt naar links om de tegenstander uit zijn positie te lokken, zodat hij een open hoek heeft voor de volgende slag."
De computers misten deze "diepere laag" van de analyse.

2. De Oplossing: Een Nieuwe Bibliotheek (TennisVL)

Om een slimme computer te trainen, heb je heel veel voorbeelden nodig van hoe experts praten. De onderzoekers hebben een enorme bibliotheek gemaakt genaamd TennisVL.

De Bibliotheek: Ze hebben meer dan 200 volledige wedstrijden (bijna 500 uur!) verzameld.
De Geheime Ingrediënten: Ze hebben niet alleen de video's opgeslagen, maar ook 40.000 kleine stukjes (elk puntje van de wedstrijd) gekoppeld aan tekst.
Het Verschil: In plaats van simpele zinnen, hebben ze tekst gebruikt die vol zit met tactische inzichten. Denk aan zinnen als: "Sinner domineert het spel door de tegenstander constant naar de achterlijn te duwen." Dit is de "voeding" die de computer nodig heeft om slim te worden.

3. De Brein-Structuur: Hoe "TennisExpert" Werkt

De computer die ze hebben gebouwd, TennisExpert, werkt niet zoals een gewone video-app die alles in één keer probeert te zien. Het heeft een slimme structuur met drie onderdelen:

A. De "Oog" (De Parser)

De computer kijkt niet naar elke pixel van de video (dat is te traag en te rommelig). In plaats daarvan gebruikt het een vertaler.

Vergelijking: Stel je voor dat je een gesprek in het Chinees hoort, maar je hebt een tolk die direct de belangrijkste feiten in het Nederlands noteert: "Speler A serveert, bal gaat naar rechts, speler B mist."
De computer haalt deze feiten eruit (score, waar de bal landt, wie er serveert) en maakt er een strakke lijst van. Dit is veel sneller en nauwkeuriger dan alleen naar de video kijken.

B. Het "Geheugen" (De Herinnering)

Een goede commentator vergeet niet wat er 10 minuten geleden gebeurde. TennisExpert heeft twee soorten geheugen:

Kortetermijngeheugen: Dit onthoudt de laatste paar punten. "Hij heeft net drie keer achter elkaar gewonnen, hij zit in een ritme!"
Langetermijngeheugen: Dit onthoudt de hele wedstrijd. "Speler A heeft al 10 dubbele fouten gemaakt, hij is moe."

Vergelijking: Stel je voor dat je een detective bent. Je kijkt niet alleen naar de moordplek (het huidige punt), maar je hebt ook een mapje met alle eerdere verdachte handelingen (de gehele wedstrijd). Zo kun je het patroon zien.

C. De "Spreker" (Het Brein)

Alle informatie (de feiten van de "Oog" en de herinneringen van het "Geheugen") gaat naar een groot taalmodel (een soort super-ChatGPT voor video). Dit model schrijft dan de commentaar, alsof het een echte, ervaren commentator is.

4. Het Resultaat: Slimmer dan de Mens?

Ze hebben hun computer getest tegen de beste computers ter wereld (zoals GPT-5 en Gemini) en zelfs tegen menselijke experts.

Het verdict: TennisExpert was veel beter.
Het maakte minder fouten in de feiten (wie won, wat was de stand?).
Het gebruikte de juiste vaktermen (zoals "inside-out forehand" of "tactische aanpassing").
Het kon de spanning van de wedstrijd voelen en daarop inspelen.

Samenvattend

Dit paper is eigenlijk het verhaal van hoe onderzoekers een computer hebben getraind om niet alleen naar tennis te kijken, maar er ook echt van te genieten en erover te praten als een echte expert.

Ze hebben een enorme bibliotheek met slimme commentaren gemaakt, een computer geleerd om de feiten snel te vertalen, en hem een goed geheugen gegeven. Het resultaat? Een computer die je kunt vertellen waarom een wedstrijd spannend is, en niet alleen wat er gebeurt. En het beste van alles: het werkt zo snel dat het live tijdens de wedstrijd mee kan doen!

Probleemstelling

Automatisch begrijpen van tennisvideo's is een onderbelicht gebied binnen de sportvideo-analyse, ondanks de enorme hoeveelheid broadcast-materiaal die beschikbaar is. De auteurs identificeren twee fundamentele uitdagingen die de vooruitgang belemmeren:

Gebrek aan geschikte benchmarks: Bestaande datasets voor tennis zijn klein, gebrekkig geannoteerd en focussen voornamelijk op ruwe beschrijvingen van acties (bijv. "speler slaat de bal"). Er ontbreekt een grote dataset met fin-grained (fijnkorrelige) annotaties en expert-niveau analytische commentaren die tactische redenering, spelerbeslissingen en wedstrijddynamiek bevatten.
Technische complexiteit van real-time systemen: Tennis is een snelle sport met ballen die sneller dan 200 km/h gaan. Het bouwen van een multimodaal systeem dat zowel accuraat als efficiënt is voor real-time inzet, is moeilijk. Bestaande systemen worstelen met het combineren van fijnkorrelige visuele cues (baltrajecten, posities) met langetermijncontext (wedstrijdverloop) zonder onhaalbare rekenkosten.

Methodologie

Om deze uitdagingen aan te pakken, stellen de auteurs twee hoofdcomponenten voor: een nieuwe dataset en een nieuw framework.

1. TennisVL: Een Groot Schaal Benchmark

De auteurs hebben TennisVL ontwikkeld, het grootste tennisvideo-benchmark tot nu toe.

Omvang: Bestaat uit 202 professionele wedstrijden (471,9 uur) uit alle vier Grand Slam-toernooien (2019–2025), opgedeeld in 40.523 rally-level clips.
Annotatie: In tegenstelling tot eerdere datasets die zich richten op beschrijvende "play-by-play" commentaren, focust TennisVL op analytisch commentaar.
Data-pipeline:
- Segmentatie: Een lichtgewicht audio-neuraal netwerk detecteert de unieke geluidssignaturen van racket-bal-impacts om de video in rally's te segmenteren.
- Generatie: Een geavanceerde LLM (Gemini 3 Pro) synthetiseert commentaren door broadcast-transcripten, gestructureerde shot-sequenties (van TennisAbstract) en matchstatistieken te combineren.
- Validatie: Een tweestapsverificatieprotocol (automatische consistentiecheck en menselijke expert-review) zorgt voor een acceptatiegraad van >95% en waarborgt de feitelijke juistheid.

2. TennisExpert: Het Analytische Framework

TennisExpert is een multimodaal framework dat ruwe video omzet in expert-commentaar via drie geïntegreerde componenten:

Video Semantic Parser:
- Deze module verwerkt ruwe video in real-time en extrahert gestructureerde metadata in plaats van alleen pixels te gebruiken.
- Scorebordbegrip: OCR en prompt-gestuurde modellen lezen de score en de server.
- Precieze Event Spotting: Een end-to-end detector identificeert fijne gebeurtenissen (slagtypes, richtingen, balbounces) met tijdstempels.
- Object Detectie: Tracking van spelers, bal en court-keypoints om geometrische redenering mogelijk te maken.
Hiërarchisch Geheugenmechanisme (Memory-Augmented):
- Kortetermijngeheugen (Short-term): Een FIFO-buffer (First-In-First-Out) die de laatste $K$ rally's bewaart om directe wedstrijddynamiek en momentum te vangen.
- Langetermijngeheugen (Long-term): Een persistente kennisbank die cumulatieve statistieken bijhoudt (bijv. aces, fouten, eerste-opslagpercentage) over de hele wedstrijd. Dit voorkomt dat het model de context kwijtraakt bij lange wedstrijden.
Tactic-Aware MLLM (Multimodal Large Language Model):
- Als backbone wordt Qwen3-VL-8B gebruikt.
- Het model ontvangt een unificatie van visuele tokens (van de huidige rally), gestructureerde metadata (van de parser) en contextuele geheugeninformatie.
- Het genereert autoregressief expert-commentaar dat tactische diepgang en feitelijke nauwkeurigheid combineert.

Belangrijkste Bijdragen

TennisVL: De bouw van de grootste en rijkst geannoteerde tennisbenchmark ter wereld, specifiek gericht op analytisch commentaar in plaats van alleen beschrijving.
TennisExpert: Een nieuw framework dat een video-semantische parser koppelt aan een geheugenuitgebreid multimodaal model, waardoor het mogelijk wordt om complexe, contextbewuste sportanalyse in real-time uit te voeren.
State-of-the-Art Prestaties: Het bewijzen dat een compact model (8B parameters) met een gestructureerde aanpak superieur is aan veel grotere, gesloten modellen (zoals GPT-5, Gemini, Claude) op dit specifieke domein.

Resultaten

De experimenten tonen aan dat TennisExpert aanzienlijk beter presteert dan bestaande baselines:

Kwalitatieve Metrics: TennisExpert behaalt een CIDEr-score van 43,71, meer dan vijf keer zo hoog als de sterkste zero-shot baseline (Gemini-3-Pro met 10,11).
LLM-evaluatie: In een evaluatie door een andere LLM (die fungeert als senior tennisanalist) behaalt TennisExpert een totaalscore van 88,05/100, vergeleken met 59,89 voor de beste concurrent (Gemini-3-Pro).
- Het scoort het hoogst op Professionalisme (tactische diepgang), Nauwkeurigheid (feitelijke juistheid) en Pacing (passende lengte voor de complexiteit van de rally).
Efficiëntie:
- De aanpak is zeer efficiënt voor real-time inzet. Door gebruik te maken van gestructureerde metadata in plaats van ruwe video-frames voor de gehele context, blijft de token-complexiteit constant ( $O(1)$ ).
- Het systeem vereist slechts ~20 GB VRAM en heeft een latentie van < 2 seconden, terwijl het de video-semantic parser met 40 FPS draait (sneller dan de broadcast-snelheid).

Betekenis en Impact

Dit paper markeert een belangrijke stap in de richting van expert-level sportvideo-analyse.

Het toont aan dat het combineren van gestructureerde visuele parsing met hiërarchisch geheugen essentieel is voor het begrijpen van snelle, contextafhankelijke sporten zoals tennis.
Het biedt een nieuwe standaard voor datasets in de sportwereld, waarbij de verschuiving van "wat gebeurt er" naar "waarom gebeurt het en wat betekent het tactisch" centraal staat.
De openbaarmaking van de dataset en code (TennisVL en TennisExpert) faciliteert verdere research in geautomatiseerd coachen, tactische analyse en real-time commentaargeneratie, niet alleen voor tennis maar ook als blauwdruk voor andere complexe sporten.