Stepping VLMs onto the Court: Benchmarking Spatial Intelligence in Sports

Deze paper introduceert CourtSI, het eerste grote dataset en benchmark voor ruimtelijke intelligentie in sporten, waarmee de beperkingen van bestaande vision-language modellen worden blootgelegd en een aanzienlijke prestatieverbetering wordt bereikt door fine-tuning.

De kern

Hoe Computers de Sportwereld Eindelijk Begrijpen: Een Simpele Uitleg van "CourtSI"

Stel je voor dat je een slimme robot hebt die alles kan zien en lezen, maar die totaal geen gevoel heeft voor ruimte. Als je hem vraagt: "Hoe ver staat die tennisspeler van het net?", kijkt hij naar de foto en zegt misschien: "Ik zie een man en een net, maar ik heb geen idee hoe ver ze van elkaar staan." Hij ziet de beelden, maar niet de werkelijkheid.

Dit is precies het probleem dat onderzoekers van dit paper (CourtSI) wilden oplossen. Ze hebben een nieuw "schoolboek" en een "proefexamen" gemaakt om robots (AI) te leren hoe ze de 3D-wereld van sporten echt moeten begrijpen.

Hier is hoe ze dat hebben gedaan, vertaald naar alledaags taal:

1. Het Probleem: De "Vlakte" vs. De "Wereld"

Tot nu toe waren slimme computers (zoals die in je telefoon of chatbot) heel goed in het herkennen van dingen op een platte foto. Ze kunnen zeggen: "Dat is een bal, dat is een speler." Maar ze zijn slecht in het begrijpen van diepte en afstand.

Het is alsof je iemand vraagt om een driedimensionaal huis te tekenen, maar je geeft ze alleen een platte tekening van de gevel. Ze weten niet hoe diep de kamer is of hoe hoog het plafond echt is. In de sportwereld is dit een groot probleem: een bal die ver weg is, kan er op een foto klein uitzien, maar hij kan ook dichtbij zijn en gewoon klein zijn.

2. De Oplossing: Een "Sport-3D-Simulator"

De onderzoekers hebben een slimme truc bedacht. In plaats van te raden, gebruiken ze de speelveldlijnen als een meetlat.

• De Analogie: Stel je voor dat je een foto van een tennisveld hebt. Je weet precies hoe groot een tennisveld is (de lijnen staan op een vaste afstand). De onderzoekers hebben een computerprogramma gemaakt dat deze lijnen herkent. Zodra de computer weet: "Ah, deze lijn is 10 meter lang", kan hij de hele foto omrekenen naar een 3D-wereld.
• Het Resultaat: Plotseling weet de computer niet alleen waar de speler staat, maar ook hoe ver hij precies van de lijn af staat (bijvoorbeeld: "2,4 meter"). Ze hebben dit proces gebruikt om een enorme database te bouwen met 1 miljoen vragen en antwoorden over badminton, tennis en tafeltennis.

3. Het Examen: "CourtSI-Bench"

Om te testen of de robots dit echt hebben geleerd, hebben ze een streng examen gemaakt genaamd CourtSI-Bench.

• Dit examen bevat bijna 4.000 vragen.
• De vragen zijn niet zomaar "Wie wint?", maar veel lastiger: "Hoe ver is de bal van de linkervoet van speler A?" of "Is de bal links of rechts van het net, gezien vanuit de hoek van speler B?"
• Ze hebben 25 verschillende slimme robots (AI-modellen) dit examen laten maken.

4. De Resultaten: De Robot valt door de test

Het nieuws is niet heel goed voor de huidige robots:

• Mensen vs. Robots: Zelfs de slimste robots halen het niet bij een gemiddelde mens. Mensen kunnen op een foto vaak een goede schatting maken van afstanden. Robots maken hier enorme fouten.
• Oude kennis werkt niet: Robots die al getraind waren op andere ruimtelijke taken (zoals het vinden van meubels in een kamer) faalden in de sportwereld. Sport is dynamisch: mensen rennen, ballen vliegen, en perspectieven veranderen snel.

5. De Grootte van de Doorbraak: Leren van de Meester

De onderzoekers hebben toen een specifieke robot (Qwen3-VL-8B) laten studeren met hun nieuwe "sport-schoolboek" (CourtSI).

• Het Effect: Na deze training werd de robot 23,5% beter. Dat is een enorme sprong.
• De Toekomst: De getrainde robot kon zelfs een nieuw spel spelen (pickleball) dat hij nog nooit had gezien, en deed het daar ook goed in. Hij kon zelfs commentaar geven tijdens een wedstrijd waarin hij niet alleen de actie beschreef, maar ook de afstanden noemde: "De speler staat nu precies 3 meter van het net, perfect voor een aanval!"

Samenvatting in één zin

Dit paper zegt: "We hebben een nieuwe manier gevonden om computers te leren hoe ze de 3D-ruimte van sporten moeten zien, en we hebben bewezen dat ze hierdoor veel slimmer worden, maar er is nog een flinke weg te gaan voordat ze net zo goed zijn als een mens."

Het is als het geven van een meetlat en een 3D-bril aan een robot die tot nu toe alleen maar door een flauw, plat raam naar de wereld keek.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Stepping VLMs onto the Court: Benchmarking Spatial Intelligence in Sports" in het Nederlands.

Titel: Stepping VLMs onto the Court: Benchmarking Spatial Intelligence in Sports

Auteurs: Yuchen Yang, Yuqing Shao, et al. (Fudan University, Shanghai AI Laboratory, enz.)
Datum: Maart 2026 (arXiv)

---

1. Het Probleem

Hoewel Vision-Language Models (VLMs) sterke prestaties leveren in semantisch begrip en 2D-visueel redeneren, blijft hun vermogen om de 3D-wereld waar te nemen en te redeneren beperkt. Bestaande benchmarks voor "ruimtelijke intelligentie" (spatial intelligence) focussen voornamelijk op statische scènes en rigide objecten (zoals meubels in binnenruimtes).

Er is echter een groot tekort aan onderzoek naar mensen-centric ruimtelijk redeneren in dynamische omgevingen. Sportscènes, gekenmerkt door intense menselijke beweging, niet-rigide vervormingen en interacties met dynamische objecten (zoals ballen), vormen een uitdagende testomgeving die huidige modellen tekort doet. Bestaande datasets vangen deze complexiteit onvoldoende, wat leidt tot een significant prestatiekloof tussen mens en AI, vooral bij taken zoals afstandsmeting en lokale positiebepaling.

2. Methodologie

De auteurs introduceren een complete pipeline voor het creëren van een dataset en benchmark, gebaseerd op een semi-automatische data-engine die 3D-scènes reconstrueert uit monokulaire beelden.

A. Semi-automatische Data Engine

Om schaalbaar en nauwkeurig 3D-data te genereren, gebruiken ze de vaste geometrie van sportvelden als meetkundige ankers. De pipeline bestaat uit drie hoofdcomponenten:

1. Court Annotatie (Veldannotatie): Sportvelden hebben standaardafmetingen. Annotators markeren 2D-sleutelpunten (hoeken, net). Met behulp van een Perspective-n-Point (PnP) solver worden camera-intrinsieken en -extrinsieken geoptimaliseerd om een wereldcoördinatenstelsel te definiëren dat gebaseerd is op het veld.
2. Ball Annotatie: Omdat ballen klein zijn en monokulaire diepteschatters onbetrouwbaar zijn voor metrische schaal, gebruiken de auteurs een hulpmiddel dat diepteschatten omzet in projectie op het grondvlak. Annotators klikken op de bal en de projectie op het veld; de diepte wordt analytisch opgelost via de bekende camera-parameters.
3. Player Mesh Recovery: Ze gebruiken PromptHMR om menselijke meshes (SMPL-X) te herstellen. Om onnauwkeurige diepte (bijv. zwevende voeten) te corrigeren, annoteren ze de hoogte van het laagste mesh-vertex ten opzichte van het veld en passen ze een perspectieftransformatie toe om de mesh correct te herschalen.

B. Dataset Curation: CourtSI en CourtSI-Bench

• CourtSI: Een groot dataset met >1 miljoen QA-paren (vraag-antwoordparen), gegenereerd uit beelden van badminton, tennis en tafeltennis (bron: RacketVision). De vragen zijn gestructureerd in vier categorieën:
  1. Ruimtelijk tellen (Counting)
  2. Afstandsmeting (Distance Measurement)
  3. Lokalisatie (Localization)
  4. Relationeel redeneren (Relational Reasoning)
     De antwoorden worden automatisch gegenereerd op basis van de gereconstrueerde 3D-toestanden.
• CourtSI-Bench: Een hoogwaardige evaluatiebenchmark met 3.686 QA-paren. Deze set is handmatig verifieerd door twee annotators om reconstructiefouten te elimineren en bevat geen overlap met de trainingsdata.

C. Evaluatie en Fine-tuning

• Benchmarking: 25 state-of-the-art VLMs (zowel proprietary zoals GPT-4/5, Gemini, als open-source zoals Qwen3-VL, InternVL) worden geëvalueerd op CourtSI-Bench.
• Fine-tuning: De auteurs fine-tunen Qwen3-VL-8B op de CourtSI-dataset om de effectiviteit van de data te testen.
• Generalisatie: Een extra evaluatie (CourtSI-Ext) wordt uitgevoerd op pickleball (een onbekende sport met vergelijkbare geometrie) om transfer learning te testen.
• Toepassing: Er wordt een taak voor "ruimtelijk bewuste commentaargeneratie" geïntroduceerd.

3. Belangrijkste Resultaten

• Mens-AI Kloof: Zelfs de beste modellen (zoals GPT-5.2 en Gemini-3-Pro) blijven significant achter bij menselijke prestaties, vooral bij afstandsmeting en lokalisatie. Mensen scoren bijvoorbeeld 64,4% op afstandsmeting, terwijl de beste AI-modellen rond de 27-40% scoren.
• Beperkte Generalisatie: Modellen die zijn getraind op bestaande ruimtelijke benchmarks (zoals SpaceR, VST) generaliseren slecht naar sportscènes, wat aantoont dat deze benchmarks de dynamiek van sport niet vangen.
• Effectiviteit van Fine-tuning: Na fine-tuning op CourtSI steeg de nauwkeurigheid van Qwen3-VL-8B met 23,5 procentpunten op CourtSI-Bench. De verbetering was het grootst bij afstandsmeting (+25,3 pp).
• Cross-Sport Generalisatie: Het gefinetunte model toonde sterke prestaties op CourtSI-Ext (pickleball), wat aangeeft dat het model transferable ruimtelijke redeneercapaciteiten heeft geleerd.
• Commentaargeneratie: Het gefinetunte model kon ruimtelijke relaties (bijv. afstanden) succesvol integreren in levendige sportcommentaren, zonder de linguïstische kwaliteit te verliezen.

4. Bijdragen

1. CourtSI & CourtSI-Bench: De eerste grote dataset en benchmark voor ruimtelijke intelligentie in sport, die focust op mens-centric en metrisch onderbouwd redeneren in dynamische 3D-omgevingen.
2. Data Engine: Een semi-automatische reconstructie-engine die gebruikmaakt van sportveld-geometrie om nauwkeurige, wereld-gegrounde 3D-scènes te reconstrueren uit broadcast-beelden.
3. Uitgebreide Evaluatie: Een uitgebreide evaluatie van 25 VLMs die een duidelijke prestatiekloof aantoont, gecombineerd met bewijs dat fine-tuning op sportdata de ruimtelijke intelligentie aanzienlijk verbetert en generaliseert naar nieuwe sporten.

5. Significantie

Dit paper markeert een belangrijke stap in de evolutie van Vision-Language Models. Het toont aan dat sportscènes een ideaal maar uitdagend testbed zijn voor ruimtelijke intelligentie, omdat ze complexe interacties tussen mensen en objecten vereisen. De introductie van CourtSI biedt een schaalbare route om VLMs beter te maken in het begrijpen van de fysische wereld, wat essentieel is voor toepassingen zoals robotica, geavanceerde sportanalyse en realistische interactieve systemen. Het werk benadrukt dat bestaande benchmarks ontoereikend zijn voor dynamische, menselijke scenario's en dat specifieke, geometrisch onderbouwde datasets nodig zijn om de volgende generatie AI-modellen te trainen.