CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics

Dit paper introduceert CricBench, het eerste meerlinguale benchmark voor cricket-analyse dat de beperkingen van LLMs blootlegt bij het genereren van semantisch correcte SQL-query's uit teksten in vier talen, ondanks hoge syntactische uitvoeringsniveaus.

De kern

Stel je voor dat je een superintelligente robot hebt die alles over cricket weet en ook perfect SQL (de taal van databases) spreekt. Je vraagt hem: "Wie scoorde de meeste runs in de laatste vijf ODI-wedstrijden op Lord's?" Je verwacht dat de robot direct het juiste antwoord geeft.

Maar wat blijkt? De robot schrijft een perfecte, grammaticaal correcte SQL-vraag, maar het antwoord dat hij terugkrijgt, is vaak volledig fout. Hij heeft de vraag "begrepen" in de zin van de zinsbouw, maar hij mist de betekenis en de specifieke regels van het cricket.

Dit is precies wat het onderzoekspapier CricBench ontdekt. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Cricket-Expert" die faalt

Cricket is een enorm populair spel met miljarden fans. Fans willen diepe analyses: vergelijkingen tussen spelers uit verschillende tijdperken, of complexe statistieken. Normale zoekopdrachten op internet helpen hier niet bij; daarvoor moet je een database bevragen.

Aan de ene kant hebben we LLM's (zoals de slimme AI-modellen die we allemaal kennen). Deze modellen zijn goed in het vertalen van menselijke taal naar database-vragen (Text-to-SQL).
Aan de andere kant hebben we cricket, een spel vol met eigenaardige regels, historische data en specifieke termen.

De onderzoekers wilden weten: Zijn deze slimme AI's ook slim genoeg om als een echte cricket-analist te werken?

2. De Oplossing: CricBench (De "Cricket-Examentest")

Om dit te testen, hebben de onderzoekers CricBench bedacht. Dit is een soort "examentest" voor AI, speciaal gemaakt voor cricket.

• De Examenvragen: Ze hebben 2.654 vragen bedacht, verdeeld over vier soorten cricket: Test (langdurig), ODI, T20I (kort) en de IPL (een populaire competitie in India).
• Meertalig: De vragen zijn niet alleen in het Engels, maar ook in Hindi, Punjabi en Telugu. Dit is belangrijk, omdat fans in India vaak in hun eigen taal praten, maar technische termen (zoals "Strike Rate") in het Engels laten staan.
• De "Blinde" Test: De AI's kregen alleen de blauwdruk van de database (de lijst met kolommen en tabellen) en de vraag. Ze kregen geen extra uitleg over hoe cricket werkt. Het was alsof je iemand een auto geeft en zegt: "Rijd naar het station," zonder dat je vertelt hoe je de versnellingen bedient of waar het station ligt.

3. De Resultaten: De "Illusie van Bekwaamheid"

De resultaten waren verrassend en een beetje teleurstellend voor de AI-ontwikkelaars.

• De "Schijnbare" Succes: De AI's schreven bijna altijd SQL-code die technisch correct was. De database gaf geen foutmelding. Het was alsof de robot perfect de sleutel in het slot draaide.
• De "Reële" Falen: Maar de antwoorden waren vaak fout. De AI's gaven het verkeerde antwoord, omdat ze de logica van het spel niet begrepen.
  • Vergelijking: Stel je voor dat je een kok vraagt een taart te bakken. De AI pakt het juiste recept (de SQL-code), gebruikt de juiste ingrediënten (de tabellen), maar vergeet dat je de oven op 180 graden moet zetten in plaats van 100. De taart ziet er perfect uit, maar hij is rauw van binnen.

De cijfers:

• De beste modellen haalden slechts ongeveer 12% tot 28% correcte antwoorden.
• Op de allerlastigste ODI-vragen scoorden alle modellen 0%. Ze waren volledig verloren.
• Er was geen enkele "super-AI" die op alle gebieden goed was. De ene AI was goed in Test-cricket, de andere in de IPL, maar niemand was een alleskunner.

4. De Grote Kloof: Algemeen vs. Specifiek

Het meest opvallende resultaat was de vergelijking met een andere bekende test (BIRD), waar AI's normaal gesproken heel goed scoren (rond de 60%).

• De Kloof: Toen dezelfde AI's de cricket-test deden, daalde hun score met 37% tot 55%.
• De Metafoor: Het is alsof je een wereldkampioen schaakspeler vraagt om een wedstrijd in het poker te spelen. Hij is slim, hij kent de regels van het spel, maar hij mist de specifieke intuïtie en strategie die nodig is voor dit specifieke spel. De vaardigheden die hem tot kampioen maken in het ene spel, helpen hem niet automatisch in het andere.

5. Waarom lukt het niet?

De onderzoekers ontdekten drie hoofdoorzaken:

1. Hallucinaties: De AI's verzonnen soms kolommen die niet bestonden, omdat ze dachten dat die "logisch" moesten zijn.
2. Foute Formules: Ze rekenden verkeerd. Bijvoorbeeld: ze vergeten dat je alleen "legale" ballen moet meetellen voor een gemiddelde, en tellen ook de fouten mee.
3. Verwarring over Spelers: Het is lastig voor een AI om te weten welke speler bij welk team hoorde in welk jaar, omdat teams en namen veranderen.

Conclusie: Wat betekent dit voor ons?

CricBench laat zien dat AI's momenteel nog niet klaar zijn om complexe, gespecialiseerde analyses te doen zonder hulp. Ze zijn als een zeer belezen student die de theorie uit het boek kent, maar nog nooit een echte wedstrijd heeft gespeeld.

Om AI echt nuttig te maken voor cricket (en andere specifieke vakgebieden), moeten we ze niet alleen "slimmer" maken door meer data te geven, maar ze specifiek opleiden op die regels en logica. Tot die tijd moeten we voorzichtig zijn met het vertrouwen op AI voor diepgaande sportanalyses.

Kortom: De AI kan de taal van de database spreken, maar hij begrijpt nog niet de taal van het cricket.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijke vooruitgang hebben geboekt in het vertalen van natuurlijke taal naar SQL (Text-to-SQL), blijft hun vermogen om domeinspecifieke nuances te hanteren, complexe schema-variaties te doorgronden en meertalige eisen te vervullen binnen gespecialiseerde gebieden zoals sportanalyses, onvoldoende onderzocht.

• Domeincomplexiteit: Cricket vereist granulaire redenering, waaronder precieze wiskundige bewerkingen (bijv. berekening van 'Economy Rate'), temporeel bewustzijn, afgeleide metrieken en filters voor specifieke fasen van het spel.
• Entiteitsoplossing: Er zijn uitdagingen bij het oplossen van dynamische spelersaffiliaties over verschillende tijdsperiodes en het koppelen van spelers aan nationale teams of franchise-teams (zoals in de IPL).
• Meertaligheid: Bestaande benchmarks zijn voornamelijk Engels-georiënteerd, terwijl de cricket-fanbase in regio's zoals India vaak in native talen (Hindi, Punjabi, Telugu) of code-mixed dialecten communiceert.
• Huidige beperking: Het is onduidelijk in hoeverre algemene Text-to-SQL-vaardigheden vertalen naar deze gespecialiseerde domeinen zonder extra domeinkennis of retrieval-systemen.

Methodologie: CricBench

De auteurs introduceren CricBench, een uitgebreide benchmark-suite die is ontworpen om de intrinsieke SQL-generatiecapaciteiten van LLM's te evalueren zonder gebruik te maken van domeinspecifieke prompts of externe kennisbronnen (schema-only prompting).

1. Dataset Constructie:

   • Bronnen: Data is afkomstig van Cricsheet (ball-by-ball records) en omgezet naar strikte SQLite-schema's.
   • Formaten: De benchmark dekt vier cricket-formaten: Test, ODI, T20I en de Indian Premier League (IPL).
   • Omvang: 633 unieke basisqueries, vertaald naar vier talen (Engels, Hindi, Punjabi, Telugu), resulterend in 2.654 evaluatie-instanties.
   • Complexiteit: Queries zijn gecategoriseerd als Easy, Medium en Hard, met een focus op complexiteiten zoals multi-table joins, temporale filtering, geneste queries en berekening van afgeleide metrieken.

2. Gold Standard Curation:

   • In plaats van synthetische data, zijn de queries handmatig geschreven en geverifieerd door experts in cricket-analyse.
   • De antwoorden zijn cross-gecontroleerd met betrouwbare bronnen (ESPNcricinfo, Cricbuzz) om feitelijke juistheid te garanderen.
   • Meertalige vertalingen behouden technische termen in het Engels (code-mixing) om authentiek gebruikersgedrag na te bootsen.

3. Evaluatieprotocol:

   • Schema-only prompting: Modellen ontvangen alleen het databaseschema en minimale instructies (zonder voorbeelden of uitgebreide domeincontext).
   • Metrieken:
     • Execution Accuracy (EX): Percentage SQL-queries dat zonder syntactische fouten wordt uitgevoerd.
     • Data Match Accuracy (DMA): Percentage queries waarvan het resultaat exact overeenkomt met de Gold Standard (de primaire maatstaf voor semantische juistheid).

4. Geëvalueerde Modellen:
   Zeven state-of-the-art modellen werden getest, waaronder GPT-5 Mini, Claude Sonnet 4, DeepSeek R1 en V3, Qwen 235B, Llama 3.1 en Gemma 2.

Belangrijkste Resultaten

1. Geen Dominant Model: Er is geen enkel model dat alle formaten domineert. Prestaties variëren sterk per cricket-formaat:

   • GPT-5 Mini leidt bij Test cricket (12,4% DMA).
   • Qwen 235B presteert het beste bij IPL (28,7%) en T20I (17,5%).
   • DeepSeek R1 scoort hoog op Test (33,0%), maar faalt bijna volledig op T20I (4,5%).
   • Alle modellen scoren 0% DMA op moeilijke ODI-queries.

2. De "Illusie van Competentie":
   Er is een enorme kloof tussen syntactische geldigheid en semantische juistheid. Modellen zoals GPT-5 Mini en DeepSeek V3 bereiken een uitvoeringsnauwkeurigheid (EX) van >98%, maar slechts ~12% Data Match Accuracy. Dit betekent dat ze correcte SQL-syntax genereren die echter de verkeerde logica of domeinregels toepast.

3. Domein-Gap (Domain Gap):
   Bij vergelijking met de algemene BIRD-benchmark (Text-to-SQL voor algemene zakelijke queries) tonen de modellen een drastische prestatiedaling:

   • De nauwkeurigheid daalt met 37 tot 55 procentpunten bij het overstappen van algemene naar cricket-specifieke queries.
   • Modellen die goed presteren op BIRD (zoals GPT-5 Mini) lijden de grootste absolute dalingen, wat aangeeft dat algemene vaardigheden niet lineair vertalen naar gespecialiseerde domeinen.

4. Meertalige Analyse:
   Prestaties zijn over alle vier de talen (Engels, Hindi, Punjabi, Telugu) consistent laag. Code-mixed queries leiden niet tot extra degradatie, wat suggereert dat het taalbegrip niet het primaire probleem is, maar wel het domein-specifieke redeneren.

5. Foutanalyse:
   De belangrijkste oorzaken van falen zijn:

   • Schema-hallucinaties: Modellen verwijzen naar kolommen die niet bestaan (bijv. total_runs), gebaseerd op parametrische kennis in plaats van het prompt-schema.
   • Fouten in afgeleide metrieken: Incorrecte berekening van statistieken zoals 'Economy Rate' door het negeren van filters voor legale ballen.
   • Entiteitsoplossing: Problemen bij het koppelen van spelers aan teams over verschillende seizoenen heen.
   • Temporele logica: Fouten bij het hanteren van datumfilters en 'top-N' queries.

Bijdragen

1. Eerste Cricket-Benchmark: CricBench is de eerste expert-gecureerde Text-to-SQL-benchmark specifiek voor cricket-analyse.
2. Meertalige Ondersteuning: Het introduceert geverifieerde testsets in vier Indiase talen, inclusief code-mixing, wat een gat in de literatuur opvult.
3. Intrinsieke Capabiliteit: Door schema-only prompting te gebruiken, isoleert de benchmark de pure redeneercapaciteit van LLM's, zonder de hulp van RAG of few-shot learning.
4. Kwantificering van de Domein-Gap: Het paper demonstreert empirisch dat huidige LLM's fundamenteel tekortschieten in gespecialiseerde sportanalyses, ondanks hun succes in algemene taken.

Significantie en Conclusie

CricBench onthult dat de huidige stand van de kunst in AI (zelfs de meest geavanceerde modellen) nog niet klaar is voor praktische toepassing in gespecialiseerde sportanalyses. De enorme kloof tussen syntactische correctheid en semantische juistheid, gecombineerd met de dramatische prestatiedaling ten opzichte van algemene benchmarks, wijst erop dat schaalvergroting en instructie-tuning alleen niet voldoende zijn.

De auteurs concluderen dat toekomstig werk zich moet richten op:

• Domeinspecifiek fine-tuning.
• Gestructureerde Retrieval-Augmented Generation (RAG) met injectie van domeinregels.
• Architecturen die specifiek zijn ontworpen voor complex redeneren in gespecialiseerde domeinen.

CricBench dient als een uitdagende baseline die aantoont dat er nog een aanzienlijke weg te gaan is voordat LLM's betrouwbaar kunnen worden ingezet voor complexe, meertalige sportanalyses.