CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics

Das Paper stellt CricBench vor, den ersten mehrsprachigen Benchmark für die Text-zu-SQL-Analyse von Cricket-Daten, der zeigt, dass aktuelle LLMs trotz hoher syntaktischer Korrektheit erhebliche semantische Defizite bei der Beantwortung komplexer, domänenspezifischer Fragen in vier Sprachen aufweisen.

Das Wesentliche

CricBench: Der große Test für KI im Cricket-Wunderland

Stell dir vor, du hast einen extrem intelligenten Roboter, der alles über die Welt weiß. Er kann dir sagen, wie man ein Rezept kocht, wie man einen Code schreibt oder wer der Präsident vor 50 Jahren war. Aber was passiert, wenn du ihn fragst: „Wer hat im letzten Test-Match in Lord's die meisten Runs erzielt, wenn man nur die Bälle zählt, die nicht als ‚Wide' oder ‚No Ball' gewertet wurden, und dabei die Formel für die ‚Economy Rate' korrekt anwendet?"

Genau hier kommt die neue Studie CricBench ins Spiel. Sie ist wie ein strenger Lehrer, der diesen Roboter (eine Künstliche Intelligenz, kurz KI) auf die Probe stellt – aber nicht in Mathe oder Geschichte, sondern im Cricket.

Hier ist die Geschichte der Studie, einfach erklärt:

1. Das Problem: Der KI ist der Sport zu speziell

Cricket ist ein riesiges Spiel mit Milliarden von Fans. Die Fans wollen oft tiefgehende Statistiken wissen, die man nicht einfach googeln kann. Früher dachte man: „Wenn eine KI gut genug ist, um Datenbankfragen zu beantworten, kann sie das auch im Sport."

Die Forscher von CricBench haben jedoch herausgefunden, dass das nicht stimmt. Es ist, als würde man einen Weltmeister im Schachspielen nehmen und ihn bitten, ein komplexes Ballett zu tanzen. Die Grundregeln (Bewegung, Balance) sind da, aber die spezifischen Schritte (die „Domain-Logik") fehlen.

2. Der Test: CricBench

Die Forscher haben einen riesigen Test entwickelt, den sie CricBench nennen.

• Der Inhalt: Es gibt 2.654 Fragen auf vier verschiedenen Sprachen (Englisch, Hindi, Punjabi, Telugu).
• Die Fragen: Sie decken alle Cricket-Formate ab: Test-Matches (sehr lang), ODIs (eintägig), T20Is (sehr schnell) und die IPL (eine indische Liga, die wie eine große Party mit Teams aus verschiedenen Städten ist).
• Die Herausforderung: Die KI bekommt nur die Liste der Datenbanken (wie ein Inhaltsverzeichnis) und die Frage. Sie darf keine Hilfe bekommen, keine „Spickzettel" und keine Beispiele. Sie muss die Antwort aus ihrem eigenen „Gehirn" ableiten.

3. Das Ergebnis: Die KI ist gut im Schreiben, aber schlecht im Verstehen

Das ist das Überraschendste an der Studie:

• Die KI schreibt perfekte Sätze: Wenn man die Fragen in SQL (eine Computersprache für Datenbanken) umwandelt, sehen die Antworten der KI fast immer grammatikalisch perfekt aus. Sie funktionieren technisch. Das ist wie ein Schüler, der eine perfekte Hausaufgabe abgibt, die aber inhaltlich falsch ist.
• Die Antwort ist falsch: Wenn man die KI-Frage tatsächlich in die Datenbank eingibt, kommt fast nie das richtige Ergebnis heraus. Die Treffsicherheit liegt oft unter 30 %. Bei den schwierigsten Fragen (ODI) schaffen es keine der KIs, auch nur eine einzige Antwort richtig zu lösen (0 %).

Eine Analogie: Stell dir vor, du fragst einen Koch: „Wie koche ich eine perfekte Currywurst?" Der Koch schreibt dir ein Rezept auf, das perfekt aussieht, alle Zutaten nennt und die Schritte logisch beschreibt. Aber wenn du das Rezept befolgst, schmeckt es nach nichts, weil er vergessen hat, wie man die Wurst wirklich brät oder welche Gewürze wirklich rein müssen. Die KI kennt die Wörter, aber nicht den Geschmack des Sports.

4. Wer ist der Gewinner? (Spoiler: Niemand)

Die Forscher haben sieben der besten KIs der Welt getestet (wie GPT-5 Mini, Claude, DeepSeek, Llama).

• Kein Superheld: Es gab keinen einzigen Gewinner, der in allen Cricket-Formaten gut war.
• Spezialisten: Manche KIs waren gut bei Test-Matches, andere bei der IPL. Aber sobald das Format wechselte, fiel ihre Leistung dramatisch ab.
• Die Sprache: Es spielte keine große Rolle, ob die Frage auf Englisch oder Hindi gestellt wurde. Die KI scheiterte in beiden Sprachen gleich oft. Das zeigt, dass das Problem nicht die Sprache ist, sondern das Verständnis des Cricket-Spiels.

5. Der große Unterschied: Der „Domain Gap"

Die Studie verglich die KIs mit einem anderen großen Test (BIRD), bei dem es um normale Geschäftsfragen geht (z. B. „Wie viele Kunden haben im letzten Jahr mehr als 100 Euro ausgegeben?").

• Im normalen Test waren die KIs sehr gut (ca. 60 % richtig).
• Im Cricket-Test fielen sie auf unter 15 % ab.

Das ist wie ein Autofahrer, der auf der Autobahn perfekt fährt, aber sofort in Panik gerät, wenn er auf einen schmalen, verschneiten Waldweg muss. Die allgemeinen Fähigkeiten reichen nicht aus; man braucht spezifisches Wissen über das Terrain.

Fazit: Was lernen wir daraus?

Die Studie CricBench ist ein Weckruf. Sie zeigt uns, dass unsere aktuellen KIs zwar sehr schlau sind, aber noch nicht tief genug in spezielle Nischen wie den Sport eindringen können. Sie können Daten abfragen, aber sie können die Logik des Sports noch nicht wirklich verstehen.

Um Cricket-Analysen wirklich zu automatisieren, brauchen wir KIs, die nicht nur „reden" können, sondern das Spiel wirklich „verstehen". Bis dahin müssen wir uns noch auf menschliche Experten verlassen, wenn es um die wirklich kniffligen Statistiken geht.

Kurz gesagt: Die KI ist wie ein junger, sehr gebildeter Fan, der alle Regeln auswendig kann, aber wenn es darum geht, die komplexen Statistiken eines echten Spiels zu berechnen, macht sie noch zu viele Fehler. CricBench ist der Test, der uns genau zeigt, wo diese Fehler liegen.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Lücke in den Fähigkeiten von Large Language Models (LLMs), spezifische Domänenwissen in der Sportanalytik (insbesondere Cricket) anzuwenden. Während LLMs bei allgemeinen Text-to-SQL-Aufgaben (z. B. WikiSQL, Spider, BIRD) Fortschritte gemacht haben, scheitern sie oft an domänenspezifischen Nuancen.

• Domänenspezifische Komplexität: Cricket-Analysen erfordern präzise mathematische Operationen, zeitliche Bewusstheit, die Berechnung abgeleiteter Metriken (z. B. Strike Rate, Economy Rate) und komplexe Entity-Resolution (z. B. Zuordnung von Spielern zu Teams über verschiedene Epochen hinweg).
• Mehrsprachigkeit: Der Cricket-Fanbase ist linguistisch vielfältig (insbesondere in Indien). Bestehende Benchmarks sind fast ausschließlich englischsprachig, was die praktische Anwendbarkeit für muttersprachliche Nutzer einschränkt.
• Fehlende Benchmarks: Es gab bisher keinen spezialisierten Text-to-SQL-Benchmark für Cricket, der die intrinsische Fähigkeit von Modellen testet, ohne auf externe Wissensabfragen (RAG) oder domänenspezifische Prompts angewiesen zu sein.

2. Methodik: CricBench

Die Autoren stellen CricBench vor, einen umfassenden Benchmark-Suite, der LLMs unter strengen Bedingungen evaluiert.

• Datensatz-Konstruktion:

  • Quellen: Daten stammen von Cricsheet (Ball-für-Ball-Daten), transformiert in strikte SQLite-Schemata.
  • Formate: Der Benchmark deckt vier Cricket-Formate ab: Test, ODI (One Day International), T20I und die Indian Premier League (IPL).
  • Umfang: Insgesamt 2.654 Evaluierungsinstanzen, basierend auf 633 einzigartigen Basis-Abfragen.
  • Sprachen: Jede Abfrage liegt in vier Sprachen vor: Englisch, Hindi, Punjabi und Telugu. Besonderheit: Die Übersetzungen beinhalten authentisches „Code-Mixing" (z. B. englische Fachbegriffe wie „Strike Rate" in indischen Sätzen), um reales Nutzerverhalten abzubilden.
  • Schwierigkeitsgrad: Die Abfragen sind in Easy, Medium und Hard kategorisiert und umfassen komplexe SQL-Features wie Joins, temporale Filter, CTEs und Fensterfunktionen.

• Gold-Standard-Erstellung:

  • Im Gegensatz zu synthetischen Daten wurden die Abfragen und die korrekten SQL-Lösungen manuell von Cricket-Experten und SQL-Spezialisten erstellt und gegen externe Datenquellen (ESPNcricinfo, Cricbuzz) verifiziert.

• Evaluierungsprotokoll:

  • Schema-Only Prompting: Modelle erhalten nur das Datenbank-Schema und minimale Anweisungen (z. B. Definition eines legalen Balls). Es werden keine Few-Shot-Beispiele oder domänenspezifischen Kontexte bereitgestellt. Dies isoliert die intrinsische Reasoning-Fähigkeit des Modells.
  • Metriken:
    1. Execution Accuracy (EX): Prozentualer Anteil der syntaktisch korrekten und ausführbaren SQL-Abfragen.
    2. Data Match Accuracy (DMA): Der primäre Indikator für semantische Korrektheit. Misst, ob das Ergebnis der Abfrage exakt mit dem Gold-Standard übereinstimmt.

3. Wichtige Beiträge

1. Erster Cricket-spezifischer Benchmark: CricBench ist der erste Text-to-SQL-Benchmark, der speziell für Cricket-Analytics entwickelt wurde.
2. Mehrsprachige Unterstützung: Einführung verifizierter Testsets in vier indischen Sprachen mit Code-Mixing, was eine Lücke in der Forschung zu indischen Sprachen schließt.
3. Cross-Format-Analyse: Nachweis, dass Modellleistung stark vom Cricket-Format abhängt; kein Modell dominiert alle Formate.
4. Quantifizierung der Domänenlücke: Vergleich mit dem allgemeinen BIRD-Benchmark zeigt einen massiven Leistungsabfall bei spezialisierten Abfragen.
5. Expert Curated Data: Hohe Qualität durch manuelle Erstellung und Verifizierung, um logische und faktische Korrektheit zu garantieren.

4. Ergebnisse

Die Evaluation umfasste sieben State-of-the-Art-Modelle (u. a. GPT-5 Mini, Claude Sonnet 4, DeepSeek R1/V3, Qwen 235B, Llama 3.1, Gemma 2).

• Kein dominantes Modell: Die Rangfolge der Modelle ändert sich drastisch je nach Format.
  • Test: GPT-5 Mini führt (12,4 % DMA).
  • IPL & T20I: Qwen 235B führt (28,7 % bzw. 17,5 % DMA).
  • ODI: Alle Modelle scheitern bei harten ODI-Abfragen (0 % DMA).
• Disparität zwischen Syntax und Semantik: Es besteht eine enorme Lücke zwischen der Ausführungsgenauigkeit (>98 % für viele Modelle) und der semantischen Korrektheit (<29 % DMA). Modelle generieren oft syntaktisch korrekte SQLs, die jedoch falsche Ergebnisse liefern („Illusion of Competence").
• Domänenlücke (Domain Gap): Im Vergleich zum allgemeinen BIRD-Benchmark verlieren alle Modelle zwischen 37 und 55 Prozentpunkten an Genauigkeit. Selbst die besten Modelle erreichen auf CricBench nicht einmal 26 % ihrer BIRD-Leistung.
• Sprachliche Robustheit: Die Leistung variiert zwischen den Sprachen nur minimal. Code-Mixing führt nicht zu signifikanten Einbußen; das Hauptproblem ist die domänenspezifische Reasoning-Fähigkeit, nicht das Sprachverständnis.
• Fehleranalyse: Häufige Fehlerquellen sind:
  • Schema-Halluzinationen: Erfinden nicht existierender Spalten.
  • Fehler bei abgeleiteten Metriken: Falsche Berechnung von Raten (z. B. fehlende Filter für illegale Bälle).
  • Entity-Resolution: Fehlerhafte Zuordnung von Spielern zu Teams/Formaten.
  • Temporale Logik: Falsche Handhabung von Datumsreihenfolgen oder Limits.

5. Bedeutung und Fazit

CricBench demonstriert, dass aktuelle LLMs, selbst die fortschrittlichsten, fundamental nicht über die notwendigen domänenspezifischen Reasoning-Fähigkeiten verfügen, um spezialisierte Sportanalysen zuverlässig durchzuführen.

• Skalierung reicht nicht aus: Höhere Parameterzahlen oder Instruction-Tuning allein lösen das Problem nicht; die Fähigkeiten zur allgemeinen Schema-Verknüpfung übertragen sich nicht auf komplexe Domänenlogik.
• Zukunftsperspektiven: Um die Lücke zu schließen, sind Ansätze wie domänenspezifisches Fine-Tuning, strukturierte Retrieval-Augmented Generation (RAG) mit Domänenregeln und Architekturen mit verbessertem Reasoning notwendig.
• Ressource: Der Datensatz und der Evaluierungs-Code werden nach Annahme des Papers öffentlich verfügbar gemacht, um die Forschung im Bereich spezialisierter Text-to-SQL-Systeme voranzutreiben.

Zusammenfassend etabliert CricBench einen neuen, anspruchsvollen Standard, der zeigt, dass die aktuelle KI-Technologie für den Einsatz in professionellen Sportanalysesystemen noch erhebliche Defizite aufweist.