CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics

CricBench est le premier benchmark multilingue évaluant la capacité des grands modèles de langage à générer des requêtes SQL pour l'analyse du cricket, révélant un écart significatif entre la validité syntaxique et la justesse sémantique des modèles actuels sur des données spécifiques à ce sport.

L'essentiel

🏏 CricBench : Le Grand Test de Cricket pour les Intelligences Artificielles

Imaginez que vous avez un assistant très intelligent, capable de répondre à presque n'importe quelle question. C'est ce qu'on appelle un Grand Modèle de Langage (comme ceux qui font des IA génératives). Vous lui demandez : "Qui a marqué le plus de buts en 2023 ?" et il vous répond instantanément.

Mais que se passe-t-il si vous lui demandez quelque chose de très spécifique, comme un expert du cricket ?
"Montrez-moi la moyenne de vitesse de toutes les balles lancées par un joueur spécifique lors de ses trois derniers matchs à domicile, en excluant les balles illégales, et comparez cela avec la moyenne de son équipe en Inde."

C'est là que l'histoire devient intéressante. Les chercheurs ont créé CricBench, un "terrain de jeu" spécial pour tester si ces intelligences artificielles sont vraiment des experts du cricket ou simplement de bons imitateurs.

1. Le Problème : L'IA est une "Touriste" dans le monde du Cricket

Jusqu'à présent, les IA étaient excellentes pour des tâches générales (comme faire des listes de courses ou écrire des emails). Mais le cricket est un sport complexe avec des règles bizarres, des statistiques précises et des millions de fans qui parlent différentes langues (anglais, hindi, pendjabi, télougou).

Les chercheurs ont voulu voir si l'IA pouvait comprendre ces nuances sans qu'on lui donne un manuel d'instructions. C'est comme demander à un touriste de conduire une voiture de course en pleine tempête de neige, juste en lui montrant le volant, sans lui dire comment freiner.

2. La Solution : CricBench, le "Stade" de l'IA

Les chercheurs ont construit un stade virtuel (une base de données) rempli de millions de détails sur le cricket (Test, ODI, T20, IPL). Ils ont ensuite posé 2 654 questions à 7 des IA les plus puissantes du monde (comme GPT-5, Claude, DeepSeek, etc.).

Le défi était double :

• Multilingue : Les questions étaient posées en anglais, mais aussi en hindi, pendjabi et télougou (avec un mélange de langues, comme on le fait souvent en Inde).
• Sans triche : On n'a donné aux IA que la "carte du terrain" (la structure des données), sans leur donner les règles du jeu ni d'exemples. On voulait voir leur intelligence brute.

3. Les Résultats : L'Illusion de Compétence

Voici ce qui est arrivé, et c'est assez surprenant :

• L'IA sait "parler", mais pas "penser" : Les IA ont réussi à écrire des requêtes informatiques (du code SQL) qui étaient parfaitement correctes grammaticalement (à 99 % !). C'est comme si elles écrivaient une phrase en français avec une grammaire parfaite.
• Mais la réponse était fausse : Pourtant, quand on regardait le résultat, seulement 10 à 20 % des réponses étaient correctes. C'est comme si l'IA vous disait : "Pour aller à la plage, prenez la rue de la Gare, tournez à gauche, et vous arriverez au désert." La phrase est bien construite, mais elle vous emmène au mauvais endroit.

L'analogie du cuisinier :
Imaginez un chef cuisinier (l'IA) qui connaît parfaitement les noms des ingrédients et la façon de les couper. Si vous lui demandez de faire un "Curry de crevettes", il va couper les crevettes, les mettre dans la casserole et ajouter du curry.

• Le problème : Il a oublié de mettre l'eau, il a utilisé du sucre au lieu de sel, et il a oublié de cuire les crevettes.
• Résultat : Il a produit un plat qui ressemble à un curry (syntaxe correcte), mais c'est un désastre comestible (réponse fausse).

4. Les Surprises du Match

• Pas de champion unique : Aucune IA n'a gagné partout. Celle qui était la meilleure pour le cricket "Test" (long match) était moyenne pour le "T20" (match rapide). C'est comme si un joueur de rugby était excellent en mêlée mais nul en ligne de touche.
• Le piège du cricket indien (IPL) : Certaines IA ont très bien réussi sur le tournoi IPL (le championnat indien), mais ont échoué lamentablement sur les matchs internationaux. Cela montre que chaque format de cricket demande une logique différente.
• Le fossé des langues : Les IA ont aussi bien (ou aussi mal) répondu en hindi et en pendjabi qu'en anglais. Le problème n'était pas la langue, mais la logique du cricket elle-même.

5. La Conclusion : Nous sommes encore au début

L'étude conclut que les IA actuelles sont comme des étudiants brillants en théorie, mais nuls en pratique. Elles savent assembler les mots, mais elles ne comprennent pas vraiment la logique profonde du sport.

Quand on compare leurs performances sur des questions générales (comme un examen de culture générale) et sur le cricket, leur score chute de 50 %. C'est énorme ! Cela signifie que pour que l'IA devienne un véritable analyste de cricket, il ne suffit pas de la rendre plus "grosse" ou de lui donner plus de données. Il faut lui apprendre à raisonner comme un expert humain.

En résumé : CricBench nous a dit : "Bravo, vous savez écrire du code, mais vous ne savez pas encore jouer au cricket." C'est un premier pas important pour créer de vraies assistants sportifs intelligents dans le futur.

Résumé technique

1. Problématique et Contexte

Le cricket, deuxième sport le plus populaire au monde, génère des besoins analytiques complexes (tendances historiques, comparaisons de joueurs, métriques dérivées) qui dépassent souvent les capacités des moteurs de recherche standards. Bien que les Grands Modèles de Langage (LLM) aient fait des progrès significatifs dans la tâche Text-to-SQL (traduction du langage naturel en requêtes SQL), leur capacité à gérer les nuances spécifiques à un domaine, les variations de schémas complexes et les exigences multilingues dans le domaine du sport reste sous-évaluée.

Les benchmarks existants (comme WikiSQL, Spider, BIRD) sont principalement centrés sur l'anglais et des domaines généraux (affaires, bases de données standard). Ils échouent à capturer les défis uniques du cricket :

• Raisonnement temporel et mathématique précis : Nécessité de calculer des métriques dérivées (ex: taux de frappe, économie) avec des filtres stricts (lancers légaux).
• Résolution d'entités dynamiques : Gestion des affiliations des joueurs qui changent selon les époques et les équipes (nationales vs franchises).
• Diversité linguistique : La base de fans utilise souvent des langues locales (hindi, pendjabi, télougou) et des mélanges de codes (code-mixing), ce qui pose problème aux modèles entraînés principalement sur l'anglais.

2. Méthodologie

Les auteurs proposent CricBench, un benchmark complet conçu pour évaluer les capacités intrinsèques de raisonnement des LLMs sans aide externe massive (comme la RAG ou le few-shot prompting complexe).

A. Construction du Dataset

• Sources de données : Données "balle par balle" issues de Cricsheet, transformées en schémas SQLite normalisés.
• Formats couverts : Quatre formats de cricket distincts : Test, ODI (One Day International), T20I (Twenty20 International) et l'IPL (Indian Premier League). L'IPL possède un schéma spécifique basé sur les franchises.
• Volume : 2 654 instances d'évaluation dérivées de 633 requêtes de base.
• Multilinguisme : Chaque requête est traduite en quatre langues : Anglais, Hindi, Pendjabi et Télougou. Les traductions préservent les termes techniques en anglais (code-mixing) pour refléter l'usage réel.
• Curration : Contrairement aux données synthétiques, le "Gold Standard" (requêtes SQL et réponses) a été rédigé et vérifié manuellement par des experts en cricket et en SQL, puis validé contre des sources tierces (ESPNcricinfo, Cricbuzz).

B. Protocole d'Évaluation

• Stratégie de Prompting : Utilisation exclusive du schéma de base de données (schema-only prompting). Les modèles ne reçoivent que la définition des tables et des instructions minimales (définition d'un lancer légal, liste d'exclusion pour les wickets). Aucun contexte de domaine explicite ni exemples de requêtes ne sont fournis.
• Modèles évalués : Sept modèles de pointe, incluant des modèles propriétaires (GPT-5 Mini, Claude Sonnet 4) et open-weight (DeepSeek R1/V3, Qwen 235B, Llama 3.1, Gemma 2).
• Métriques :
  • EX (Execution Accuracy) : Pourcentage de requêtes s'exécutant sans erreur de syntaxe.
  • DMA (Data Match Accuracy) : Pourcentage de requêtes dont le résultat correspond exactement à la réponse Gold Standard (mesure de la correction sémantique).

3. Contributions Clés

1. CricBench Dataset : Le premier benchmark Text-to-SQL expert pour l'analyse du cricket, couvrant quatre formats et quatre langues avec des niveaux de difficulté étiquetés.
2. Support Multilingue Vérifié : Introduction de jeux de test validés en hindi, pendjabi et télougou, incluant des phénomènes de code-mixing authentiques.
3. Analyse Trans-Format : Démonstration que la performance des modèles varie drastiquement selon le format de cricket, indiquant que chaque format pose des défis de raisonnement qualitatifs différents.
4. Évaluation des Capacités Intrinsèques : En isolant les modèles du contexte de domaine, l'étude mesure leur capacité pure à raisonner, révélant des limites fondamentales même chez les modèles les plus avancés.
5. Quantification du "Domain Gap" : Comparaison directe avec le benchmark généraliste BIRD pour mesurer la perte de performance lors du passage à un domaine spécialisé.

4. Résultats Principaux

A. Performance Globale et Déconnexion Syntaxique/Sémantique

• Aucun modèle dominant : Aucun modèle ne surpasse les autres sur tous les formats.
  • GPT-5 Mini domine sur le Test (12,4 % DMA) et l'ODI (10,9 %).
  • Qwen 235B excelle sur l'IPL (28,7 %) et le T20I (17,5 %).
  • DeepSeek R1 obtient un score élevé sur le Test (33,0 % sur un sous-ensemble) mais chute sur le T20I.
• Le fossé Exécution vs Réponse : Il existe un écart massif entre la validité syntaxique et la correction sémantique. Les modèles atteignent souvent >98 % d'EX (la requête s'exécute) mais <29 % de DMA (le résultat est faux). Cela indique une "illusion de compétence" où le modèle génère des requêtes valides mais incorrectes logiquement.
• Échec total sur l'ODI difficile : Tous les modèles obtiennent 0 % de DMA sur les requêtes ODI difficiles (N=20), suggérant un manque critique de connaissances de domaine combinées.

B. Analyse par Difficulté et Format

• Complexité : Les performances sont incohérentes selon la difficulté. Par exemple, DeepSeek R1 obtient 50 % sur les requêtes moyennes du Test mais seulement 25 % sur les faciles et difficiles.
• Spécificité de l'IPL : L'IPL agit comme un différenciateur, où certains modèles (Qwen, Claude) performent mieux que sur les formats internationaux, probablement en raison de la structure de schéma différente (franchises).
• Modèles petits : Les modèles de petite taille (Llama 3.1 8B, Gemma 2 9B) s'effondrent sur les formats complexes (T20I, IPL), avec des DMA proches de zéro.

C. Analyse Multilingue

• Les performances sont uniformément faibles dans toutes les langues (DMA < 15 % pour la plupart des modèles).
• Le code-mixing (mélange de termes techniques anglais dans des phrases indiennes) ne dégrade pas significativement la performance par rapport à l'anglais pur, indiquant que la limitation principale est le raisonnement de domaine et non la compréhension linguistique.

D. Le "Domain Gap" (Écart de Domaine)

La comparaison avec le benchmark BIRD (généraliste) révèle une chute drastique de performance :

• Tous les modèles perdent entre 37 et 55 points de pourcentage de précision en passant de BIRD à CricBench.
• Paradoxalement, les modèles les plus performants sur BIRD (comme GPT-5 Mini) subissent les plus grandes chutes absolues (-54,9 %).
• Aucun modèle ne conserve plus de 26 % de sa capacité générale sur le cricket, prouvant que les compétences de Text-to-SQL généralistes ne se transfèrent pas aux domaines spécialisés.

5. Analyse des Erreurs

Les erreurs principales identifiées sont :

1. Hallucination de Schéma : Les modèles inventent des colonnes qui n'existent pas (ex: total_runs), s'appuyant sur leurs connaissances paramétriques plutôt que sur le schéma fourni.
2. Erreurs de Métriques Dérivées : Calcul incorrect de métriques comme le taux d'économie (Economy Rate), souvent en omettant le filtrage des lancers légaux (wides/noballs).
3. Échec de Résolution d'Entités : Incapacité à joindre correctement les tables pour associer les joueurs à leurs équipes spécifiques à un moment donné.
4. Erreurs de Logique Temporelle : Mauvaise utilisation des fonctions de fenêtre ou du tri par date pour des requêtes comme "derniers 5 matchs".

6. Signification et Conclusion

CricBench établit un nouveau standard pour l'évaluation des LLMs dans les domaines spécialisés. Il démontre que :

• L'augmentation de la taille du modèle ou le fine-tuning instructionnel ne suffisent pas à résoudre les problèmes de raisonnement de domaine complexe.
• Il existe un fossé fondamental entre la capacité à générer du SQL syntaxiquement correct et la capacité à comprendre la logique métier spécifique.
• Pour des applications réelles en analyse sportive, des approches futures doivent intégrer des mécanismes de récupération de règles de domaine (RAG avec injection de règles), un fine-tuning spécifique au domaine et des architectures de raisonnement améliorées.

En résumé, CricBench révèle que les LLMs actuels, bien que puissants, ne sont pas encore prêts pour une utilisation autonome dans l'analyse sportive de haut niveau sans interventions humaines ou architectures spécialisées.