CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics

Il paper presenta CricBench, il primo benchmark multilingue per valutare le capacità di generazione SQL degli LLM nell'analisi dei dati cricket, rivelando un significativo divario tra la validità sintattica e la correttezza semantica delle risposte dei modelli su quattro formati di gioco e in quattro lingue.

L'essenziale

Immagina di avere un genio della lampada (un'intelligenza artificiale avanzata) che è bravissimo a rispondere a domande generiche. Se gli chiedi "Chi è il presidente degli USA?" o "Qual è la capitale della Francia?", risponde subito e perfettamente.

Ma cosa succede se gli chiedi: "Fammi un elenco dei giocatori di cricket che hanno segnato più punti nelle ultime 5 partite contro l'India, escludendo quelli che hanno preso una squalifica, e calcolami la loro media di corsa per ogni palla legale?"

Ecco, il paper CricBench racconta proprio la storia di quanto questi "geni" si trovino in difficoltà quando devono diventare esperti di cricket.

1. Il Problema: Il Genio che non capisce le Regole del Gioco

Gli autori del paper hanno creato un nuovo "esame" chiamato CricBench. È come un test di guida, ma invece di guidare un'auto normale, l'IA deve guidare un'auto da corsa su un circuito di cricket molto specifico.

Il cricket è uno sport complicatissimo, con regole diverse per diverse partite (Test, ODI, T20I, IPL) e milioni di dati statistici. Gli esperti umani sanno fare questi calcoli, ma le Intelligenze Artificiali (LLM) attuali, anche quelle più potenti, sembrano avere un "buco" nella loro conoscenza.

2. L'Esperimento: Solo la Mappa, Niente Istruzioni

Per vedere quanto sono davvero intelligenti, gli autori hanno fatto un trucco: hanno dato all'IA solo la mappa del database (la lista delle tabelle e delle colonne, come se fosse un indice di un libro) e una domanda in linguaggio naturale.

• Niente trucchi: Non hanno dato all'IA esempi di risposte, né spiegazioni sulle regole del cricket.
• Obiettivo: Vedere se l'IA riesce a tradurre la domanda umana in un comando informatico (SQL) corretto per estrarre i dati giusti.

Hanno fatto questo test in 4 lingue: Inglese, Hindi, Punjabi e Telugu. Perché? Perché il cricket è amatissimo in India e in tutto il mondo, e le persone fanno domande nella loro lingua madre, spesso mescolando parole inglesi (come "Strike Rate") con la loro lingua.

3. I Risultati: L'Illusione di Competenza

I risultati sono stati sorprendenti e un po' imbarazzanti per le IA più famose (come GPT-5 Mini, Claude, DeepSeek, ecc.):

• L'IA è bravissima a "parlare" la lingua dei computer: Il 98-99% delle volte, l'IA scrive un comando che il computer accetta e non va in errore. Sembra tutto perfetto!
• L'IA è terribile a "capire" il cricket: Quando si controlla se la risposta è vera e corretta, il successo crolla. In media, solo 1 su 10 (o meno) delle risposte è giusta.
  • L'analogia: È come se un cuoco ti preparasse una torta che sembra perfetta esternamente (ha la forma giusta, è colorata), ma quando la assaggi, è fatta di sabbia e non di farina. Ha seguito la ricetta visiva, ma non ha capito gli ingredienti veri.

4. Le Sorprese del Test

• Nessun vincitore assoluto: Non esiste un'IA che vince in tutte le categorie. Alcune sono brave con il cricket "vecchio stile" (Test), altre con quello moderno (IPL), ma nessuna è un campione universale.
• Il "Muro" delle domande difficili: Per le domande più complesse sul cricket ODI, tutte le IA hanno ottenuto lo 0%. Zero. Come se non avessero mai sentito parlare di cricket.
• La lingua non è il problema: Le IA hanno fatto quasi lo stesso errore sia in Inglese che in Hindi o Punjabi. Il problema non è la lingua, ma la logica del cricket. Anche se capisci la domanda, non sai come calcolare la risposta.

5. Il Confronto con il Mondo Reale

Gli autori hanno confrontato i risultati di CricBench con un altro test famoso (BIRD) che usa domande generiche (tipo "trova i clienti che hanno comprato più di 100 euro").

• Nelle domande generiche, le IA prendono il 60% di voti.
• Nelle domande di cricket, crollano al 10-15%.
• La morale: Essere bravi a fare ricerche generali non significa essere bravi a fare analisi sportive specializzate. È come dire che un ottimo pilota di F1 non è necessariamente bravo a pilotare un trattore, anche se entrambi hanno quattro ruote.

Conclusione: Cosa ci insegna?

Il paper ci dice che le Intelligenze Artificiali di oggi sono come studenti molto veloci che memorizzano tutto, ma non hanno ancora sviluppato il buon senso o la logica profonda necessaria per i settori specializzati.

Per farle diventare vere esperte di cricket (o di medicina, o di finanza), non basta farle studiare di più o renderle più grandi. Serve insegnar loro le regole specifiche del gioco e come applicarle, altrimenti continueranno a scrivere comandi perfetti che portano a risposte sbagliate.

In sintesi: CricBench è il "termometro" che ci dice che, anche se le IA sembrano geniali, quando si tratta di sport complessi come il cricket, sono ancora un po' dei principianti che hanno bisogno di un allenatore umano per non sbagliare il punteggio.

Sommario tecnico

1. Il Problema

Il cricket è lo sport più seguito al mondo dopo il calcio, con una base di fan di miliardi di persone. Tuttavia, l'analisi sportiva di questo dominio presenta sfide uniche per i Modelli Linguistici su Larga Scala (LLM):

• Complessità del Dominio: Le richieste degli utenti richiedono un ragionamento granulare che va oltre il semplice collegamento di schema (schema linking). È necessario comprendere metriche derivate complesse (es. Strike Rate, Economy Rate), logica temporale (tendenze storiche, debutti), risoluzione di entità dinamiche (giocatori che cambiano squadra o nazionalità nel tempo) e filtri specifici per le diverse fasi di gioco.
• Divario di Dominio: Sebbene gli LLM eccellano in compiti Text-to-SQL generici (come nei benchmark WikiSQL o Spider), la loro capacità di gestire le sfumature di domini specializzati come lo sport è scarsamente esplorata.
• Limitazioni Multilingua: I benchmark esistenti sono prevalentemente in inglese. Nel contesto del cricket, specialmente in India, gli utenti interagiscono spesso in lingue indiane (Hindi, Punjabi, Telugu) o in dialetti misti (code-mixing), dove i termini tecnici rimangono in inglese all'interno di frasi locali.
• Mancanza di Benchmark Specifici: Non esisteva un benchmark Text-to-SQL dedicato specificamente all'analisi del cricket, né dataset curati da esperti con verità fondamentale (Gold Standard) verificata.

2. Metodologia

Gli autori hanno sviluppato CricBench, una suite di benchmark completa progettata per valutare le capacità intrinseche di ragionamento degli LLM senza l'ausilio di prompt specifici del dominio o sistemi di recupero (RAG).

• Costruzione del Dataset:

  • Fonti: I dati provengono da Cricsheet, trasformati in database relazionali SQLite normalizzati.
  • Formati Coperti: Il dataset copre quattro formati di cricket con schemi distinti: Test, ODI, T20I (formati internazionali) e IPL (lega franchise indiana).
  • Dimensione: Il dataset contiene 2.654 istanze di valutazione, basate su 633 query base uniche.
  • Multilingua: Ogni query è tradotta in quattro lingue: Inglese, Hindi, Punjabi e Telugu. Le traduzioni preservano il code-mixing (es. mantenendo termini come "Strike Rate" in inglese all'interno di frasi in hindi).
  • Curatela: Le query e le risposte SQL sono state scritte e verificate manualmente da esperti di cricket e SQL, garantendo correttezza logica e fattuale (verificata contro ESPNcricinfo e Cricbuzz).
  • Difficoltà: Le query sono classificate in Facile, Medio e Difficile, coprendo complessità come join multi-tabella, funzioni finestra, metriche derivate e filtraggio temporale.

• Protocollo di Valutazione:

  • Prompting "Schema-Only": Gli modelli ricevono solo lo schema del database e istruzioni minime (definizioni di base come "consegna legale"), senza esempi few-shot o definizioni di metriche. Questo isola la capacità intrinseca di ragionamento del modello.
  • Modelli Valutati: Sono stati testati 7 modelli all'avanguardia, inclusi GPT-5 Mini, Claude Sonnet 4, DeepSeek R1 e V3, Qwen 235B, Llama 3.1 e Gemma 2.
  • Metriche:
    1. Execution Accuracy (EX): Percentuale di query SQL eseguibili senza errori di sintassi.
    2. Data Match Accuracy (DMA): Percentuale di query i cui risultati corrispondono esattamente all'output del Gold Standard (misura la correttezza semantica).

3. Risultati Chiave

I risultati rivelano un divario significativo tra la capacità sintattica e quella semantica dei modelli attuali:

• Nessun Modello Dominante: Le prestazioni variano drasticamente in base al formato del cricket. Nessun modello eccelle in tutti e quattro i formati contemporaneamente.
  • GPT-5 Mini guida nei formati Test (12.4% DMA) e ODI (10.9%).
  • Qwen 235B ottiene i migliori risultati su T20I (17.5%) e IPL (28.7%).
  • DeepSeek R1 ottiene il 33.0% su un sottoinsieme di Test, ma scende drasticamente su altri formati.
• Il "Divario di Esecuzione" (Execution-Accuracy Disconnect): Esiste un enorme scarto tra l'esecuzione corretta e la correttezza dei dati. Modelli come GPT-5 Mini e DeepSeek V3 raggiungono tassi di esecuzione superiori al 99%, ma ottengono una DMA inferiore al 13%. Questo indica che i modelli generano query sintatticamente valide che però falliscono nel ragionamento logico del dominio.
• Fallimento Totale su Query Difficili: Tutti i modelli hanno ottenuto 0% di DMA sulle query ODI difficili (sebbene il campione fosse piccolo, N=20), suggerendo che la combinazione di conoscenze richieste supera le capacità attuali.
• Divario di Dominio (Domain Gap): Confrontando le prestazioni su CricBench con quelle sul benchmark generale BIRD, si osserva un crollo delle prestazioni compreso tra 37 e 55 punti percentuali. I modelli che performano meglio su compiti generici (es. GPT-5 Mini) subiscono le cadute assolute più grandi, dimostrando che le competenze generali Text-to-SQL non si trasferiscono proporzionalmente a domini specializzati.
• Analisi Multilingua: Le prestazioni sono uniformemente basse in tutte le lingue (DMA < 15%). Il code-mixing non degrada ulteriormente le prestazioni rispetto all'inglese puro, confermando che il limite principale è il ragionamento di dominio, non la comprensione linguistica.
• Errori Comuni: L'analisi qualitativa ha identificato:
  • Allucinazioni di Schema: I modelli inventano colonne che non esistono.
  • Errori su Metriche Derivate: Calcoli errati di metriche come l'Economy Rate (es. mancato filtro delle palle illegali).
  • Fallimenti nella Risoluzione di Entità: Difficoltà nel collegare correttamente i giocatori alle squadre in epoche diverse.

4. Contributi Principali

1. CricBench Dataset: Il primo benchmark Text-to-SQL curato da esperti per l'analisi del cricket, con 2.654 istanze verificate su quattro formati e quattro lingue.
2. Supporto Multilingua e Code-Mixing: Introduzione di set di test verificati in lingue indiane che riflettono l'uso reale degli utenti, colmando un vuoto nella ricerca SQL per le lingue Indic.
3. Valutazione delle Capacità Intrinseche: Dimostrazione che, senza contesto di dominio aggiuntivo, gli LLM all'avanguardia falliscono nel ragionamento specialistico (DMA < 29% anche per i migliori).
4. Quantificazione del Divario di Dominio: Evidenziazione del fatto che la transizione da query generiche a quelle specializzate comporta una perdita di accuratezza massiccia (37-55%), indicando che lo scaling e il fine-tuning generico non sono sufficienti.

5. Significato e Implicazioni

CricBench stabilisce un nuovo baseline sfidante che dimostra come l'attuale generazione di LLM non sia pronta per l'uso pratico nell'analisi sportiva specializzata tramite Text-to-SQL puro.

• Implicazioni per la Ricerca: Il lavoro suggerisce che per colmare questo divario saranno necessarie strategie specifiche, come il fine-tuning di dominio, l'uso di Retrieval-Augmented Generation (RAG) con regole di dominio strutturate, o architetture che migliorino il ragionamento logico.
• Rilevanza Pratica: Il benchmark evidenzia i rischi di affidarsi a modelli generici per applicazioni critiche in settori verticali complessi, dove la correttezza semantica è più importante della sintassi corretta.
• Disponibilità: Gli autori hanno promesso di rendere pubblici il database, il dataset Gold Standard e l'harness di valutazione per favorire la ricerca futura.

In sintesi, il paper dimostra che, nonostante i progressi negli LLM, esiste ancora una barriera significativa nel far ragionare questi modelli su domini altamente specializzati e multilingue come il cricket, richiedendo un approccio che vada oltre la semplice scalabilità dei modelli.