CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics

El artículo presenta CricBench, el primer conjunto de referencia multilingüe diseñado para evaluar la capacidad de los modelos de lenguaje grandes para generar consultas SQL específicas del dominio del cricket en cuatro idiomas y formatos, revelando una brecha significativa entre la validez sintáctica y la corrección semántica de las respuestas.

Lo esencial

¡Hola! Imagina que tienes un bibliotecario superinteligente (una Inteligencia Artificial) al que le puedes preguntar cualquier cosa sobre el mundo. Si le preguntas "¿Quién ganó la última película de Marvel?", te responde al instante. Pero, ¿qué pasa si le pides que analice estadísticas muy específicas de un partido de cricket que se jugó hace 10 años en la India?

El artículo que vamos a explicar, llamado CricBench, es como una prueba de realidad para ver qué tan bueno es este bibliotecario cuando se trata de cricket.

Aquí tienes la explicación sencilla, con algunas analogías divertidas:

1. El Problema: El "Ciego" en la Tienda de Deportes

Los modelos de Inteligencia Artificial (como los que usas en tu teléfono) son muy buenos hablando y escribiendo. Pueden convertir una pregunta en lenguaje normal a una orden de base de datos (como si le dijeras al ordenador: "Busca esto").

Pero, los investigadores se dieron cuenta de algo curioso: Son como un chef experto que sabe cocinar cualquier plato, pero si le das una receta de un país que nunca ha visitado, se confunde.

En el cricket, hay detalles muy complejos:

• Diferentes formatos de juego (Test, ODI, T20, IPL).
• Estadísticas que requieren matemáticas específicas (como calcular la "Economy Rate").
• Jugadores que cambian de equipo o de país a lo largo de los años.

Los investigadores querían saber: ¿Puede la IA entender estos trucos del cricket sin que le tengamos que enseñar todo desde cero?

2. La Prueba: CricBench (El Examen de Cricket)

Para responder a esto, crearon CricBench. Imagina que es un examen de conducir, pero en lugar de conducir un coche, la IA tiene que "conducir" una base de datos de cricket.

• El Material: Crearon una base de datos gigante con millones de datos de partidos reales (como si tuvieras el registro de cada pelota lanzada en la historia).
• La Pregunta: Le dieron a la IA preguntas en 4 idiomas (Inglés, Hindi, Punjabi y Telugu). ¡Y ojo! Muchas preguntas mezclaban idiomas (como decir "¿Cuál es el Strike Rate de Virat Kohli?"), tal como lo hacen los fans reales en la India.
• La Regla de Oro: Le dieron a la IA solo el mapa del tesoro (la estructura de la base de datos), pero no le dieron las respuestas ni trucos. Tenía que usar su propia inteligencia para encontrar el camino.

3. Los Resultados: ¡Un Desastre Sorprendente!

Aquí viene la parte graciosa (y triste para los fans de la IA).

• La Ilusión de Competencia: Cuando la IA intentaba responder, escribía las órdenes (SQL) casi perfectas gramaticalmente. Era como si un estudiante escribiera una tesis con una ortografía perfecta, pero el contenido fuera inventado.
  • Analogía: Es como pedirle a alguien que te diga la ruta más rápida a casa. El mapa que dibuja es perfecto, las calles están bien nombradas, pero te lleva al océano en lugar de a tu casa.
• La Puntuación:
  • En preguntas fáciles, la IA acertaba un poco.
  • En preguntas difíciles (especialmente en el formato ODI), casi todos los modelos obtuvieron un 0%. ¡Nadie acertó!
  • El mejor modelo (GPT-5 Mini) acertó solo el 12% de las veces en pruebas de cricket.
  • En comparación, en pruebas generales de negocios, estos mismos modelos acertaban el 60-65%.

La conclusión: La IA es un genio en cosas generales, pero cuando entra en el terreno específico del cricket, se vuelve torpe. Pierde hasta un 55% de su inteligencia al cambiar de un tema general a uno de cricket.

4. ¿Por qué falla? (Los Errores Comunes)

Los investigadores analizaron por qué fallaban y encontraron tres "trampas":

1. Alucinaciones de Mapa: La IA inventaba columnas que no existían. Le decías "busca los goles", y la IA buscaba en una columna llamada "goles", pero en el cricket no hay goles, hay "runs". La IA usaba su conocimiento general en lugar de mirar el mapa que le dieron.
2. Matemáticas Mal Hechas: Para calcular estadísticas como la "Economy Rate", hay que hacer cálculos muy específicos (restar bolas ilegales, dividir, multiplicar). La IA olvidaba los pasos intermedios.
3. Confusión de Identidades: En el cricket, un jugador puede jugar para la India en 2010 y para un equipo de la IPL en 2020. La IA a menudo se confundía y mezclaba las estadísticas de los dos equipos como si fueran el mismo.

5. ¿Qué nos dice esto para el futuro?

Este estudio es como un termómetro que nos dice que la tecnología aún no está lista para ser un analista deportivo profesional por sí sola.

• No basta con ser "grande": Tener una IA más grande o más potente no soluciona el problema si no entiende la lógica específica del cricket.
• Se necesita un "entrenador": Para que la IA sea útil en el cricket, no basta con darle el mapa; hay que darle un manual de reglas específico (entrenamiento especializado) o conectarla con expertos humanos.

En Resumen

CricBench nos dice que, aunque las Inteligencias Artificiales son muy inteligentes, todavía no son fans expertos de cricket. Pueden escribir la pregunta perfecta, pero a menudo fallan al buscar la respuesta correcta en la base de datos.

Es como tener un traductor que habla 10 idiomas perfectamente, pero si le pides que traduzca un chiste interno de un equipo de fútbol local, se queda en blanco. ¡Aún falta mucho trabajo para que la IA sea el "analista de cricket" definitivo!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics", presentado en español:

1. Planteamiento del Problema

El cricket es el segundo deporte más popular del mundo, con una base de fans masiva que requiere análisis estadísticos avanzados (tendencias históricas, comparaciones complejas de jugadores). Sin embargo, existe una brecha significativa en la capacidad de los Modelos de Lenguaje Grande (LLM) para generar consultas SQL correctas en este dominio específico.

• Limitaciones actuales: Aunque los LLMs han avanzado en tareas Text-to-SQL generales (como en los benchmarks WikiSQL o Spider), su capacidad para manejar matices específicos del dominio, variaciones complejas de esquemas y requisitos multilingües en el análisis deportivo sigue siendo inexplorada.
• El desafío del dominio: El análisis de cricket requiere razonamiento granular (operaciones matemáticas precisas, conciencia temporal, métricas derivadas compuestas) y resolución de entidades dinámicas (afiliaciones de jugadores que cambian según la era o el formato). Además, los benchmarks existentes son predominantemente en inglés, ignorando la diversidad lingüística de los fans del cricket (especialmente en India, donde se usan dialectos mezclados).

2. Metodología

Los autores presentan CricBench, un conjunto de pruebas (benchmark) diseñado para evaluar las capacidades intrínsecas de razonamiento de los LLMs sin depender de prompts específicos del dominio o sistemas de recuperación externos.

• Construcción del Dataset:
  • Se utilizaron datos de Cricsheet transformados en esquemas SQLite normalizados.
  • Cubre cuatro formatos de cricket: Test, ODI, T20I (formatos internacionales) y IPL (liga doméstica de la India).
  • Escala: 633 consultas base únicas traducidas a 4 idiomas (Inglés, Hindi, Punjabi y Telugu), resultando en 2,654 instancias de evaluación.
  • Curación: Las consultas fueron escritas y verificadas manualmente por expertos en cricket y SQL, asegurando corrección lógica y factual. Se incluyeron patrones de code-mixing (mezcla de idiomas) auténticos.
• Protocolo de Evaluación:
  • Prompting solo de esquema (Schema-only): Los modelos recibieron únicamente la definición del esquema de la base de datos e instrucciones mínimas, sin ejemplos few-shot ni definiciones de métricas complejas. Esto aísla la capacidad de razonamiento intrínseco del modelo.
  • Modelos Evaluados: Se probaron siete modelos de vanguardia, incluyendo GPT-5 Mini, Claude Sonnet 4, DeepSeek R1 y V3, Qwen 235B, Llama 3.1 y Gemma 2.
• Métricas:
  • Precisión de Ejecución (EX): Porcentaje de consultas que se ejecutan sin errores de sintaxis.
  • Precisión de Coincidencia de Datos (DMA): Porcentaje de consultas cuyos resultados coinciden exactamente con la respuesta "Gold Standard". Esta es la métrica principal de corrección semántica.

3. Contribuciones Clave

1. CricBench Dataset: El primer benchmark Text-to-SQL curado por expertos específicamente para el análisis de cricket, con 2,654 instancias y niveles de dificultad etiquetados.
2. Soporte Multilingüe: Introducción de conjuntos de pruebas verificados en cuatro idiomas, abordando la falta de recursos en lenguas indias para benchmarks SQL especializados.
3. Análisis Cross-Formato: Demostración de que el rendimiento de los modelos varía drásticamente según el formato del cricket (Test, ODI, T20I, IPL), sugiriendo que cada formato presenta desafíos de razonamiento cualitativamente diferentes.
4. Evaluación de Capacidad Intrínseca: Al eliminar el contexto del dominio en el prompt, se reveló que incluso los modelos más avanzados tienen dificultades severas con el razonamiento específico del dominio.
5. Cuantificación de la Brecha de Dominio: Comparación directa con el benchmark generalista BIRD, demostrando una caída masiva en el rendimiento al pasar de consultas generales a específicas de cricket.

4. Resultados Principales

• Ningún modelo domina: No existe un modelo que supere a los demás en todos los formatos.
  • GPT-5 Mini lidera en Test (12.4% DMA) y ODI (10.9%).
  • Qwen 235B obtiene los mejores resultados en T20I (17.5%) e IPL (28.7%).
  • DeepSeek R1 destaca en un subconjunto de Test (33.0%).
• La "Ilusión de Competencia": Existe una desconexión alarmante entre la validez sintáctica y la corrección semántica. Los modelos alcanzan tasas de ejecución superiores al 98% (casi perfectas), pero la DMA (corrección de resultados) es inferior al 29% en los mejores casos. Esto indica que los modelos generan SQL sintácticamente correcto pero con lógica de negocio errónea.
• Fallo en Consultas Difíciles: Todos los modelos obtuvieron 0% de DMA en las consultas difíciles de formato ODI.
• Impacto del Tamaño del Modelo: Los modelos pequeños (Llama 3.1 8B, Gemma 2 9B) sufrieron degradaciones severas, especialmente en formatos complejos como T20I e IPL, cayendo a casi 0% de DMA.
• Análisis Multilingüe: El rendimiento fue uniformemente bajo en todos los idiomas. Las consultas con code-mixing no degradaron el rendimiento significativamente en comparación con el inglés puro, lo que sugiere que el problema principal es el razonamiento del dominio, no la comprensión del idioma.
• Brecha de Dominio (Domain Gap): Al comparar con el benchmark generalista BIRD, se observó una caída de precisión de 37 a 55 puntos porcentuales. Los modelos que mejor funcionan en tareas generales (como GPT-5 Mini) sufrieron las caídas absolutas más grandes, demostrando que la competencia en Text-to-SQL general no se transfiere proporcionalmente a dominios especializados.

5. Significado y Conclusión

El estudio concluye que los LLMs actuales carecen fundamentalmente del razonamiento de dominio necesario para el análisis deportivo especializado. La capacidad de generar SQL sintácticamente válido no garantiza la obtención de respuestas correctas en contextos complejos como el cricket.

• Implicaciones: El uso de modelos de lenguaje para análisis de datos deportivos en producción es actualmente inviable sin técnicas adicionales.
• Futuro: Se requiere investigación en fine-tuning específico del dominio, generación aumentada por recuperación (RAG) con inyección de reglas de dominio y arquitecturas mejoradas para el razonamiento.
• Disponibilidad: El dataset, el código y los esquemas de la base de datos se harán públicos para fomentar la investigación en Text-to-SQL específico de dominio.

En resumen, CricBench establece un nuevo estándar riguroso que expone las limitaciones actuales de la IA en tareas de razonamiento especializado, desafiando la noción de que el aumento de escala o el ajuste de instrucciones son suficientes para resolver problemas de nicho complejos.