CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics

O artigo apresenta o CricBench, o primeiro benchmark multilíngue para avaliar a capacidade de modelos de linguagem em gerar consultas SQL para análise de dados de críquete, revelando uma significativa lacuna entre a validade sintática e a correção semântica das respostas atuais.

O essencial

Imagine que você tem um garçom superinteligente (um modelo de Inteligência Artificial) que trabalha em um restaurante de luxo. Esse garçom é famoso por entender pedidos complexos em qualquer idioma e por saber exatamente qual prato pedir na cozinha para atender o cliente. Ele é tão bom que, se você pedir "um prato com carne, batata e molho vermelho", ele escreve a ordem na cozinha perfeitamente, sem erros de ortografia ou gramática.

Agora, imagine que esse restaurante não é qualquer lugar, mas sim o CricBench: um estádio gigante de críquete, o esporte mais popular do mundo depois do futebol, com bilhões de fãs.

O que os autores deste artigo fizeram foi colocar esse garçom superinteligente à prova, mas com uma regra estrita: eles deram a ele apenas o menu (a estrutura do banco de dados) e um pedido em linguagem natural, sem dar nenhuma dica extra sobre as regras do críquete.

Aqui está o resumo da história, explicado de forma simples:

1. O Desafio: O Garçom vs. O Críquete

O críquete é um esporte cheio de detalhes estranhos. Não é só "quem marcou mais pontos". É preciso saber:

• "Quem teve a melhor média de corridas nos últimos 5 jogos apenas quando choveu?"
• "Compare o desempenho do Jogador A nos anos 90 com o Jogador B nos anos 2000, considerando que as regras mudaram?"

Os pesquisadores criaram um teste de prova chamado CricBench. Eles pegaram 2.654 perguntas reais de fãs de críquete, traduziram para quatro idiomas (Inglês, Hindi, Punjabi e Telugu) e pediram para 7 dos "garçons" mais inteligentes do mundo (como GPT-5, Claude, DeepSeek, Llama, etc.) escreverem a ordem na cozinha (o código SQL) para responder a essas perguntas.

2. A Grande Surpresa: O "Efeito Ilusão"

O resultado foi chocante e um pouco engraçado:

• O Garçom escreve a ordem perfeitamente (99% de sucesso): Quando o garçom recebe o pedido, ele escreve a ordem na cozinha sem nenhum erro de digitação. A cozinha aceita o pedido e começa a cozinhar. Isso é chamado de "Precisão de Execução".
• Mas o prato chega errado (menos de 30% de sucesso): Quando o prato sai da cozinha, muitas vezes está errado. O garçom pediu "carne" quando o cliente queria "frango". Ele entendeu a gramática, mas não entendeu a lógica do jogo. Isso é chamado de "Precisão de Dados".

Analogia: É como se você pedisse "uma pizza com borda recheada de chocolate" e o garçom escrevesse o pedido perfeitamente, mas a cozinha, por não entender que "chocolate" não combina com "pizza salgada", trouxesse uma pizza de chocolate. O pedido foi escrito certo, mas o resultado foi um desastre.

3. Ninguém é o "Campeão Universal"

Um dos achados mais interessantes é que não existe um garçom que seja bom em tudo.

• O GPT-5 Mini foi o melhor em jogos de críquete "Teste" (aqueles que duram 5 dias, muito lentos e complexos).
• O Qwen 235B foi o melhor no IPL (a liga indiana, que é rápida e caótica).
• O DeepSeek R1 foi muito bom em perguntas médias, mas falhou feio nas difíceis.

É como se você tivesse um jogador de xadrez que é um gênio em finais de jogo, mas perde feio no início da partida. Cada formato de críquete exige um tipo de raciocínio diferente, e os modelos atuais não conseguem se adaptar a todos.

4. O Abismo do Conhecimento (O "Domain Gap")

Os pesquisadores compararam esses garçons em dois ambientes:

1. Restaurante Comum (BIRD): Pedidos de negócios comuns, como "quais vendas foram feitas em janeiro?". Aqui, os garçons acertam 60% a 65% das vezes.
2. Estádio de Críquete (CricBench): Pedidos específicos do esporte. Aqui, a pontuação cai drasticamente para menos de 17%.

A lição: Ser um gênio em perguntas gerais não significa ser um especialista em críquete. A inteligência artificial ainda não "entendeu" a alma do esporte. Ela sabe a gramática, mas não sabe a lógica.

5. Idiomas e Misturas

O teste foi feito em quatro idiomas. O interessante é que, quando os fãs misturam palavras (falam em Hindi, mas usam termos técnicos em inglês como "Strike Rate"), os garçons não se confundem. O problema não é o idioma, é a falta de conhecimento específico. Mesmo falando a língua perfeita, eles não sabem as regras do jogo.

Conclusão: O que aprendemos?

O CricBench é como um "exame de medicina" para a Inteligência Artificial. Até agora, os modelos de IA eram como estudantes que decoravam o livro todo, mas quando chegava na hora de operar um paciente real (fazer uma análise complexa de críquete), eles travavam.

• O que eles fazem bem: Escrever a ordem (código) sem erros.
• O que eles falham: Entender o que o cliente realmente quer (a lógica do esporte).

Para que a IA seja útil de verdade para analisar críquete no futuro, ela precisará de mais do que apenas "ser grande" ou "saber falar bem". Ela precisará de um treinamento específico (como um garçom que estuda as regras do críquete) e de acesso a regras claras, não apenas a um menu vazio.

Em resumo: A IA hoje é um excelente escriba, mas ainda é um péssimo analista de esportes.

Resumo técnico

Resumo Técnico: CricBench

1. Problema e Motivação

O críquete é o segundo esporte mais popular do mundo, com uma base de fãs bilionária que frequentemente busca insights estatísticos complexos (tendências históricas de longo prazo, comparações detalhadas de jogadores) que não são facilmente acessíveis via buscas web padrão. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado significativamente em tarefas de Text-to-SQL (tradução de linguagem natural para SQL), sua capacidade de lidar com nuances específicas de domínio, variações complexas de esquemas de banco de dados e requisitos multilíngues na análise esportiva permanece subexplorada.

Os benchmarks existentes (como WikiSQL, Spider e BIRD) são predominantemente focados em inglês e em domínios de negócios gerais. Eles falham em capturar desafios específicos do críquete, como:

• Raciocínio de Domínio: Necessidade de operações matemáticas precisas, consciência temporal e métricas derivadas complexas (ex: taxa de economia, strike rate).
• Resolução de Entidades: Dificuldade em mapear jogadores para equipes nacionais ou franquias em diferentes eras e contextos temporais.
• Diversidade Linguística: A falta de recursos para idiomas indianos (Hindi, Punjabi, Telugu) e o fenômeno de code-mixing (mistura de inglês e idiomas locais), crucial para a adoção real em regiões como a Índia.

2. Metodologia

O CricBench é apresentado como o primeiro benchmark Text-to-SQL especificamente projetado para análise de críquete.

• Construção do Dataset:

  • Dados: Baseado em registros bola a bola do Cricsheet, transformados em esquemas SQLite normalizados.
  • Formatos: Cobre quatro formatos distintos: Teste (Test), One Day International (ODI), Twenty20 International (T20I) e Indian Premier League (IPL). Cada formato possui características de esquema únicas (ex: IPL usa franquias, enquanto os internacionais usam nações).
  • Escala: 633 consultas base únicas, traduzidas para 4 idiomas (Inglês, Hindi, Punjabi e Telugu), totalizando 2.654 instâncias de avaliação.
  • Curadoria: As consultas e as respostas SQL (Gold Standard) foram escritas e verificadas manualmente por especialistas em críquete e SQL, garantindo correção lógica e factual contra registros de terceiros (ESPNcricinfo, Cricbuzz).
  • Dificuldade: As consultas são classificadas em Fácil, Médio e Difícil, cobrindo complexidades como junções multi-tabelas, filtros temporais, funções de janela e métricas derivadas.

• Protocolo de Avaliação:

  • Prompting Apenas de Esquema (Schema-only): Os modelos recebem apenas a definição do esquema do banco de dados e instruções mínimas, sem contexto de domínio externo ou exemplos few-shot. Isso isola a capacidade intrínseca de raciocínio do modelo.
  • Modelos Avaliados: Sete modelos de ponta, incluindo GPT-5 Mini, Claude Sonnet 4, DeepSeek R1 e V3, Qwen 235B, Llama 3.1 e Gemma 2.
  • Métricas:
    • Precisão de Execução (EX): Porcentagem de consultas SQL que executam sem erros de sintaxe.
    • Precisão de Correspondência de Dados (DMA): Porcentagem de consultas que retornam exatamente o mesmo resultado que o Gold Standard (a métrica principal de correção semântica).

3. Principais Contribuições

1. CricBench Dataset: O primeiro benchmark Text-to-SQL curado por especialistas para análise de críquete, com 2.654 instâncias multilíngues.
2. Suporte Multilíngue: Introdução de conjuntos de teste verificados em Hindi, Punjabi e Telugu, abordando a lacuna de recursos em idiomas indicos e o desafio do code-mixing.
3. Análise Cross-Formato: Demonstração de que o desempenho dos modelos varia drasticamente entre os formatos de críquete, indicando que cada formato apresenta desafios de raciocínio qualitativamente diferentes.
4. Avaliação de Capacidade Intrínseca: Ao evitar injeção de contexto de domínio, o estudo revela as limitações reais dos LLMs, mostrando que mesmo os modelos de ponta têm baixa precisão semântica em consultas especializadas.
5. Quantificação da Lacuna de Domínio: Comparação direta com o benchmark BIRD, demonstrando uma queda massiva de desempenho ao migrar de consultas gerais para específicas de críquete.

4. Resultados Chave

• Nenhum Modelo Dominante: Não há um único modelo que supere os outros em todos os formatos.
  • GPT-5 Mini lidera em Teste (12,4% DMA) e ODI (10,9%).
  • Qwen 235B lidera em T20I (17,5%) e IPL (28,7%).
  • DeepSeek R1 teve desempenho notável em Teste (33,0% em subconjunto), mas falhou em outros formatos.
• Disparidade Execução vs. Semântica: Existe um "ilusão de competência". A maioria dos modelos atinge >98% de precisão de execução (sintaxe correta), mas menos de 29% de precisão de correspondência de dados (resposta correta).
  • Exemplo: Modelos geram SQL válido que referencia tabelas corretas, mas falham na lógica de domínio (ex: cálculo incorreto de taxas de economia ou filtros temporais).
• Desempenho Zero em ODI Difícil: Todos os modelos avaliados obtiveram 0% de DMA em consultas ODI difíceis, sugerindo que o conhecimento de domínio necessário para esses casos específicos está além das capacidades atuais.
• Impacto do Tamanho do Modelo: Modelos menores (Llama 3.1 8B, Gemma 2 9B) degradaram severamente em formatos complexos como T20I e IPL, atingindo DMA próxima de zero.
• Análise Multilíngue: O desempenho foi uniformemente baixo em todos os quatro idiomas. A mistura de código (code-mixing) não degradou significativamente o desempenho em relação ao inglês puro, indicando que a barreira principal é o raciocínio de domínio, não a compreensão linguística.

5. Lacuna de Domínio (Domain Gap)

A comparação com o benchmark geral BIRD revelou uma degradação universal e massiva:

• Os modelos perderam entre 37 e 55 pontos percentuais de precisão ao passar de consultas gerais (BIRD) para consultas de críquete (CricBench).
• Modelos que performam bem no BIRD (como GPT-5 Mini com 63,8%) caíram para 8,9% no CricBench.
• Isso prova que a proficiência em Text-to-SQL geral (ligação de esquemas, agregações padrão) não se transfere proporcionalmente para domínios especializados que exigem raciocínio lógico complexo e conhecimento factual específico.

6. Significado e Conclusão

O CricBench estabelece uma linha de base desafiadora que demonstra que os LLMs atuais não são prontos para uso em análise esportiva especializada apenas através de scaling ou prompting simples.

• Falhas Comuns: Alucinação de colunas inexistentes, erros no cálculo de métricas derivadas (ex: esquecer de filtrar bolas ilegais para calcular economia), falhas na resolução de entidades (jogadores/equipes) e erros de lógica temporal.
• Direções Futuras: O estudo sugere que para fechar essa lacuna, serão necessárias abordagens como fine-tuning específico de domínio, Geração Aumentada por Recuperação (RAG) estruturada com injeção de regras de domínio e arquiteturas aprimoradas para raciocínio.

Em suma, o CricBench expõe uma limitação fundamental nos modelos atuais: eles são excelentes em sintaxe, mas deficientes em semântica de domínio complexo, exigindo novas abordagens para aplicações de IA em esportes e outros nichos especializados.