Moneyball with LLMs: Analyzing Tabular Summarization in Sports Narratives

Título: Moneyball com LLMs: Análise de Sumarização Tabular em Narrativas Esportivas

1. O Problema

A sumarização de tabelas (Text-to-Table) é uma tarefa crucial para extrair informações estruturadas de textos densos, como relatórios financeiros ou, neste caso, narrativas esportivas. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado na geração estruturada, eles enfrentam desafios significativos em cenários de longo contexto e múltiplas entidades.

O problema central identificado é a dificuldade dos modelos em manter um estado interno consistente ao longo de narrativas evolutivas. Em esportes como críquete e basquete, o modelo deve rastrear múltiplos jogadores (entidades), atualizar estatísticas dinamicamente (ex: corridas, faltas, pontos) e aplicar regras complexas de domínio. Abordagens atuais dependem excessivamente de engenharia de prompts extensa ou decomposição de tarefas, mas há pouca compreensão sobre como os modelos mantêm essa memória de longo prazo e onde falham (alucinação, omissão, confusão de papéis).

2. Metodologia e o Benchmark SPORTABSET

Para diagnosticar essas limitações, os autores introduzem o SPORTABSET, um benchmark de diagnóstico focado em geração de tabelas a partir de texto em contextos longos e multi-entidade.

• Domínios: O benchmark cobre dois esportes complementares:

  • Críquete: Requer a manutenção de duas tabelas interdependentes (batedores e arremessadores) com regras específicas de papel e agregação estatística ao longo de innings (cerca de 300 bolas). O contexto é longo e as atualizações são sequenciais.
  • Basquete: Envolve a construção de uma tabela ampla com muitas entidades (jogadores) atualizadas frequentemente em uma única narrativa fluida, exigindo rastreamento denso e sobreposto.

• Dados:

  • Críquete: >6.500 comentários bola-a-bola (ODI) do Cricinfo, com tabelas "ground truth" geradas programaticamente.
  • Basquete: 2.500 jogos da temporada de 2025 do ESPN, alinhados com as estatísticas oficiais da caixa de pontuação.

• Estratégias de Avaliação:
  Os autores compararam várias estratégias de modelagem em LLMs de ponta (GPT-4.1, Gemini-2.5-Flash, Llama-3.3, Qwen-2.5):

  1. Zero-Shot Chain-of-Thought (CoT): Prompting padrão passo a passo.
  2. Divide & Generate: Divisão do texto em chunks (2, 4, 8 partes) com geração paralela e fusão determinística.
  3. Entity CoT: Extração de entidades primeiro, seguida de geração de estatísticas para cada jogador individualmente (em chamadas paralelas).
  4. Text-Tuple-Table (T3): Geração de tuplas atômicas (Entidade, Atributo, Valor) para cada evento, seguidas de agregação simbólica.

• Análise de Robustez: Foram aplicadas perturbações para testar se os modelos raciocinam ou apenas memorizam superfícies:

  • Substituição de Entidades (OOD): Nomes de jogadores trocados por nomes fictícios de outros esportes.
  • Anonimização: Nomes substituídos por placeholders (Player1, Player2).
  • Emaranhamento de Entidades: Alteração da estrutura sintática para ocultar quem é o arremessador e quem é o batedor (específico do críquete).

3. Principais Resultados

• Impacto da Decomposição: Todas as estratégias de decomposição superaram o baseline CoT monolítico.
  • O método Text-Tuple-Table obteve o melhor desempenho agregado (+20,6 pontos de precisão, redução de 62,8% no RMSE), mas com alto custo computacional e riscos de estabilidade.
  • O Entity CoT mostrou-se extremamente eficaz, especialmente no basquete, reduzindo significativamente o erro numérico. Isso sugere que o gargalo não é a aritmética local, mas a memória de múltiplas entidades. Ao isolar o raciocínio por entidade, o modelo evita interferências cruzadas.
• Fragilidade e Alucinação:
  • Os modelos são altamente sensíveis a pistas de superfície. Quando os resumos de eliminação (que servem como âncoras estruturais) foram removidos no críquete, a precisão caiu drasticamente.
  • Perturbações: A anonimização e a substituição de entidades causaram falhas estruturadas. Modelos como o Gemini tendem a alucinar (supercontagem) quando as pistas lexicais são removidas, enquanto o GPT-4.1 tende à omissão (subcontagem), adotando uma estratégia conservadora.
  • Emaranhamento: Quebrar a estrutura padrão "arremessador para batedor" no críquete causou confusão de papéis, onde jogadores eram atribuídos às tabelas erradas, demonstrando falha na ancoragem de entidades.
• Memorização vs. Raciocínio:
  • Uma análise temporal (dados pré-2025 vs. pós-2025) revelou que o GPT-4.1 sofreu uma queda de precisão em dados novos, sugerindo dependência de memorização de entidades treinadas. O Gemini-2.5-Flash, por outro lado, melhorou em dados novos, indicando melhor generalização e rastreamento de estado.

4. Contribuições Principais

1. SPORTABSET: Um novo benchmark robusto e multi-esporte com mais de 9.000 amostras, incluindo dados ground truth programáticos e um conjunto de perturbações para avaliar a robustez de LLMs em tarefas de longo contexto.
2. Análise de Estratégias de Decomposição: Uma comparação sistemática que demonstra que a decomposição melhora a precisão principalmente ao mitigar a interferência de múltiplas entidades, e não apenas por melhorar a aritmética local.
3. Diagnóstico de Falhas Estruturadas: Evidência empírica de que a manutenção de estados de múltiplas entidades é o principal gargalo. O artigo introduz o Índice de Alucinação-Omissão (HOI) para capturar direcionalidade de erros que métricas tradicionais (como precisão ou RMSE) ocultam.

5. Significado e Conclusão

O trabalho conclui que, embora a decomposição de tarefas (como Entity CoT ou Text-Tuple-Table) possa alcançar alta precisão em benchmarks, ela impõe custos computacionais proibitivos e não resolve o problema fundamental: a falta de mecanismos nativos nos LLMs para manter estados estruturados persistentes ao longo de contextos longos.

A dependência de pistas de superfície e a fragilidade sob perturbações semânticas indicam que os modelos atuais muitas vezes "raciocinam" através de padrões memorizados ou extração de resumos explícitos, em vez de um rastreamento de estado verdadeiramente robusto. O SPORTABSET serve como um catalisador para o desenvolvimento de modelos fundamentais que tratem a memória multi-entidade e a robustez como objetivos de primeira classe, essenciais para aplicações reais em finanças, saúde e análise esportiva onde a fidelidade aos dados é crítica.