SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks

O artigo apresenta o SpreadsheetArena, uma plataforma de avaliação que utiliza comparações cegas para analisar a capacidade de modelos de linguagem em gerar planilhas complexas, revelando que, embora existam critérios variados de preferência, os modelos atuais ainda não conseguem garantir consistentemente as melhores práticas específicas de domínio, como no setor financeiro.

O essencial

Imagine que você pediu para um assistente de IA criar uma planilha de Excel complexa para você. Talvez seja um orçamento familiar, um modelo financeiro para uma empresa ou até um jogo de damas feito dentro do Excel.

O problema é: como sabemos se o assistente fez um bom trabalho?

É aqui que entra o SPREADSHEETARENA, um estudo fascinante descrito neste artigo. Vamos explicar como funciona usando analogias do dia a dia.

1. O Grande Torneio de "Duas Opções" (A Arena)

Imagine que você está em um restaurante e pede um prato. O garçom traz duas versões do mesmo prato feitas por chefs diferentes (os modelos de IA). Você não sabe quem é quem, apenas prova e diz: "Eu prefiro este aqui" ou "Os dois estão ruins".

• O que eles fizeram: Os pesquisadores criaram uma plataforma onde usuários pedem planilhas para IAs. A cada pedido, a IA gera duas planilhas diferentes. O usuário vota na melhor delas.
• O resultado: Eles coletaram mais de 4.000 desses "votos" cegos entre 16 modelos de IA famosos (como GPT-5, Claude, Gemini, etc.).
• A classificação: Assim como no xadrez, eles deram uma pontuação (chamada de "Elo") para cada IA. Quem ganha mais votos sobe no ranking.

2. A Ilusão da "Planilha Bonita"

Aqui está a parte mais interessante e surpreendente do estudo.

Imagine que você está escolhendo entre dois relatórios.

• Relatório A: Tem gráficos coloridos, fontes bonitas, células preenchidas e parece muito profissional. Mas, se você olhar os números de perto, a matemática está errada.
• Relatório B: É meio "feio", sem cores, mas os números estão perfeitos e a lógica é sólida.

O que os usuários votaram?
A maioria das pessoas votou no Relatório A. Elas foram enganadas pela aparência! O estudo descobriu que as IAs que fazem planilhas "bonitas" (com muitas cores, textos explicativos e formatação rica) ganham mais votos, mesmo que a parte técnica (a matemática) esteja falha.

É como se um apresentador de TV com um terno caro e um sorriso bonito ganhasse mais votos do que um cientista sério com um terno velho, mesmo que o cientista tenha a resposta correta.

3. O "Detetive de Números" (Ajustando a Pontuação)

Os pesquisadores perceberam que o ranking estava enviesado. Eles decidiram fazer uma "limpeza" nos dados.

Eles criaram um algoritmo que olha para a planilha e diz: "Espere, essa IA ganhou porque tem muita cor, não porque é boa em matemática. Vamos tirar os pontos da beleza e ver quem realmente sabe fazer contas."

O que aconteceu?

• As IAs que eram "bonitinhas" mas "fracas" em lógica caíram no ranking.
• IAs que faziam planilhas mais simples, mas com matemática correta, subiram no ranking.
• A lição: O que os usuários acham que é bom (estilo) é diferente do que é realmente bom (funcionalidade).

4. O Teste dos Especialistas (Os "Financiadores de Verdade")

Para ter certeza, eles pegaram as melhores planilhas geradas por IA e mostraram para especialistas em finanças reais (pessoas que trabalham em bancos e investidores).

O veredito dos experts foi duro:

• Mesmo as IAs "vencedoras" do torneio estavam longe de serem profissionais.
• Elas erravam regras básicas de contabilidade (como não separar "inputs" de "fórmulas").
• Elas não seguiam o código de cores padrão do mercado (azul para o que você digita, preto para o que é calculado).
• Conclusão: Se você usar essas planilhas para investir seu dinheiro, provavelmente vai perder. Elas precisam de muita revisão humana antes de serem usadas.

5. O Que Aprendemos com Tudo Isso?

Pense nas IAs atuais como estagiários muito criativos, mas inexperientes:

1. Elas são ótimas em "maquiar" o trabalho: Elas sabem fazer a planilha parecer incrível visualmente.
2. Elas são ruins em "fazer a conta fechar": A lógica interna e as melhores práticas profissionais ainda estão falhas.
3. O contexto importa: O que é bom para um estudante (uma planilha simples e direta) é terrível para um banqueiro (que precisa de regras estritas de segurança e auditoria).

Resumo da Ópera:
O SPREADSHEETARENA nos mostrou que, embora as IAs estejam ficando muito boas em criar planilhas que parecem reais, elas ainda não são confiáveis o suficiente para substituir um profissional humano, especialmente em áreas sérias como finanças. Elas precisam aprender a ser menos "chiques" e mais "precisas".

O estudo é um aviso: Não confie cegamente na primeira planilha que a IA gerar. Sempre verifique a matemática por trás da beleza.

Resumo técnico

Resumo Técnico: SPREADSHEETARENA

1. Problema e Motivação

A geração de planilhas eletrônicas (spreadsheets) por Modelos de Linguagem Grandes (LLMs) representa um desafio distinto em relação à geração de texto ou código. Diferente de diálogos abertos ou geração de código executável, as planilhas são artefatos estruturados complexos que envolvem:

• Dependências em Grafo: Células e fórmulas interconectadas onde erros podem ser não óbvios e propagar-se.
• Critérios Multidimensionais: A qualidade não depende apenas da correção numérica, mas também de layout, legibilidade, interatividade e conformidade com convenções de domínio (ex: finanças).
• Falta de Padronização: Critérios de avaliação variam drasticamente entre casos de uso (ex: pesquisa acadêmica vs. modelagem financeira profissional), tornando difícil a criação de benchmarks automatizados universais.

O artigo identifica que, embora os LLMs possam gerar fórmulas válidas, eles frequentemente falham em atender a diretrizes estilísticas e práticas de domínio específicas, e a avaliação atual carece de uma abordagem holística baseada na preferência humana.

2. Metodologia: SPREADSHEETARENA

Os autores introduzem o SPREADSHEETARENA, uma plataforma de avaliação estilo "arena" para planilhas geradas por LLMs.

• Coleta de Dados:

  • Os usuários submetem prompts em linguagem natural descrevendo a tarefa (ex: "Crie um modelo de fluxo de caixa descontado").
  • O sistema gera quatro batalhas pareadas (pairwise battles) entre planilhas produzidas por 16 modelos diferentes (incluindo Claude, Gemini, GPT, Grok, Llama, etc.).
  • Os votos são cegos (blind), onde os usuários preferem uma planilha sobre a outra, ou indicam empate/insatisfação.
  • Foram coletados 4.357 votos sobre batalhas pareadas, cobrindo 6 categorias de prompts: Acadêmico/Pesquisa, Finanças Corporativas, Criativo, Operações/Supply Chain, Finanças Profissionais e Pequenas Empresas/Pessoal.

• Modelagem Estatística:

  • Utiliza-se o Modelo Bradley-Terry para estimar coeficientes de força dos modelos e gerar rankings.
  • Os escores são convertidos em ratings Elo (ancorados no GPT-4o em 1000).
  • Decomposição de Preferência: Os autores estendem o modelo Bradley-Terry para incluir covariáveis de recursos extraídos programaticamente das planilhas (ex: densidade de texto, taxa de erro de fórmula, uso de preenchimento de cor, complexidade estrutural). Isso permite ajustar os rankings com base em características observáveis, separando a "habilidade do modelo" de "viéses de estilo".

• Taxonomias de Avaliação:

  1. Recursos Programáticos: Extração de 29 características técnicas (qualidade da fórmula, conteúdo, formatação, estrutura).
  2. Taxonomia de Falhas: Uso de um "juiz LLM" para categorizar as causas de derrota em 7 buckets (ex: Não Funcional, Não Conformidade com Especificação, Falha de Integridade, Falha Numérica, Falha de Interpretabilidade, Baixo Valor de Usuário, Deficiência de Apresentação).
  3. Avaliação de Especialistas: Um estudo cego com 5 especialistas em finanças para avaliar 52 batalhas no domínio financeiro, utilizando uma rubrica baseada em melhores práticas da indústria (ex: codificação de cores, regra "uma linha, uma fórmula").

3. Contribuições Principais

1. Plataforma SPREADSHEETARENA: O primeiro benchmark de arena focado na geração end-to-end de livros de trabalho de planilhas, com dados públicos de prompts, planilhas e votos.
2. Rankings Estáveis e Ajustados: Estabelecimento de rankings para 16 modelos, demonstrando que o ajuste por recursos observáveis comprime significativamente a liderança (mudando a percepção de quem é o "melhor").
3. Decomposição de Preferências: Evidência de que as preferências humanas são fortemente influenciadas por características visuais e estruturais (formatação, densidade de texto) mais do que pela sofisticação das fórmulas em muitos contextos.
4. Análise de Domínio Específico: Demonstração de que o que é "bom" varia drasticamente entre domínios (ex: formatação pesada é penalizada na pesquisa acadêmica, mas valorizada em finanças se seguir convenções profissionais).

4. Resultados Chave

• Rankings Globais e Ajuste de Recursos:

  • Modelos da família Claude (Opus 4.5, Sonnet 4.5) lideram o ranking base.
  • Após o ajuste por recursos (controlando por fatores como formatação e tamanho), a distribuição de escores se comprime. O Gemini 3 Pro sobe para o 2º lugar, superando modelos Claude, sugerindo que sua performance base era subestimada por não ter tantos "viéses de estilo" que os outros modelos exploravam.
  • Modelos menores (Qwen3, Llama 4) ganham pontos significativos após o ajuste, indicando que suas falhas eram frequentemente estruturais ou de formatação, não necessariamente de lógica.

• Fatores de Preferência:

  • Positivos: Densidade de texto, preenchimento de fundo (cores), conteúdo numérico e layouts mais largos.
  • Negativos: Taxa de erro de fórmula (o fator mais forte negativo), proporção de tabelas paralelas e relações de aspecto altas (planilhas muito "altas").
  • Curiosidade: A sofisticação da fórmula (uso de funções de busca, condicionais) não mostrou associação significativa com a vitória, sugerindo que os usuários valorizam mais a apresentação e a estrutura do que a complexidade algorítmica oculta.

• Padrões de Falha por Modelo:

  • Claude: Embora tenha altas taxas de vitória, suas derrotas são frequentemente atribuídas a Falhas de Integridade (lógica estrutural falha, drivers não vinculados) e Erros Numéricos, em vez de falhas superficiais. Isso sugere que, quando Claude perde, é por problemas "invisíveis" e críticos.
  • Modelos Menores (ex: Qwen, Llama): Falham predominantemente em Não Conformidade com Especificação (não geram todas as abas solicitadas) e Deficiência de Apresentação.

• Domínio Financeiro e Especialistas:

  • Há uma baixa concordância (42,3%) entre os votos da arena (preferência geral) e a avaliação de especialistas financeiros.
  • Especialistas penalizam severamente a falta de conformidade com convenções de codificação de cores (azul para inputs, preto para fórmulas) e práticas de modelagem, enquanto a arena geral muitas vezes prefere planilhas visualmente polidas, mas estruturalmente frágeis.
  • A dimensão de "Codificação de Cores e Formatação" foi a mais fraca nas avaliações de especialistas (77,6% das planilhas pontuaram 2 ou menos em uma escala de 5).

5. Significado e Implicações

• Desafio para Pós-Treinamento (RLHF/DPO): Os dados de preferência pareada para geração estruturada não recompensam uniformemente todas as dimensões. Modelos podem aprender a "ganharem" na arena focando em formatação e texto, negligenciando a correção lógica ou as convenções de domínio.
• Necessidade de Avaliação Híbrida: A avaliação de tarefas complexas e abertas como a geração de planilhas não pode depender apenas de métricas programáticas ou apenas de votos de massa. É necessário combinar métricas objetivas, preferências de usuários e rubricas de especialistas.
• Impacto Prático: Para usuários de negócios e finanças, os LLMs atuais ainda exigem revisão humana significativa antes de serem usados em fluxos de trabalho profissionais, especialmente em conformidade com padrões de auditoria e modelagem financeira.

Em suma, o SPREADSHEETARENA revela que a capacidade de gerar planilhas é multifacetada e que os rankings atuais de LLMs podem ser enganosos se não forem decompostos para entender por que uma planilha é preferida (estilo vs. substância vs. conformidade de domínio).