Imagine que você está ensinando um robô a cozinhar. Você poderia mostrar a ele uma lasanha pronta e deliciosa e dizer: "Faça isto", mas o robô poderia apenas ficar encarando o queijo e tentar adivinhar a receita. Ou, você poderia dar a ele uma lista de instruções muito longa e entediante: "Pegue 200 gramas de queijo, corte em cubos de 1 centímetro, coloque na camada 3..." Mas os humanos reais não falam assim; nós dizemos: "Faça uma lasanha", e esperamos que o chef saiba o que isso significa. Este é o desafio dos "Grandes Modelos de Linguagem" (LLMs) — programas de computador super inteligentes que podem ler e escrever textos. Cientistas estão tentando ensinar esses modelos a serem assistentes úteis, não apenas para escrever histórias, mas para realizar trabalhos reais, como gerenciar planilhas. Planilhas são aqueles programas em formato de grade (como o Excel) que as pessoas usam para rastrear dinheiro, planejar festas ou analisar dados. A grande questão é: consegue um computador ler uma planilha bagunçada do mundo real e descobrir como construí-la do zero, apenas ouvindo o pedido de um humano?

Este artigo apresenta um truque inteligente chamado "Máquina do Tempo de Planilhas" (Workbook Time Machine) para resolver um problema importante: não tínhos uma boa maneira de testar se esses chefs de IA podiam realmente cozinhar. Os pesquisadores construíram um pipeline que trabalha de trás para frente. Imagine pegar uma planilha pronta e complexa, removendo todos os gráficos sofisticados, fórmulas e codificação de cores até que restem apenas os números brutos. Então, o sistema pede a uma IA que escreva um conjunto de instruções que transformaria esses números brutos de volta em uma planilha sofisticada. Ao fazer isso, eles criaram uma enorme biblioteca de exemplos de "antes e depois" com instruções variando de super detalhadas a muito vagas. Eles usaram isso para construir um teste chamado WTM-BENCH, que avalia o quão bem diferentes modelos de IA conseguem criar planilhas.

Os resultados foram uma mistura de "nada mal" e "oh não". O estudo descobriu que o desempenho da IA depende fortemente de como você fala com ela e de quais ferramentas você fornece. Se você der à IA uma receita muito específica e passo a passo (como "coloque esta fórmula na célula D2"), ela se sai muito bem. Mas se você der um pedido vago (como "faça um gráfico dos dados"), ela frequentemente se perde. Além disso, as "ferramentas" que a IA usa para falar com a planilha importam muito; algumas ferramentas são como um canivete suíço que pode fazer tudo, enquanto outras são como uma faca de manteiga que tem dificuldade com tarefas complexas como tabelas dinâmicas. O artigo sugere que, embora a IA esteja ficando melhor em seguir ordens detalhadas, ela ainda tem dificuldades com o pensamento de múltiplos passos exigido pelo mundo real, especialmente quando as instruções são curtas e as tarefas são complexas.

A Máquina do Tempo na Cozinha

Para entender como os pesquisadores construíram seu teste, pense em uma máquina do tempo que não viaja através do tempo, mas através da história de uma planilha. Normalmente, quando queremos testar um robô, damos a ele uma tarefa e vemos se ele tem sucesso. Mas para planilhas, é difícil saber o que uma tarefa "perfeita" parece, porque o trabalho humano real é bagunçado.

Então, os autores fizeram algo ao contrário. Eles começaram com planilhas finalizadas — planilhas reais que as pessoas já haviam criado, cheias de fórmulas, gráficos e tabelas dinâmicas. Eles chamaram isso de etapa "Para Trás" (Backward). A máquina do tempo removeu todos os objetos "derivados" (as coisas sofisticadas como gráficos e fórmulas) para revelar os dados "Brutos" por baixo. Foi como pegar um bolo totalmente decorado e remover a cobertura e os confeitos para ver o bolo simples por baixo.

Depois veio a etapa "Para Frente" (Forward). O sistema pediu a uma IA que olhasse para o bolo simples e para o bolo finalizado e escrevesse uma receita para chegar de um ao outro. Mas aqui está a reviravolta: eles não escreveram apenas uma receita. Eles escreveram três versões diferentes:

1. Nível 1 (O Manual do Chef): "Na célula D2, digite =10000*C2/(B2*B2), arraste para baixo até D7, depois crie um gráfico de dispersão usando as colunas A e D."
2. Nível 2 (O Assistente Prestativo): "Calcule o IMC para todos e faça um gráfico mostrando o IMC vs. Idade."
3. Nível 3 (O Chefe Vago): "Plote a tendência do IMC."

Isso criou um enorme conjunto de dados chamado WTM-CORPUS com quase 9.000 instruções. Desse enorme monte, eles selecionaram um conjunto de teste equilibrado de 150 tarefas chamado WTM-BENCH. Este conjunto de teste foi cuidadosamente curado para garantir que não fosse composto apenas de tarefas fáceis de fórmulas (que eram 67% dos dados originais), mas que incluísse uma mistura justa de gráficos, tabelas dinâmicas e formatação condicional, exatamente como uma empresa real precisaria.

O Grande Confronto de Planilhas

Os pesquisadores então submeteram 6 modelos de IA "fronteira" (os mais inteligentes disponíveis de empresas como Anthropic e OpenAI) a este teste. Eles não deixaram a IA apenas adivinhar; eles deram a ela um "cinto de ferramentas" para realmente interagir com a planilha. Eles testaram três tipos de cintos de ferramentas:

• Python (OpenPyXL): Uma biblioteca de programação que lê arquivos como um documento de texto.
• VBA: A linguagem de macro integrada do Excel, que é poderosa, mas antiga.
• Office.js: Uma forma moderna baseada na web de falar com o Excel.

Eles também testaram diferentes estilos de "orquestração". Alguns métodos permitem que a IA escreva código e torça para dar certo (one-shot). Outros permitem que a IA escreva código, veja o resultado, cometa um erro, corrija-o e tente novamente (multi-turn).

As descobertas foram reveladoras:

1. O Cinto de Ferramentas Importa Mais que o Cérebro: O tipo de ferramenta que a IA usou para controlar a planilha fez uma enorme diferença. Por exemplo, criar uma "Tabela Dinâmica" (uma tabela de resumo complexa) foi incrivelmente difícil para a ferramenta Python, que teve que lidar com múltiplos passos. Mas com VBA ou Office.js, que possuem comandos integrados para isso, a IA se saiu muito melhor. O artigo sugere que a "interface" é tão importante quanto a inteligência do modelo.
2. Especificidade é Rei (por enquanto): Quando as instruções eram super detalhadas (Nível 1), os modelos de IA apresentavam um desempenho razoável. Mas conforme as instruções ficavam mais curtas e vagas (Nível 3), o desempenho caía drasticamente. Os modelos tinham dificuldade em "preencher as lacunas" como um humano faria.
3. O Problema da Tabela Dinâmica: Embora a IA tenha tido um desempenho decente ao criar fórmulas e gráficos, ela falhou quase completamente na criação de Tabelas Dinâmicas. O "Soft Score" (uma medida de quão próximo o resultado estava do perfeito) para Tabelas Dinâmicas foi próximo de zero em quase todos os modelos. Isso sugere uma lacuna fundamental na capacidade da IA de lidar com a sumarização de dados de múltiplos passos.
4. Não Confie na Mensagem de "Sucesso": O artigo descobriu que muitos modelos de IA afirmariam que terminaram a tarefa mesmo quando falharam. Por exemplo, nos modelos Claude, mais de 80% das vezes em que o modelo disse "Terminei", ele havia cometido um erro estrutural (como colocar o gráfico no lugar errado ou esquecer o objeto inteiro). Isso é chamado de "sucesso alucinado", e é um grande obstáculo para o uso no mundo real.

O Que Isso Significa para o Futuro

O artigo conclui que, embora a IA esteja ficando melhor em seguir instruções estritas e detalhadas, ela ainda não está pronta para ser um mago autônomo de planilhas. O "Workbook Time Machine" provou que a maneira como testamos a IA importa tanto quanto a própria IA. Se testarmos apenas com prompts fáceis e detalhados, podemos pensar que a IA é mais inteligente do que realmente é.

Os pesquisadores sugerem que, para melhorar, talvez precisemos ensinar esses modelos usando um "currículo" — começando com as instruções detalhadas do Nível 1 e movendo-se gradualmente para as instruções vagas do Nível 3, ajudando-os a aprender a preencher as lacunas. Eles também observam que o pipeline que construíram poderia ser expandido para lidar com outras tarefas de planilhas, como deletar ou modificar dados, não apenas criá-los.

Em última análise, o estudo mostra que estamos no caminho certo, mas o caminho para um agente de planilhas verdadeiramente autônomo ainda é longo. A IA consegue seguir uma receita, mas ainda precisa de um humano para segurar sua mão quando as instruções ficam vagas ou a tarefa fica complicada. A "Máquina do Tempo" nos deu um mapa melhor de onde a IA é forte e onde ela ainda precisa aprender, garantindo que os testes futuros sejam justos, equilibrados e fundamentados na realidade bagunçada de como os humanos realmente usam as planilhas.