Spreadsheet Modeling Experiments Using GPTs on Small Problem Statements and the Wall Task

1. Declaração do Problema

O artigo aborda a capacidade emergente dos Transformadores Pré-treinados Generativos (GPTs) de automatizar a criação de modelos analíticos de planilhas de qualidade industrial. Embora os GPTs sejam amplamente elogiados por sua capacidade de auxiliar na análise de dados e na geração de fórmulas, sua confiabilidade na produção de modelos de planilha reutilizáveis e livres de erros permanece não comprovada.

Os autores definem o objetivo como a criação de modelos que atendam a seis critérios de "qualidade industrial": eficiência, legibilidade, transferibilidade, precisão, reutilizabilidade e modificabilidade. Para tornar isso tratável para experimentação, os autores estreitaram o foco na reutilizabilidade, definida por cinco Requisitos Essenciais para Reutilizabilidade (ERFR):

1. Isolamento de Entrada: Cada valor de entrada reside em uma única célula.
2. Uso de Fórmulas: Todos os cálculos usam fórmulas de célula (sem números codificados em células de cálculo).
3. Sem Cablagem Fixa: Sem números fixos dentro das fórmulas.
4. Rotulagem: Rótulos apropriados para entradas e fórmulas.
5. Precisão: Os cálculos devem ser matematicamente corretos.

O problema central é determinar se as ferramentas atuais de GPT podem gerar planilhas que atendam a esses critérios a partir de declarações de problemas em linguagem natural e, se não, quais são as barreiras (reprodutibilidade, confiança, fluxo de trabalho).

2. Metodologia

A pesquisa seguiu uma abordagem experimental estruturada envolvendo triagem, seleção e testes detalhados.

A. Seleção de Ferramentas (Fase de Triagem)

• Grupo Inicial: Cinco extensões de GPT que afirmavam ter capacidades de modelagem em planilhas foram selecionadas com base em alto volume de uso (>100 mil conversas), popularidade (>1.000 avaliações, classificação >3,3), funcionalidade de Interpretador de Código e capacidade de gerar arquivos XLSX.
• Critérios de Avaliação: As ferramentas foram julgadas com base na Qualidade da Conversa, Interação do Usuário, Tratamento de Erros, Confiabilidade do Arquivo e Design da Planilha.
• Seleção: O Excel AI (EAI) da pulsrai.com foi selecionado como o melhor desempenho. Ele gerou consistentemente arquivos Excel bem estruturados e baixáveis com fórmulas válidas, enquanto outros produziram arquivos quebrados ou saídas não funcionais.
• Configuração: Os autores observaram que o EAI funciona melhor quando emparelhado com o ChatGPT-4o (em vez do recomendado o4-mini), pois este último tende a gerar imagens em vez de arquivos.

B. Estratégia de Engenharia de Prompt
Os autores distinguiram entre a Declaração do Problema (a lógica/o que calcular) e as Instruções (o formato de saída desejado).

• Eles estabeleceram um conjunto parcimonioso de três instruções para garantir a conformidade com os ERFR:
  1. "Crie um modelo Excel."
  2. "Use fórmulas de célula."
  3. "Forneça um arquivo Excel baixável."

C. Design Experimental

• Experimentos de Pequena Escala: Oito declarações de problemas distintas foram usadas para testar três variáveis específicas:
  1. Dados vs. Parâmetros: O modelo lida de forma diferente com números específicos (Dados) ou nomes de variáveis sem valores (Parâmetros)?
  2. Tempo Explícito vs. Implícito: Como o modelo lida com "30 dias consecutivos" versus "um mês" (que implica 30 dias em análises, mas é ambíguo)?
  3. Substantivos Conhecidos vs. Inventados: O modelo tem dificuldade com terminologia inventada (por exemplo, "zorp" em vez de "maçã")?
• Experimento de Grande Escala: A "Tarefa da Parede" (uma declaração de problema acadêmica padrão sobre custos de construção de paredes) foi usada para testar o desempenho em um problema de parágrafo de comprimento e múltiplas variáveis.

3. Principais Contribuições

• Definição de ERFR: O artigo formaliza os "Requisitos Essenciais para Reutilizabilidade" como uma métrica padrão para avaliar planilhas geradas por IA.
• Estrutura de Prompt: Propõe uma separação entre "Declaração do Problema" e "Instruções" para otimizar a saída do GPT para geração de planilhas.
• Identificação de Barreiras Críticas: Os autores identificam dois desafios fundamentais que impedem a adoção profissional:
  • O Problema da Confiança: Como verificar a precisão de um modelo gerado por IA quando casos de teste não existem.
  • O Problema do Fluxo de Trabalho: Como integrar rascunhos imperfeitos de IA em um processo de desenvolvimento centrado no humano (por exemplo, é mais rápido corrigir o rascunho da IA ou começar do zero?).
• Evidência Empírica de Instabilidade: O estudo fornece evidências concretas de que as ferramentas atuais de GPT são "temperamentais", produzindo resultados não reprodutíveis mesmo com prompts idênticos.

4. Resultados

A. Experimentos de Pequena Escala (8 Prompts)

• Sucessos: O EAI performou bem em 7 de 8 prompts. Lidou com sucesso com parâmetros (células em branco prontas para entrada), substantivos inventados e a fraseologia explícita "30 dias".
• Falhas:
  • Falha de Ambiguidade: Quando solicitado com "por um mês" (Declaração do Problema 6), o modelo gerou uma planilha com números codificados na coluna de cálculo em vez de fórmulas. Embora os números fossem precisos, o modelo falhou nos critérios ERFR de reutilizabilidade.
  • Falha de Reprodutibilidade: Executar o mesmo prompt (Declaração do Problema 6) várias vezes resultou em estruturas de planilha diferentes, algumas com fórmulas "lixo" e outras com lógica correta, indicando falta de consistência.
  • Sensibilidade ao Contexto: O modelo às vezes gerou uma tabela estática de números em vez de uma calculadora dinâmica, mesmo quando instruído a "usar fórmulas de célula".

B. Experimento de Grande Escala (A Tarefa da Parede)

• Desempenho Inconsistente:
  • Com instruções padrão, o modelo inicialmente produziu uma tabela correta de números, mas sem fórmulas de célula.
  • Um prompt de acompanhamento para "torná-lo dinâmico" gerou com sucesso um modelo de alta qualidade, modular e compatível com ERFR.
  • No entanto, executar a Tarefa da Parede sem instruções específicas resultou em um arquivo que corrompia ao abrir, exigindo a função "Recuperar" do Excel, e continha uma mistura de fórmulas precisas, imprecisas e ausentes.
• Observação: O desempenho da ferramenta é altamente volátil; um modelo "perfeito" pode ser gerado em uma execução, enquanto um modelo quebrado ou não reutilizável é gerado em outra.

5. Significado e Conclusão

Estado Atual da Tecnologia
Os autores concluem que, embora os GPTs mostrem promessa para gerar rascunhos que possam reduzir o tempo de desenvolvimento ou diminuir barreiras de habilidade, eles ainda não estão prontos para uso profissional. As ferramentas são atualmente pouco confiáveis para produzir modelos de "qualidade industrial" sem intervenção humana significativa.

Implicações para Usuários

• Requisito de Habilidade: Os usuários devem possuir habilidades suficientes de modelagem em planilhas para verificar fórmulas e lógica. Os GPTs não podem atualmente substituir modeladores iniciantes porque o usuário deve ser capaz de detectar e corrigir os erros da IA.
• Integração de Fluxo de Trabalho: O valor dos GPTs reside na abordagem de "rascunho". Se o tempo economizado ao gerar um rascunho (mesmo que imperfeito) mais o tempo para corrigi-lo for menor do que construir do zero, isso agrega valor. No entanto, isso requer um novo fluxo de trabalho onde o humano atua como auditor e engenheiro de refatoração.

Direções Futuras de Pesquisa

• Engenharia de Prompt: Desenvolvimento de conjuntos de instruções mais robustos para lidar com ambiguidade e garantir reprodutibilidade.
• Reprodutibilidade: Investigar por que prompts idênticos produzem resultados diferentes (por exemplo, versionamento do modelo, hora do dia, estado do sistema).
• Escala: Testes em declarações de problemas de negócios reais e maiores, em vez de simples "tarefas iniciais".
• Verificação: Desenvolvimento de métodos automatizados para verificar a precisão de modelos gerados por IA sem casos de teste pré-existentes.

Em resumo, o artigo serve como um teste de realidade sobre o estado atual da IA na análise de planilhas, destacando que, embora a tecnologia seja capaz de gerar estrutura, ela carece da consistência e confiabilidade necessárias para aplicação profissional autônoma.