Towards Robust Real-World Spreadsheet Understanding with Multi-Agent Multi-Format Reasoning

1. O Problema

As planilhas são centrais para aplicações do mundo real, como relatórios empresariais, auditorias e gestão de dados científicos. No entanto, os métodos existentes baseados em Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos ao processar planilhas reais:

• Tratamento como Texto Plano: A maioria das abordagens atuais converte tabelas para formatos de texto puro (Markdown, HTML, LaTeX), ignorando pistas críticas de layout e semântica visual (cores de fonte, células mescladas, bordas, cabeçalhos hierárquicos).
• Limitação de Contexto: Planilhas reais são frequentemente massivas (milhares de linhas e colunas), excedendo o limite de contexto que os LLMs podem processar eficientemente em uma única passagem.
• Complexidade Estrutural: Planilhas contêm estruturas complexas como múltiplas abas, cabeçalhos aninhados e agrupamentos de dados que formatos textuais simples não conseguem capturar totalmente, levando a erros de raciocínio e extração.

2. Metodologia: SpreadsheetAgent

O artigo propõe o SpreadsheetAgent, um framework multi-agente de duas etapas baseado em um paradigma de leitura e raciocínio passo a passo. Em vez de carregar a planilha inteira de uma vez, o sistema interpreta regiões localizadas incrementalmente através de múltiplos modos.

Arquitetura do Sistema

O framework opera em dois estágios principais, orquestrados por agentes especializados:

A. Estágio de Extração de Estrutura (Structure Extraction Stage)
O objetivo é construir um esboço estrutural e resumos de linhas/colunas sem exceder o limite de contexto.

• Agente de Extração: Escaneia a planilha, identifica pistas estruturais (cabeçalhos hierárquicos, células mescladas) e gera resumos concisos.
• Agentes Auxiliares e Ferramentas: Para lidar com a complexidade, o sistema utiliza três ferramentas principais que convertem regiões selecionadas em formatos específicos:
  1. Execução de Código: Executa Python para análise precisa de valores brutos e cálculos numéricos.
  2. Agente de Descrição de Intervalo Visual (Vision Range): Converte regiões em imagens e utiliza um modelo de linguagem visual (VLM) para interpretar pistas visuais (cores, bordas, gráficos).
  3. Agente de Descrição de Intervalo LaTeX: Converte regiões para LaTeX para preservar a estrutura hierárquica e alinhamento de cabeçalhos.
• Saída: O resultado é uma representação intermediária compacta em formato YAML, que vincula o layout à semântica de forma estruturada.

B. Estágio de Verificação (Verification Module)
Para garantir a confiabilidade antes do raciocínio final, um módulo de verificação valida a extração.

• Mecanismo: Em vez de reprocessar toda a tabela, o agente de verificação seleciona regiões incertas ou complexas e as submete a inspeções direcionadas (convertendo-as novamente para imagem ou LaTeX).
• Feedback Iterativo: Se discrepâncias forem encontradas (ex: células mescladas perdidas, cabeçalhos mal interpretados), o sistema gera correções que são alimentadas de volta no processo de extração, refinando a representação estrutural até que ela seja fiel.

C. Estágio de Resolução (Solving Stage)
Uma vez validada a representação estrutural intermediária, o agente de raciocínio utiliza esse esboço enriquecido para realizar a tarefa solicitada (ex: responder perguntas, gerar fórmulas), consultando e, se necessário, estendendo o esboço.

3. Principais Contribuições

1. Framework Multi-Agente de Duas Etapas: Introdução do SpreadsheetAgent, que adota uma abordagem de leitura incremental, superando as limitações de contexto dos LLMs enquanto preserva a semântica de layout.
2. Pipeline de Exploração Estrutural Multi-Formato: Desenvolvimento de um pipeline que processa planilhas através de entradas localizadas em múltiplos formatos (resultados de execução de código, snippets de imagem e expressões LaTeX), capturando uma ampla gama de semânticas (numérica, visual e estrutural).
3. Validação Iterativa: Design de um módulo de verificação que reduz a propagação de erros ao validar a extração estrutural antes do raciocínio final, garantindo entradas confiáveis.

4. Resultados Experimentais

Os experimentos foram conduzidos no SpreadsheetBench (um benchmark de 912 perguntas de fóruns reais de usuários do Excel) e no RealHiT-Bench.

• Desempenho no SpreadsheetBench:
  • Com o modelo GPT-OSS-120B, o SpreadsheetAgent alcançou 38,16% de precisão (Restrição Suave).
  • Isso supera o baseline do ChatGPT Agent (35,27%) em 2,89 pontos absolutos.
  • Com o modelo Qwen3-Coder-480B, o método atingiu 41,67%, demonstrando robustez em diferentes escalas de modelos.
• Comparação com Baselines: O método superou consistentemente abordagens anteriores, incluindo TreeThinker (focado apenas em cabeçalhos hierárquicos) e agentes de planilha existentes. A melhoria foi particularmente notável em modelos menores (ex: Qwen3-30B), onde o ganho foi de quase 6 pontos, indicando que a extração estrutural atua como um "andaime" externo que auxilia modelos menores.
• Estudos de Ablação:
  • A remoção da verificação ou das ferramentas multi-formato resultou em queda significativa de desempenho.
  • O uso de YAML estruturado provou ser superior a JSON ou texto livre para a representação intermediária.
  • A combinação de extração e verificação é essencial; a extração sozinha não é suficiente para alta precisão.

5. Significado e Conclusão

O trabalho demonstra que a compreensão robusta de planilhas do mundo real exige mais do que apenas processamento de texto; é necessário integrar semântica visual, estrutura hierárquica e raciocínio numérico preciso.

• Escalabilidade: Ao processar regiões localizadas incrementalmente, o sistema torna-se escalável para planilhas massivas que seriam impossíveis de processar em uma única passagem de LLM.
• Confiabilidade: O módulo de verificação mitiga o problema de "alucinação" comum em LLMs, garantindo que o raciocínio seja baseado em uma representação fiel da estrutura original.
• Impacto Futuro: O SpreadsheetAgent estabelece um novo estado da arte (SOTA) para tarefas de raciocínio em planilhas, sugerindo que frameworks multi-agente com ferramentas especializadas são o caminho para automatizar tarefas complexas de análise de dados em ambientes corporativos reais.

O código do projeto está disponível publicamente no GitHub, permitindo reprodutibilidade e avanços futuros na área.