Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing

O artigo apresenta o BRTR, um framework agêntico multimodal que supera as limitações de métodos anteriores ao utilizar um ciclo iterativo de chamadas de ferramentas para permitir a compreensão e edição precisas de planilhas corporativas complexas, alcançando desempenho superior em benchmarks e mantendo total auditabilidade.

O essencial

Imagine que você tem uma biblioteca gigante, cheia de milhões de livros, cadernos de anotações e mapas desenhados à mão. Agora, imagine que você precisa encontrar uma informação específica: "Qual foi o lucro da empresa em 2023 no setor de vendas da região sul, e como isso se compara com o gráfico de despesas?"

Se você pedir para uma pessoa comum (ou um computador antigo) ler todos os livros de uma vez só para achar essa resposta, ela vai ficar sobrecarregada, esquecer detalhes e provavelmente dar uma resposta errada. É assim que funcionavam os sistemas de Inteligência Artificial (IA) antigos para planilhas gigantes: eles tentavam "engolir" a planilha inteira de uma vez, o que causava confusão.

Este artigo apresenta uma nova solução chamada BRTR (Beyond Rows to Reasoning), que pode ser traduzido como "Além das Linhas para o Raciocínio". Vamos explicar como ele funciona usando analogias do dia a dia.

1. O Problema: O "Leitor de Vez" vs. O "Detetive"

• O jeito antigo (Single-Pass): Era como tentar resolver um quebra-cabeça gigante olhando para a caixa fechada e tentando adivinhar a imagem final sem abrir. Ou como um funcionário que recebe uma pilha de 1 milhão de papéis e tem 5 segundos para ler tudo e responder. Eles perdem detalhes, esquecem conexões entre diferentes folhas e não conseguem lidar com gráficos ou imagens embutidas.
• O jeito novo (BRTR): É como ter um detetive experiente (um agente de IA) que não tenta ler tudo de uma vez. Em vez disso, ele recebe a pergunta, pensa: "Onde eu devo procurar?", vai até a prateleira certa, pega o documento, lê, e se não achar a resposta, pensa: "Ok, preciso olhar o gráfico ao lado" ou "Preciso cruzar com a folha de despesas". Ele faz isso em várias etapas, refinando a busca até ter certeza da resposta.

2. Como o BRTR Funciona (A Analogia da Cozinha Profissional)

Pense no BRTR como uma cozinha de restaurante de luxo muito organizada:

• O Chefe de Cozinha (O Planejador): Quando você pede um prato complexo (uma tarefa difícil na planilha), o Chefe não manda o ajudante fazer tudo sozinho. Ele decompõe a tarefa. "Primeiro, pegue os tomates. Depois, corte a cebola. Em seguida, veja o estoque de carne." Ele cria um mapa de dependências.
• Os Ajudantes Especializados (Executores): Existem ajudantes específicos para cada coisa. Um só sabe ler PDFs, outro só sabe fazer cálculos matemáticos, outro só sabe ler gráficos desenhados à mão. Eles não tentam fazer tudo; eles fazem o que são bons.
• A Biblioteca Indexada (O Índice Multimodal): Antes de começar, todos os documentos da empresa foram organizados em uma biblioteca inteligente. Não é apenas uma pilha de papel; é como um sistema de busca onde você pode procurar por "texto", "número", "imagem" ou "célula específica".
• O Loop de Investigação (A Busca Iterativa): Se o ajudante de "Cálculo" não acha o número exato, ele avisa o Chefe. O Chefe então manda o ajudante de "Busca" procurar em outra pasta. Eles conversam, trocam informações e ajustam a busca até terem o prato pronto.

3. O Que Eles Descobriram (Os Resultados)

Os pesquisadores testaram esse sistema em três desafios diferentes, como se fossem provas de aptidão:

1. Prova de "Onde está a informação?" (FRTR-Bench):

   • Resultado: O BRTR acertou 99% das perguntas.
   • Comparação: Os métodos antigos acertavam apenas cerca de 74%.
   • Analogia: É a diferença entre um turista perdido tentando adivinhar o caminho e um guia local que sabe exatamente onde cada loja fica.

2. Prova de "Entender a lógica" (SpreadsheetLLM):

   • Resultado: O BRTR acertou 98%.
   • Comparação: Métodos antigos que tentavam "resumir" a planilha (comprimir) tiveram desempenho ruim, como se alguém tentasse explicar um filme inteiro contando apenas o título.

3. Prova de "Trabalho Real de Escritório" (FINCH):

   • Desafio: Tarefas complexas que envolvem abrir vários arquivos, fazer cálculos, formatar gráficos e validar dados financeiros.
   • Resultado: O BRTR acertou 95% das tarefas.
   • Comparação: Métodos antigos (que tentam fazer tudo de uma vez) acertavam menos de 50%.
   • Analogia: É como comparar um estagiário que tenta fazer tudo sozinho e erra, com uma equipe de especialistas trabalhando em conjunto.

4. O Segredo do Sucesso: Não é só "Força Bruta"

O artigo mostra que ter um computador superpoderoso não é suficiente. O segredo foi:

• Não tentar ler tudo de uma vez: Focar apenas no que é necessário naquele momento.
• Poder de decisão: A IA sabe quando ela precisa pedir ajuda, quando deve procurar em outro lugar e quando deve parar de procurar porque já achou o suficiente.
• Auditoria: O sistema deixa um rastro de todas as suas "perguntas" e "buscas". Você pode ver exatamente como ele chegou à resposta, como se fosse um registro de caixa de supermercado. Isso é crucial para empresas que precisam confiar nos números.

Conclusão Simples

O BRTR é como transformar uma IA que era apenas um "leitor rápido" em um analista financeiro inteligente. Em vez de tentar memorizar a planilha inteira (o que é impossível para máquinas grandes), ele aprende a fazer as perguntas certas, buscar as informações certas e montar o quebra-cabeça passo a passo.

Isso significa que, no futuro, você poderá pedir para sua IA: "Analise os gastos de todos os nossos departamentos dos últimos 5 anos, compare com o gráfico de vendas e me diga onde estamos perdendo dinheiro", e ela fará isso com precisão, sem se perder nos milhões de células da planilha.

Resumo técnico

1. O Problema

As planilhas corporativas modernas são extremamente complexas, contendo milhões de células, dependências entre várias abas (sheets), dados tabulares misturados com artefatos visuais (gráficos, imagens) e fórmulas aninhadas. As abordagens atuais para fazer LLMs (Large Language Models) analisarem esses dados enfrentam três limitações críticas:

• Recuperação de Passada Única (Single-Pass): Métodos existentes recuperam um contexto fixo uma única vez antes de gerar a resposta. Eles não conseguem iterar, refinar buscas ou cruzar referências entre abas de forma incremental, como um analista humano faria.
• Perda de Resolução por Compressão: Técnicas que comprimem a planilha para caber na janela de contexto do LLM frequentemente descartam informações cruciais, como dependências cruzadas e detalhes visuais.
• Exceder Janelas de Contexto: A injeção ingênua de todo o contexto da planilha excede rapidamente os limites de tokens dos modelos, tornando a análise de grandes arquivos inviável.

Além disso, não havia diretrizes empíricas sobre quais modelos de embedding multimodal funcionam melhor para dados mistos (texto e visual) em planilhas.

2. Metodologia: Framework BRTR

O autores propõem o BRTR (Beyond Rows to Reasoning), um framework agente multimodal que substitui a recuperação de passada única por um loop iterativo de chamada de ferramentas. O pipeline consiste em três componentes principais:

A. Indexação e Recuperação Multimodal

• Chunking: O sistema divide a planilha em quatro tipos de fragmentos (chunks): linhas, colunas, janelas retangulares de células e imagens embutidas. Cada chunk preserva metadados (nome da aba, coordenadas, cabeçalhos).
• Modelo de Embedding: Após avaliação comparativa, o framework adota o NVIDIA NeMo Retriever 1B como o modelo de embedding superior para dados mistos.
• Recuperação Híbrida: Combina busca semântica densa (cosine similarity) com correspondência léxica (BM25) para garantir precisão em valores numéricos e referências de células. Os resultados são fundidos usando Reciprocal Rank Fusion (RRF).

B. Loop de Chamada de Ferramentas Agente

Diferente de sistemas estáticos, o LLM no BRTR atua como um agente que:

1. Analisa a consulta do usuário.
2. Invoca ferramentas de busca estruturadas (ex: search_rows, search_columns, search_images).
3. Inspeciona os resultados e decide se precisa de mais evidências.
4. Refina a consulta, muda o tipo de conteúdo buscado ou aplica filtros de coordenadas específicas.

• Gestão de Contexto: Para evitar estouro de tokens, o sistema utiliza uma estratégia de "sempre podar" (always-prune): ao recuperar novas imagens, o conteúdo codificado das imagens anteriores é removido, mantendo apenas os metadados textuais e o histórico de raciocínio.

C. Arquitetura Planejador-Executor

Para lidar com fluxos de trabalho complexos e multi-etapa, o BRTR introduz:

• Planejador: Decompõe instruções complexas em um grafo de dependências de subtarefas (DAG).
• Executores Especializados: Existem seis executores distintos para tarefas específicas: Excel (leitura/escrita), IO (PDFs, CSVs), Web (busca, dados financeiros), Validação (invariantes contábeis), OCR e Busca (ferramentas BRTR).
• Execução Paralela: Ramificações independentes do grafo são executadas concorrentemente, mitigando a acumulação de erros comum em agentes monolíticos.

3. Principais Contribuições

1. Avaliação de Modelos de Embedding Multimodal: O primeiro estudo empírico comparando cinco modelos de embedding para recuperação em planilhas, identificando o NVIDIA NeMo Retriever 1B como o líder.
2. Framework Agente Iterativo: A introdução do BRTR, que permite raciocínio multi-turno, refinamento de consultas e edição estruturada, superando as limitações de métodos de passada única.
3. Validação Humana Rigorosa: O framework foi avaliado com mais de 200 horas de avaliação humana por especialistas em finanças e contabilidade, garantindo a precisão das métricas.
4. Auditabilidade Completa: O sistema mantém rastros explícitos de todas as chamadas de ferramentas (tool-call traces), permitindo auditoria total do processo de decisão.

4. Resultados Experimentais

O BRTR foi testado em três benchmarks de ponta:

• FRTR-Bench (Compreensão de Planilhas Empresariais):

  • O BRTR alcançou 99% de precisão com modelos de ponta (GPT-5, Gemini 3 Pro), superando a melhor linha de base de passada única (FRTR) em 25 pontos percentuais.
  • Métodos de compressão (SpreadsheetLLM) tiveram desempenho muito pobre (6-34%), falhando em recuperar dependências entre abas.
  • O BRTR corrigiu quase todos os erros relacionados à interpretação de imagens embutidas, onde métodos anteriores falhavam.

• SpreadsheetLLM Benchmark (Tarefas de Uma Única Aba):

  • O BRTR alcançou 97-98% de precisão, superando a compressão do SpreadsheetLLM (89-91%) e a abordagem de contexto completo ingênuo (55-68%).
  • Demonstrou que a recuperação iterativa é benéfica mesmo para tarefas mais simples, embora o ganho seja maior em tarefas complexas.

• FINCH (Fluxos de Trabalho Financeiros e Contábeis):

  • Em um conjunto de 172 fluxos de trabalho complexos (múltiplas abas, PDFs, imagens), o BRTR alcançou 95% de precisão (com Claude Opus 4.6 e GPT-5.2).
  • Isso representa um aumento massivo de +48 a +66 pontos percentuais em relação a agentes de chamada única (naïve single-call agents).
  • A arquitetura de planejador foi crucial para evitar a acumulação de erros em tarefas de longo horizonte.

• Análise de Custo e Eficiência:

  • Embora o BRTR consuma mais tokens devido à natureza iterativa, o modelo GPT-5.2 demonstrou o melhor equilíbrio entre eficiência e precisão, consumindo significativamente menos tokens que outros modelos de alta precisão (ex: Claude Opus) mantendo a mesma taxa de acerto.
  • Estudos de ablação confirmaram que a remoção do "Planejador" ou do "Loop de Agente" causa quedas drásticas de desempenho (ex: 0% de precisão sem o loop iterativo).

5. Significado e Conclusão

O artigo demonstra que a compreensão e edição de planilhas corporativas complexas não podem ser resolvidas apenas por compressão de dados ou recuperação estática. A chave é a agência iterativa: a capacidade do modelo de planejar, buscar evidências incrementalmente, validar resultados e refinar sua estratégia.

O BRTR estabelece um novo estado da arte (SOTA) ao provar que, com a arquitetura correta (planejador + ferramentas estruturadas + recuperação multimodal), os LLMs podem lidar com fluxos de trabalho empresariais reais que envolvem milhões de células e múltiplos formatos de arquivo. Isso abre caminho para assistentes de IA verdadeiramente autônomos e auditáveis em ambientes corporativos críticos de finanças e contabilidade.