Resumo Técnico: Spatial Atlas e Raciocínio Fundamentado em Computação (CGR)

1. O Problema

O desenvolvimento de agentes de pesquisa de propósito geral capazes de operar em domínios diversos enfrenta desafios fundamentais, especialmente na confiabilidade e na prevenção de alucinações. O artigo identifica duas lacunas críticas em benchmarks recentes:

• FieldWorkArena: Avalia o raciocínio espacial multimodal em ambientes industriais (fábricas, armazéns, varejo). Modelos de Linguagem Visual (VLMs) existentes falham frequentemente em tarefas de contagem precisa, estimativa de distância e verificação de relações espaciais, tendendo a "alucinar" fatos espaciais.
• MLE-Bench: Testa a engenharia de machine learning (ML) de ponta a ponta em 75 competições do Kaggle. Agentes existentes muitas vezes não conseguem recuperar-se de erros de execução de código ou otimizar pipelines de forma iterativa.

A fragmentação atual trata esses problemas como independentes, desperdiçando infraestrutura compartilhada e perdendo insights arquitetônicos transferíveis.

2. Metodologia: Raciocínio Fundamentado em Computação (CGR)

O Spatial Atlas introduz um novo paradigma de design chamado Raciocínio Fundamentado em Computação (CGR - Compute-Grounded Reasoning). A premissa central é: sempre que um subproblema admitir uma solução determinística, compute a resposta primeiro e forneça-a como um fato ao Modelo de Linguagem (LLM), em vez de pedir ao modelo para gerar a resposta.

O sistema é implementado como um servidor único Agent-to-Agent (A2A) que gerencia ambos os benchmarks através de cinco componentes principais:

A. Motor de Grafo de Cena Espacial (Spatial Scene Graph Engine)

Focado no FieldWorkArena, este motor substitui o raciocínio visual direto por uma abordagem estruturada:

1. Extração: Um VLM (GPT-4.1 com visão) gera uma descrição textual da cena, seguida por um modelo de detecção de objetos leve (Florence-2) para obter caixas delimitadoras precisas e contagens.
2. Estruturação: As entidades são formalizadas em um grafo de cena espacial $G=(V, E)$, onde vértices são entidades e arestas são relações espaciais (distâncias, zonas, atributos).
3. Cálculo Determinístico: O sistema executa consultas determinísticas (ex: "quantos objetos estão a < 3 metros?") sobre o grafo.
4. Entrada para LLM: O LLM recebe um "folheto de fatos" (fact sheet) gerado a partir do grafo, eliminando a necessidade de estimativa visual direta e reduzindo alucinações.

B. Raciocínio Guiado por Entropia

Um framework de teoria da informação que seleciona ações para maximizar o ganho de informação enquanto minimiza custos:

• Estados de Conhecimento: O agente mantém um estado $K_t$ e calcula a entropia (incerteza) sobre as respostas possíveis.
• Seleção de Ação: Escolhe a ação que mais reduz a incerteza (ex: consultar o grafo, examinar uma região da imagem).
• Roteamento de Modelos de 3 Níveis:
  • Rápido (GPT-4.1-mini): Para tarefas simples ou classificação inicial.
  • Padrão (GPT-4.1): Para raciocínio padrão.
  • Forte (Claude Opus 4.6): Acionado apenas quando a confiança é baixa ou para refinamento iterativo.
• Reflexão: Se a confiança for baixa ($\sigma < 0.6$), o sistema aciona um passo de reflexão (reavaliação) antes de escalar para o modelo mais forte.

C. Pipeline de ML Auto-Cura (Self-Healing ML Pipeline)

Focado no MLE-Bench, transforma descrições de competições em soluções executáveis:

• Geração de Código: Cria scripts Python completos baseados em templates de estratégia (ex: LightGBM para tabelas, Transformers para NLP).
• Auto-Cura: Se a execução falhar, o sistema analisa o erro (stderr), gera um patch de código específico e reexecuta (até 3 iterações).
• Fallback: Se tudo falhar, gera uma submissão válida baseada em heurísticas simples (média/mode) para evitar pontuação zero.

D. Refinamento Orientado por Pontuação

Após uma execução bem-sucedida, o sistema extrai a pontuação de validação e solicita ao modelo "Forte" (Claude Opus) que proponha melhorias direcionadas (ex: validação cruzada K-fold, codificação de alvo). O sistema mantém apenas a versão com pontuação superior, descartando regressões.

E. Registro de Auditoria de Vazamento (Leak Audit Registry)

Para evitar que o agente seja enganado por vazamentos de dados (train/test leakage) comuns em competições:

• Um "preâmbulo de auditoria" instrui o modelo a verificar sobreposições de IDs, assinaturas de linhas, ordenação temporal e hash de arquivos antes de treinar.
• Um registro de dicas de vazamento injeta instruções específicas para competições conhecidas, permitindo que o modelo explore o vazamento de forma adaptativa ao layout dos dados.

3. Principais Contribuições

1. Motor de Grafo de Cena Espacial: Elimina alucinações espaciais ao substituir a estimativa visual por computação determinística sobre representações estruturadas.
2. Raciocínio Guiado por Entropia: Framework que otimiza custos escalando para modelos mais fortes apenas quando necessário, baseado na incerteza estimada.
3. Pipeline de ML Auto-Cura: Sistema robusto que detecta, diagnostica e corrige erros de código automaticamente, garantindo submissões válidas.
4. Refinamento Orientado por Pontuação: Loop iterativo que usa modelos fortes de provedores diferentes (Cross-Provider) para encontrar melhorias estruturais que modelos padrão podem perder.
5. Auditoria de Vazamento Adaptativa: Detecção proativa de vazamentos de dados no momento da geração de código, adaptando-se ao layout real dos dados.

4. Resultados e Avaliação

FieldWorkArena (Raciocínio Espacial)

• Desempenho: O sistema completo alcançou acurácias de 72% (Fábrica), 68% (Armazém) e 74% (Varejo).
• Comparação: O motor de grafo de cena sozinho trouxe um aumento de 21-24 pontos percentuais em comparação com um VLM puro (GPT-4V direto, que ficou em ~48-52%).
• Ablação: A remoção do grafo de cena causou a maior queda de desempenho, confirmando que o gargalo não é o raciocínio do LLM, mas a percepção espacial.

MLE-Bench (Engenharia de ML)

• Taxa de Submissão Válida: 82% em todas as 75 competições.
• Medalhas: O sistema alcançou pontuações no nível de medalha em 32% das competições.
• Desempenho por Categoria:
  • Tabelas (Tabular): 91% válidas, 42% medalhas.
  • NLP: 78% válidas, 28% medalhas.
  • Visão: 65% válidas, 15% medalhas.
• Refinamento: O loop de refinamento melhorou a métrica de validação em 35-40% das iterações elegíveis. O uso do modelo Claude Opus (diferente do GPT-4.1 usado inicialmente) foi crucial para propor melhorias estruturais distintas.

Custos e Latência

• O roteamento guiado por entropia mantém os custos baixos, resolvendo a maioria das tarefas no nível "Rápido".
• O custo médio por tarefa no FieldWorkArena é de $0.18 (12s de latência).
• No MLE-Bench, o custo varia de $0.52 (sem refinamento) a $1.85 (com refinamento), justificado pela melhoria significativa na qualidade das soluções.

5. Significado e Impacto

O Spatial Atlas demonstra que a confiabilidade de agentes de IA pode ser drasticamente aumentada ao ancorar a geração de linguagem em cálculos determinísticos sempre que possível.

• Paradigma Geral: O CGR define uma nova classe de agentes de pesquisa que são interpretáveis, confiáveis e eficientes em custos.
• Aplicações Industriais: O motor de grafo de cena tem aplicações diretas em segurança industrial, monitorando distâncias de segurança e conformidade de equipamentos.
• Interoperabilidade: A arquitetura baseada no protocolo A2A (Agent-to-Agent) permite a integração de ferramentas heterogêneas (visão, código, LLMs) em um único fluxo de trabalho coeso.

O trabalho conclui que, para tarefas complexas, a combinação de representações estruturadas, computação determinística e seleção de modelos guiada por incerteza é superior à dependência exclusiva da geração probabilística de LLMs. O código-fonte foi aberto para facilitar a reprodução e pesquisa futura.