S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence

O artigo apresenta o S-Agent, um paradigma de uso de ferramentas espaciais livre de treinamento que aumenta a inteligência espacial ao transformar a inferência visual estática em um processo de raciocínio dinâmico e centrado na cena por meio de acumulação de evidências espaço-temporais, fundamentação 3D hierárquica e mecanismos de memória dupla, permitindo, em última análise, que modelos de código aberto e ajustados superem os baselines existentes em benchmarks de raciocínio espacial complexos.

O essencial

Imagine que você está tentando resolver um mistério em uma sala que nunca viu antes, mas só pode olhar através de um pequeno buraco de fechadura por uma fração de segundo de cada vez.

O Problema: A "Cegueira do Instantâneo" (Snapshot Blindness)
Os modelos de IA atuais (chamados de VLMs) são como detetives que são forçados a adivinhar o layout de todo o quarto baseando-se apenas em um único instantâneo borrado. Eles são ótimos em reconhecer o que está na imagem (ex: "Isso é uma cadeira"), mas são péssimos em entender onde as coisas estão no espaço 3D em relação umas às outras, especialmente se a câmera se mover ou a visão mudar. Eles tentam dar a resposta imediatamente, contando com palpites sortudos ou padrões de texto em vez de evidências reais.

A Solução: S-Agent (O "Detetive com uma Caixa de Ferramentas")
O artigo apresenta o S-Agent, uma nova forma de pensar. Em vez de adivinhar, o S-Agent age como um detetive que se recusa a responder até ter reunido provas suficientes. Ele não apenas "olha"; ele investiga.

Veja como o S-Agent funciona, usando uma analogia simples:

1. O Cérebro (O Planejador)

Pense no "cérebro" da IA como um Gerente de Projetos. O único trabalho dele é fazer perguntas. Ele não tenta medir distâncias ou contar objetos por conta própria. Em vez disso, ele observa o problema e diz: "Eu ainda não sei onde o sofá está em relação à TV. Preciso chamar o Agrimensor".

2. A Caixa de Ferramentas (A Hierarquia)

O Gerente de Projetos tem uma equipe de trabalhadores especializados (ferramentas) que ele pode convocar, organizados em três níveis:

• Nível 1: O Observador (Visão 2D): Este trabalhador olha para os quadros do vídeo e diz: "Eu vejo um sofá aqui e uma TV ali". Ele apenas encontra os objetos.
• Nível 2: O Arquiteto (Elevação 3D): Este trabalhador pega os pontos 2D e constrói um modelo 3D. Ele diz: "Ok, o sofá está na verdade a 2 metros de distância, e a TV está a 3 metros de distância. Aqui está a profundidade".
• Nível 3: O Analista (Agregação Especializada): Este trabalhador pega os números brutos e fornece uma resposta clara. "Com base nas medições, a TV está 1 metro mais próxima do sofá do que a cadeira".

3. Os Cadernos (A Memória)

Esta é a parte mais importante. A maioria dos modelos de IA tem uma "memória de curto prazo" que esquece tudo assim que o próximo quadro chega. O S-Agent possui dois cadernos permanentes:

• O Caderno da Cena: Mantém uma lista contín hora de tudo o que foi encontrado até agora. Se a câmera girar e vir o sofá novamente, o caderno diz: "Nós já sabemos onde o sofá está; não o meça novamente". Isso evita confusão e contagem dupla.
• O Registro do Detetive: Registra o processo. Ele lembra: "Eu pedi uma medição, a ferramenta me deu um número, mas eu ainda não sei a direção, então preciso pedir um ângulo diferente".

Como o Jogo se Desenrola

Imagine um vídeo onde você precisa saber qual objeto está mais próximo de um sofá.

• IA Antiga: Olha para um quadro, vê uma cadeira e uma planta, e adivinha: "A cadeira está mais perto!" (Ela pode estar errada porque a planta está na verdade mais perto no próximo quadro).
• S-Agent:
  1. Pensa: "Eu preciso comparar distâncias".
  2. Chama as Ferramentas: Ele varre o vídeo, encontra a cadeira e a planta em diferentes quadros, e usa uma ferramenta de profundidade para medir a distância exata de cada uma em relação ao sofá.
  3. Atualiza a Memória: Ele escreve: "Cadeira está a 1,0m de distância. Planta está a 1,5m de distância".
  4. Conclui: "A cadeira está mais próxima".

Os Resultados

O artigo testou esta abordagem de "detetive" em vários testes difíceis (benchmarks) envolvendo vídeos e múltiplas imagens.

• Poder Zero-Shot: Mesmo sem qualquer treinamento especial, apenas usando este método de "uso de ferramentas", o S-Agent tornou modelos de IA poderosos existentes (como Gemini e GPT) significativamente mais inteligentes em tarefas espaciais. Ele superou os melhores modelos de código fechado em alguns testes.
• Criando um "Mini-Eu": Os pesquisadores pegaram os "processos de pensamento" e as "chamadas de ferramentas" do inteligente S-Agent e os usaram para ensinar um modelo de IA menor e mais barato (chamado S-Agent-8B). Esse modelo pequeno aprendeu a pensar como o grande detetive e teve um desempenho quase tão bom quanto os modelos de código fechado mais caros.

Em Resumo:
O S-Agent transforma o raciocínio espacial de um jogo de adivinhação em uma missão de coleta de evidências. Ao decompor o problema, usar ferramentas para medir e manter uma memória do que aprendeu, ele constrói uma compreensão 3D confiável do mundo, em vez de apenas um instantâneo 2D.

Resumo técnico

Resumo Técnico: S-Agent – O Uso de Ferramentas Espaciais Estimula o Raciocínio para Inteligência Espacial

1. Declaração do Problema

Os atuais Modelos de Linguagem-Visão (VLMs) exibem um "gap semântico-geométrico" fundamental. Embora treinados em vastos corpora visuais-textuais 2D, eles lutam com a inteligência espacial do mundo real, que exige a compreensão de relações geométricas em um mundo 3D contínuo e em evolução. As abordagens existentes enfrentam duas limitações primárias:

1. Inferência Estática e Sem Estado: A maioria dos VLMs e agentes aumentados por ferramentas depende de observações visuais isoladas e estáticas (frames ou imagens únicas). Eles carecem de mecanismos para manter estados de objetos persistentes ou integrar evidências ao longo do tempo e de múltiplos pontos de vista.
2. Representações com Perda de Informação: Os modelos atuais frequentemente medeiam o raciocínio através de priors semânticos e padrões textuais, em vez de evidências geométricas 3D fundamentadas. Isso leva a falhas em tarefas que exigem medições métricas, posicionamento relativo ou raciocínio sobre cenas dinâmicas onde objetos estão parcialmente ocluídos ou são visíveis apenas através de múltiplos frames.

O artigo argumenta que a inteligência espacial baseada em vídeo requer mais do que um reconhecimento 2D/3D mais forte; ela demanda um mecanismo de raciocínio capaz de acumular evidências espaço-temporais para construir uma compreensão 3D coerente.

2. Metodologia: O Framework S-Agent

O S-Agent é um paradigma de agente de uso de ferramentas espaciais projetado para transformar o raciocínio espacial de uma predição isolada por frame em um processo ativo de acumulação de evidências espaço-temporais. O framework trata o VLM não como um preditor direto, mas como um planejador semântico que orquestra uma hierarquia de ferramentas espaciais e gerencia a memória.

2.1. Aquisição Hierárquica de Evidências Espaciais

O S-Agent processa evidências através de uma hierarquia de três níveis, delegando tarefas perceptivas e computacionais específicas a ferramentas especializadas:

• Nível 1: Aquisição de Evidência Visual 2D: O agente seleciona keyframes informativos, fundamenta objetos/regiões usando detectores de vocabulário aberto (ex: G-DINO) e verifica fatos visuais. Isso estabelece pistas centradas em objetos para o raciocínio subsequente.
• Nível 2: Elevação Geométrica 2D-para-3D: Usando ferramentas de geometria multi-view (ex: estimativa de profundidade, reconstrução 3D), o agente eleva observações 2D para uma representação consciente de 3D. Isso recupera coordenadas métricas, poses de câmera e estruturas de profundidade, permitindo a integração de visões fragmentadas em um contexto espacial compartilhado.
• Nível 3: Agregação de Conhecimento Espacial: Especialistas espaciais especializados (ex: contagem, medição métrica, orientação e especialistas em relação) agregam as pistas 2D/3D em conhecimento de alto nível específico da cena. Esta etapa converte sinais geométricos brutos em respostas estruturadas (ex: "O Objeto A está a 1,2m do Objeto B"), reduzindo o fardo sobre o VLM de realizar raciocínio métrico não confiável em texto livre.

2.2. Memória Temporal para Raciocínio com Estado

Para suportar o raciocínio sobre observações contínuas, o S-Agent mantém dois estados de memória complementares:

• Memória de Cena (Scene Memory): Um armazenamento centrado em entidades que rastreia objetos fundamentados através de frames e pontos de vista. Ele vincula observações repetidas a entidades de cena persistentes, acumula atributos geométricos e suprime evidências duplicadas. Preserva o estado evolutivo da cena 3D relevante para a consulta.
• Memória do Agente (Agent Memory): Um armazenamento orientado a processos que registra a trajetória de raciocínio, incluindo chamadas de ferramentas, observações, falhas e pensamentos intermediários. Isso permite que o planejador identifique incertezas não resolvidas, evite chamadas de ferramentas redundantes e refine estratégias com base no feedback anterior.

2.3. Destilação em Tempo de Treinamento (S-AGENT-8B)

Além da inferência zero-shot, os autores propõem um pipeline de destilação para treinar agentes compactos:

1. Geração de Dados: Um S-Agent professor poderoso e congelado (usando GPT-5.4) gera trajetórias de raciocínio completas no dataset SenseNova-SI-800K. Essas trajetórias incluem pensamentos do planejador, solicitações de ferramentas, observações, atualizações de memória e respostas finais.
2. Filtragem e Decomposição: As trajetórias são filtradas para validade de execução e correção de resposta. Elas são então decompostas em sinais de supervisão de múltiplas granularidades: trajetórias completas de resposta final, decisões de uso de ferramenta ao nível de turno e interações específicas de especialistas/ferramentas.
3. Fine-Tuning Supervisionado (SFT): O dataset resultante, S-300K, é usado para fazer o fine-tuning do modelo de pesos abertos Qwen3-VL-8B, resultando no S-Agent-8B. Este agente compacto aprende não apenas respostas espaciais, mas também as políticas para acumulação de evidências e seleção de ferramentas.

3. Principais Contribuições

• Paradigma Agêntico para Raciocínio Espacial: Introduz o S-Agent, que redefine o raciocínio espacial como um processo iterativo e com estado de acumulação de evidências, em vez de uma predição de disparo único.
• Arquitetura de Uso de Ferramentas Hierárquica: Propõe uma hierarquia de ferramentas de três níveis (fundamentação 2D $\to$ elevação 3D $\to$ agregação de conhecimento) que separa o planejamento semântico do cálculo geométrico.
• Sistema de Memória Dual: Desenha um mecanismo de memória dual (Cena e Agente) para manter o estado 3D persistente e o contexto de raciocínio através do tempo e de visões.
• Destilação Escalável: Demonstra que trajetórias de raciocínio de alta qualidade de um agente de grande escala podem ser destiladas em um modelo compacto de 8B (S-Agent-8B) que rivaliza com modelos proprietários avançados.

4. Resultados Experimentais

Os autores avaliaram o S-Agent em quatro benchmarks: MMSI-Bench (multi-imagem), ViewSpatial-Bench (consciente de perspectiva), ReVSI (raciocínio 3D em vídeo) e VSI-SUPER (mudança espacial em vídeo).

• Desempenho Zero-Shot:

  • No MMSI-Bench, o S-Agent (usando Gemini 3 Pro como planejador) alcançou 46,4%, superando a linha de base proprietária Gemini 3 Pro em 1,2% e o GPT-5.4 em 4,5%. Mostrou força particular em percepção de movimento e raciocínio de múltiplos passos.
  • No ViewSpatial-Bench, o S-Agent alcançou 60,0%, superando o GPT-5.4 em 14,4%, com ganhos significativos em tarefas de direção relativa e consciência de perspectiva.
  • No ReVSI, o S-Agent classificou-se em segundo lugar geral com 58,8%, superando todos os modelos generais de código aberto e baselines espacialmente especializados.

• Resultados de Treinamento (S-Agent-8B):

  • O S-Agent-8B destilado superou significativamente o base Qwen3-VL-8B-Instruct (31,1% $\to$ 41,6% no MMSI-Bench, um ganho de 10,5%).
  • O S-Agent-8B também superou o S-Agent zero-shot usando o mesmo backbone de 8B, demonstrando que o modelo aprendeu com sucesso as políticas de uso de ferramentas e padrões de integração de evidências.
  • O modelo compacto de 8B teve desempenho comparável a modelos fechados avançados como GPT-5.4 e Gemini 3 Pro em múltiplos benchmarks.

• Estudos de Ablação:

  • Experimentos confirmaram que os especialistas de Nível-3 (interpretando dados 3D) foram cruciais, pois a evidência 3D bruta sozinha poderia distrair o planejador.
  • Tanto a Memória de Cena quanto a Memória do Agente forneceram aumentos significativos de desempenho, com sua combinação produzindo os melhores resultados.

5. Significância e Alegações

O artigo afirma que o S-Agent representa uma mudança do "reconhecimento centrado no frame" para o "entendimento centrado na cena". Ao separar explicitamente o planejamento semântico da aquisição de evidência geométrica e manter o estado com memória, o framework aborda as limitações dos VLMs estáticos em ambientes 3D dinâmicos.

Os autores afirmam que:

1. A Acumulação de Evidências é a Chave: A inteligência espacial em configurações de vídeo e multi-view depende da acumulação de evidências espaço-temporais em vez de inferir a partir de frames isolados.
2. O Uso de Ferramentas Melhora a Fundamentação: Ferramentas hierárquicas permitem que o sistema fundamente objetos em 2D, os eleve para 3D e os agregue em métricas confiáveis, reduzindo alucinações comuns no raciocínio puro de VLM.
3. A Destilação é Eficaz: Os padrões de raciocínio de um agente de grande escala que utiliza ferramentas podem ser efetivamente destilados em modelos menores de pesos abertos, tornando o raciocínio espacial avançado acessível sem a necessidade de modelos proprietários massivos.

O trabalho posiciona a acumulação agêntica de evidências como uma direção promissora para a construção de VLMs com inteligência espacial mais forte e fundamentada, essencial para aplicações em robótica incorporada, AR/VR e direção autônoma.