Resumo Técnico: Imaginar em 360° para Busca Visual Humanoide

Definição do Problema

A Busca Visual Humanoide (HVS) exige que agentes corporificados explorem ativamente ambientes panorâmicos imersivos em 360° para localizar objetos específicos (Busca de Objetos Humanoides, HOS) ou caminhos navegáveis (Busca de Caminhos Humanoides, HPS). Diferentemente da percepção passiva, a HVS demanda um ciclo de percepção-ação em malha fechada, onde os agentes devem reorientar sua "cabeça" (câmera) para revelar informações ocluídas.

As abordagens atuais de última geração, como Thinking in 360° (Yu et al., 2025), tratam a HVS como uma tarefa monolítica impulsionada por Modelos de Linguagem Multimodal de Grande Porte (MLLMs) que utilizam raciocínio cumulativo em Cadeia de Pensamento (CoT). Esses métodos sofrem com três gargalos primários:

1. Sobrecarga Cognitiva: O acoplamento da compreensão espacial 3D complexa com o planejamento de ações em um único modelo cria encargos de raciocínio significativos para os MLLMs atuais.
2. Adivinhação Implícita: Sem a modelagem explícita de relações espaciais, os agentes são forçados a adivinhar implicitamente o layout de regiões não vistas, levando a explorações inativas ou imprecisas.
3. Escalabilidade de Dados: O treinamento desses agentes monolíticos requer anotações de trajetórias CoT multi-turno, caras e de alta qualidade, que são difíceis de curar em escala e dificultam a generalização para cenários diversos e do mundo real.

Metodologia: Uma Arquitetura Desacoplada

O artigo propõe Imaginar em 360°, um framework que desacopla o processo de exploração em dois componentes especializados: um Imaginador probabilístico e um Ator executivo.

1. O Imaginador (Gerador de Priors Espaciais Probabilísticos)

O Imaginador é projetado para modelar explicitamente o ambiente em 360°, prevendo o layout semântico de regiões observadas e não observadas em uma única etapa, em vez de manter uma cadeia de raciocínio cumulativa.

• Tarefa: Dada uma observação limitada de Campo de Visão Estreito (NFoV) e uma instrução em linguagem natural, o Imaginador gera um bloco estruturado contendo:
  • [Observado]: Marcos visíveis atualmente ou anteriormente.
  • [Imaginado]: Previsões probabilísticas de objetos prováveis de existir em regiões não vistas (ex.: "Escada: (-45, -10)").
• Amostragem Probabilística: Em vez de uma única adivinhação determinística, o Imaginador gera múltiplas hipóteses espaciais via amostragem por temperatura. Isso captura a incerteza inerente a ambientes ocluídos.
• Saída: Uma lista classificada de sugestões (ex.: "Sugerir Verificar (φ, µ)") representando uma distribuição de priors espaciais.

2. O Ator (Agente de Execução)

O Ator é responsável pela busca física e pode ser qualquer MLLM pronto para uso ou modelo de busca ajustado.

• Integração: O Ator recebe a observação atual de NFoV, memória histórica e as sugestões espaciais geradas pelo Imaginador.
• Raciocínio: Potencializado por esses priors, o Ator avalia a plausibilidade dos layouts sugeridos contra sua memória visual para gerar uma cadeia de raciocínio.
• Ação: O Ator gera uma próxima ação, seja uma rotação (Rot) para uma nova coordenada ou uma submissão (Sub) da visão final do alvo.

3. Motor de Dados Escalável

Uma inovação chave é a capacidade de gerar dados de treinamento sem anotações manuais de trajetória.

• Rótulos Pseudo: Os autores utilizam um modelo professor poderoso (Qwen3-VL-235B) para rotular panoramas completos em 360°.
• Trajetórias Sintéticas: A partir desses panoramas totalmente anotados, eles amostram trajetórias sinteticamente, revelando apenas 1–8 observações de NFoV por instância, mantendo 50% dos alvos fora de vista.
• Escala: Este pipeline automatizado produz aproximadamente 1,92 milhão de amostras de raciocínio espacial de alta qualidade e de etapa única em cerca de 20.000 cenas diversas, contornando o custo da curadoria de CoT em nível de trajetória.

4. Pipeline de Inferência

Durante a inferência, o Imaginador gera $K$ coordenadas candidatas por etapa:

• Uma âncora gananciosa ($T=0$) para a previsão mais confiante.
• $K-1$ amostras estocásticas ($T>0$) para capturar hipóteses diversas.
• Essas coordenadas absolutas são convertidas em ações de rotação relativas para o Ator. Um cronograma de decaimento de temperatura é aplicado ao longo das etapas de busca, transitando de uma exploração ampla para uma previsão focada à medida que evidências visuais se acumulam.

Contribuições Principais

1. Paradigma HVS Desacoplado: O artigo redefine a busca visual ao separar a imaginação espacial intuitiva do planejamento de ações. Isso permite que os agentes explorem de forma mais ativa e confiante, fundamentados em suposições espaciais sólidas, e não apenas em cadeias lógicas exaustivas.
2. Imaginador Probabilístico: Introdução de um modelo especializado que aprende priors espaciais intuitivos (ex.: layouts arquitetônicos) e guia o Ator com estimativas probabilísticas, protegendo-se efetivamente contra a incerteza espacial.
3. Motor de Dados Escalável: Um pipeline totalmente automatizado que escala o treinamento para ~1,92M de amostras sem rótulos de trajetória manuais, permitindo desempenho robusto no mundo real sem o custo proibitivo de anotação especializada.

Resultados Experimentais

O framework foi avaliado no H*Bench através de vários MLLMs de Código Aberto, Proprietários e Ajustados.

• Ganhos de Desempenho: O pipeline desacoplado supera significativamente as bases monolíticas.
  • Qwen3-VL (235B): A taxa de sucesso do HOS aumentou de 23,62% para 65,04%; a do HPS de 21,44% para 38,25%.
  • HVS-3B (Linha de base ajustada por RL): A taxa de sucesso saltou de 48,04% para 62,75% no HOS quando integrado ao Imaginador.
  • Modelos Proprietários: O Gemini-2.5 Pro melhorou de 55,00% para 66,10% no HOS.
• Eficiência: O pipeline conjunto desloca a distribuição de busca, com a maioria das buscas convergindo em 1–3 etapas, comparado à base frequentemente atingindo o limite de falha de 10 etapas. A latência de inferência é reduzida para ~2,5s por etapa (vs. 20–30s para bases de imaginação em nível de pixel como FLUX).
• Estudos de Ablação:
  • Remover o contexto de layout estruturado reduz o desempenho abaixo da base, confirmando a necessidade de modelagem espacial global explícita.
  • A amostragem probabilística ($T>0$) supera a decodificação gananciosa determinística ($T=0$), validando a importância de capturar a incerteza espacial.
  • Leis de escala mostram melhoria monotônica à medida que os dados de pré-treinamento do Imaginador aumentam de 0 para 1,92M de amostras.

Significado e Alegações

O artigo alega que Imaginar em 360° altera fundamentalmente como agentes corporificados abordam o espaço não observado. Ao modelar explicitamente priors espaciais no espaço de linguagem, em vez de depender de reconstrução em nível de pixel ou raciocínio CoT monolítico, o framework:

• Reduz o Encargo Cognitivo: Separa a tarefa difícil de previsão de layout espacial do planejamento de ações.
• Permite Escalabilidade: Resolve o gargalo de dados gerando milhões de amostras de treinamento automaticamente, tornando a HVS de alto desempenho acessível sem anotações especializadas caras.
• Melhora a Robustez: Demonstra desempenho superior em ambientes complexos do mundo real onde os agentes normalmente falham devido à incerteza espacial ou alucinação.

Os autores concluem que, embora o framework atual opere em um paradigma de execução em malha aberta (onde o Ator não pode fornecer feedback ao Imaginador), ele estabelece com sucesso uma arquitetura complementar que fundamenta priors espaciais generativos com planejamento de ações lógico, oferecendo um caminho escalável e eficiente para a Busca Visual Humanoide.