Resumo Técnico: Qwen-RobotNav

Declaração do Problema

A navegação incorporada (embodied navigation) abrange uma família diversificada de tarefas — incluindo seguimento de instruções, navegação de ponto-objetivo (point-goal), busca de objetos, rastreamento de alvos e direção autônoma. Embora modelos de navegação unificados recentes tenham demonstrado que uma única arquitetura pode lidar com múltiplas famílias de tarefas, eles falham em abordar um requisito crítico para sistemas de navegação agênticos: a necessidade de uma estratégia de observação que possa ser reconfigurada externamente no momento da inferência.

Diferentes tarefas de navegação exigem contextos temporais e estratégias de memória fundamentalmente distintos. Por exemplo, o seguimento de instruções exige a retenção de observações que abrangem dezenas de passos anteriores para referenciar marcos distantes, enquanto o rastreamento de alvos depende quase exclusivamente dos quadros mais recentes, tratando o histórico obsoleto como ruído. A busca de objetos complica ainda mais o cenário ao deslocar os requisitos dentro de um único episódio (de uma memória global ampla durante a exploração para uma atenção focada na recência durante a aproximação). Os modelos unificados existentes (ex: NavFoM, ABot-N0) incorporam uma única suposição fixa sobre quais observações importam (ex: subamostragem uniforme ou janelas deslizantes), tornando-os incapazes de se adaptar no meio de um episódio ou de servir como blocos de construção flexíveis para planejadores de alto nível.

Metodologia

Os autores introduzem o Qwen-RobotNav, um modelo de navegação escalável construído sobre o backbone Qwen3-VL. Em vez de projetar arquiteturas específicas para cada tarefa, os autores reformulam o desafio como modelagem de contexto de observação. A inovação central é uma interface parametrizada que permite a um agente externo configurar dinamicamente como o modelo consome o fluxo visual sem modificação arquitetônica ou retreinamento específico para a tarefa.

1. Arquitetura e Interface

O Qwen-RobotNav herda o codificador de visão Qwen3-VL e o backbone de linguagem, aumentados com uma cabeça de ação MLP leve de 4 camadas que prevê uma trajetória de 8 waypoints $(x, y, \theta)$. O modelo expõe duas dimensões de configuração complementares:

• Modos de Tarefa: O modelo suporta múltiplos modos (VLN, PointNav, ObjNav, Tracking) selecionáveis via prompts de linguagem natural. Estes não são políticas separadas, mas interfaces diferentes para os mesmos pesos do modelo.
• Parâmetros de Observação Controláveis: O modelo aceita uma configuração $\Phi = (B, \gamma, \{w_c\}, m, b_{min}, b_{max})$ que governa a alocação de tokens visuais:
  • Orçamento de Tokens ($B$): Total de tokens visuais através de todas as câmeras e passos de tempo.
  • Decaimento Temporal ($\gamma$): Controla o viés de recência, pesando os quadros recentes mais fortemente do que os antigos.
  • Pesos de Câmera ($w_c$): Multiplicadores de importância por câmera (ex: câmera frontal com peso maior que a traseira).
  • Amostragem de Quadros ($m$): Aleatória (cobertura global) ou Recente (janela de recência).

2. Codificação de Observação Adaptável à Tarefa

O modelo emprega um algoritmo de alocação de tokens restrito. Dado um orçamento $B$, ele distribui tokens entre $T'$ quadros e $N$ câmeras com base em uma matriz de peso conjunta $W[t, c] = \omega_t \cdot w_c$. O algoritmo garante um piso mínimo ($b_{min}$) e um teto máximo ($b_{max}$) por imagem, redistribuindo tokens excedentes iterativamente. Isso permite que o modelo ajuste dinamicamente a resolução e o comprimento do contexto com base nas necessidades da tarefa (ex: alta resolução para quadros recentes em rastreamento, cobertura mais ampla para exploração).

3. Estratégia de Treinamento

• Escala de Dados: O modelo é treinado em 15,6 milhões de amostras, compreendendo 85% de dados de planejamento de trajetória de navegação (abrangendo seguimento de instruções, point-goal, object-goal, tracking e direção autônoma) e 15% de dados de raciocínio visão-linguagem relacionados à navegação.
• Randomização no Tempo de Treinamento: Um princípio de design crítico é que nenhuma configuração de observação é fixa durante o treinamento. Hiperparâmetros ($B, \gamma, w_c$, etc.) são independentemente randomizados por amostra. Isso garante que o modelo generalize para qualquer configuração de inferência sem ajuste específico de tarefa.
• Co-treinamento: Dados de raciocínio visão-linguagem são co-treinados para evitar o "colapso" em mapeadores reativos de sequências de ação, preservando a capacidade de percepção de mundo aberto e raciocínio espacial do modelo.
• Consciência de Incorporação (Embodiment Awareness): Diferentes plataformas físicas (robôs vs. carros) são distinguidas via preâmbulos de prompt em linguagem natural (ex: "Imagine que você é um robô..."), exigindo zero mudanças arquitetônicas.

4. Sistema de Navegação Agêntico

O Qwen-RobotNav é projetado como um executor reativo dentro de um sistema agêntico hierárquico. Um planejador de nível superior (ex: Qwen3.6-Plus) decompõe objetivos de longo horizonte em sub-tarefas, alternando dinamicamente o modo de tarefa e a estratégia de contexto do Qwen-RobotNav no meio de um episódio. O sistema mantém uma memória de dois níveis: um resumo compacto de um único episódio e um "caderno de evidências" persistente entre episódios para raciocínio de longo horizonte.

Principais Contribuições

1. Interface de Navegação Parametrizada: Um modelo unificado que permite a reconfiguração externa de estratégias de observação (orçamento de tokens, decaimento temporal, pesos de câmera) no momento da inferência, permitindo que um único modelo sirva a diversas tarefas e sub-objetivos dinâmicos.
2. Randomização no Tempo de Treinamento: Um regime de treinamento que expõe o modelo a um amplo espaço combinatório de configurações de contexto, garantindo uma generalização robusta zero-shot para qualquer configuração de inferência sem necessidade de fine-tuning.
3. Bloco de Construção Agêntico: Uma demonstração de como um modelo de fundação de navegação pode servir como um primitivo modular e reconfigurável para sistemas agênticos complexos, permitindo tarefas de longo horizonte como Embodied Question Answering (EQA) através de troca dinâmica de tarefas.
4. Aprendizado Multitarefa Escalável: O treinamento conjunto em cinco famílias distintas de tarefas (incluindo direção autônoma) desenvolve um substrato compartilhado de planejamento espacial que se transfere entre famílias de tarefas e incorporações.

Resultados Experimentais

O Qwen-RobotNav alcança resultados de estado da arte (SOTA) ou competitivos em diversos benchmarks:

• Navegação Visão-e-Linguagem (VLN-CE):
  • RxR Val-Unseen: 76,5% de Taxa de Sucesso (SR) e 72,5 nDTW (modelo 8B), superando o NavFoM em 12,1% de SR.
  • R2R Val-Unseen: 72,1% de SR (modelo 8B), superando o NavFoM em 10,4% de SR.
  • VLNVerse: 63,75% de SR em divisões finas e 46,59% de SR em divisões grosseiras, superando significativamente o NavFoM e o Uni-NaVid.
• Navegação de Objeto-Objetivo (Object-Goal Navigation):
  • HM3D v2: 75,6% de SR (modelo 4B), estabelecendo um novo SOTA neste benchmark apesar de usar apenas observações RGB (sem profundidade).
  • HM3D-OVON: 57,7% de SR no split "Seen" e 60,1% em "Synonyms", superando o ABot-N0 apesar de usar uma única câmera frontal contra o input panorâmico do ABot-N0.
• Rastreamento Visual Ativo (EVT-Bench):
  • Alcança a maior taxa de rastreamento (90,0% TR) entre todos os métodos avaliados, superando o ABot-N0 (87,6%) e o TrackVLA++ (81,0%).
• Direção Autônoma (NAVSIM):
  • Alcança 91,4 PDMS (modelo 4B) e 90,9 PDMS (modelo 8B), superando o NavFoM, AutoVLA e outros modelos especializados de direção.
• Embodied Question Answering (EQA):
  • Um sistema agêntico construído com Qwen-RobotNav estabelece novos SOTAs em HM-EQA (76,7 SR), MT-HM3D (54,4 SR) e EXPRESS-Bench (79,27 Pontuação LLM), melhorando sobre o melhor método anterior em 10,8% e 15,4% respectivamente, enquanto requer 77% menos passos de navegação.
• Implantação no Mundo Real:
  • Demonstrou transferência zero-shot para um robô quadrupedal Unitree Go2 em um pavilhão de exposições no mundo real, executando com sucesso instruções de linguagem complexas (ex: "ande para trás", "pare ao lado do sofá") e tarefas agênticas de longo horizonte (ex: encontrar um objeto específico e relatar observações).

Significância e Alegações

O artigo afirma que o Qwen-RobotNav representa uma mudança do design de políticas de navegação fixas para a criação de primitivos de navegação reconfiguráveis. Ao tratar o contexto de observação como um grau de liberdade de primeira classe e externamente controlável, o modelo preenche a lacuna entre o desempenho de tarefas especializadas e a flexibilidade necessária para sistemas agênticos.

Os autores enfatizam que a interface parametrizada permite que comportamentos complexos de longo horizonte emerjam da composição de modos de trabalho simples e bem definidos (ex: alternar do "modo de histórico global" para exploração para o "modo focado na recência" para manobras locais). Além disso, o uso de linguagem natural para identificação de perspectiva e temporal preserva o ancoramento de linguagem de mundo aberto do modelo sem overhead arquitetônico.

Os resultados validam que um modelo unificado, treinado com estratégias de contexto randomizadas, pode alcançar desempenho superior em seguimento de instruções, busca de objetos, rastreamento e direção, servindo simultaneamente como um componente robusto e transferível zero-shot para agentes incorporados de propósito geral. O trabalho sugere que a codificação de observação adaptável à tarefa é uma direção promissora para construir modelos de fundação de navegação que sejam amplamente capazes e praticáveis para implantação.