Resumo Técnico: LocalNav

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) revolucionaram a navegação incorporada ao permitir a Navegação de Objeto de Vocabulário Aberto (ObjectNav), possibilitando que agentes localizem alvos semanticamente complexos (ex: "gavetas abaixo do micro-ondas") em vez de categorias genéricas. No entanto, um gargalo crítico existe: os VLMs de estado da arte (SotA) são computacionalmente proibitivos para execução local em hardware robótico com recursos limitados (ex: GPUs embarcadas como o Jetson Orin). Consequentemente, esses sistemas são tipicamente confinados à execução na nuvem, introduzindo latência de rede e problemas de dependência que dificultam o controle robótico de baixa latência e tempo real.

Abordagens existentes enfrentam uma dicotomia:

1. Predição de Ação de Baixo Nível (VLAs): Esses modelos predizem ações discretas diretamente, mas exigem inferência contínua (5–10 Hz), impondo um fardo computacional severo que é difícil de sustentar em dispositivos de borda (edge).
2. Tomada de Decisão de Alto Nível: Esses sistemas utilizam VLMs esparsamente para raciocínio abstrato (ex: via Grafos de Cena) enquanto delegam o controle de baixo nível a políticas dedicadas. Embora isso relaxe as restrições de latência, as implementações SotA dependem de modelos de fronteira massivos e vinculados à nuvem, falhando em alcançar uma implantação totalmente local.

O desafio é alcançar o desempenho de SotA em ObjectNav de vocabulário aberto em hardware local, implantável na borda, sem sacrificar as capacidades de raciocínio dos grandes modelos de fronteira.

Metodologia

Os autores propõem o LocalNav, um framework focado primeiro na implantação que integra uma arquitetura modular baseada em Grafo de Cena (SG) com um pipeline de duas etapas de destilação e otimização.

1. Arquitetura do Sistema

O sistema desacopla o raciocínio de alto nível do controle de baixo nível:

• Representação de Cena: Um Grafo de Cena (SG) explícito e atualizado online, construído a partir de dados RGB-D e odometria. Ele codifica salas, objetos e fronteiras de exploração.
• Estratégia de Prompting: O VLM recebe um prompt multimodal consistindo em:
  • Texto: Uma lista da localização atual do agente, salas exploradas/não exploradas e objetos observados com IDs.
  • Imagem: O quadro RGB atual aumentado com IDs projetados de objetos do SG visíveis (inspirado em prompting de "set-of-marks") para fundamentar IDs simbólicos em regiões visuais.
• Espaço de Ação: O VLM seleciona entre quatro ações de alto nível: navigate(object_id), explore(room_id), find_new_rooms() ou done(). Uma política dedicada de PointGoal executa o movimento físico.

2. Pipeline de Treinamento

Para permitir a execução local, os autores empregam uma estratégia de treinamento em duas etapas em um modelo leve Qwen3.5-4B:

• Estágio I: Ajuste Fino Supervisionado (SFT) via Destilação:

  • Modelos Professores: Traços de raciocínio são registrados de modelos de fronteira na nuvem (Gemini 3.1 Pro, GPT-5.4 e Claude Sonnet 4.6) realizando ObjectNav em simulação.
  • Eficiência de Dados: Apenas trajetórias bem-sucedidas (aprox. 500 amostras por professor) são usadas para ajustar o modelo aluno. Isso evita a necessidade de milhões de amostras ou alinhamento complexo no espaço de características.
  • Objetivo: Transferir capacidades de raciocínio espacial-semântico complexas dos grandes modelos de nuvem para o modelo local de 4B parâmetros.

• Estágio II: Aprendizado por Reforço Incorporado de Recompensas Verificáveis (E-RLVR):

  • Objetivo: Abordar o gargalo de latência de inferência causado pela geração de tokens autorregressiva (TG) verbosa.
  • Mecanismo: O modelo é treinado em uma simulação de malha fechada usando Otimização de Política Relativa de Grupo (GRPO) com Adaptação de Baixo Posto (LoRA).
  • Função de Recompensa ($R_{tot}$): Uma recompensa multi-objetivo combina:
    • $R_{done}$: Sucesso/falha ao atingir o objetivo.
    • $R_{nav}$: Progresso em direção ao objetivo.
    • $R_{exp}$: Descoberta de novos nós ou do objetivo no SG.
    • $R_{brev}$: Brevidade de Tokens. Uma recompensa linear penalizando sequências de saída longas, incentivando o modelo a comprimir seu raciocínio sem perder a precisão de navegação.
  • Resultado: O modelo aprende a "pensar" de forma eficiente, reduzindo o comprimento da sequência de saída enquanto mantém o desempenho da tarefa.

3. Otimização de Implantação

O sistema final é implantado em um Jetson Orin AGX usando llama.cpp. Os autores aplicam quantização (especificamente o formato IQ4-XS) para acelerar ainda mais a fase de decodificação autorregressiva, que representa a maior parte do tempo de execução.

Principais Contribuições

1. Otimização de VLM Local: Demonstrou que um VLM de 4 bilhões de parâmetros pode ser otimizado para ObjectNav, alcançando uma Taxa de Sucesso (SR) de 34,5% no benchmark HM3D OVON, diminuindo a lacuna em relação aos modelos baseados em nuvem (39,7% SR).
2. Análise de Destilação: Mostrou que destilar o raciocínio de modelos de fronteira usando um conjunto de dados mínimo (~500 traços) é suficiente para transferir capacidades de navegação complexas, evitando a necessidade de enormes conjuntos de dados de SFT.
3. Estratégia de Treinamento E-RLVR: Introduziu uma abordagem de aprendizado por reforço que regulariza explicitamente o comprimento da geração de tokens. Isso reduziu o comprimento da sequência de saída em 72,1% e a latência de inferência em 71,8% sem degradar significativamente o desempenho da navegação.
4. Arquitetura de Sistema Performante: Construiu um sistema de navegação modular baseado em SG que suporta a substituição direta de VLMs, alcançando desempenho de SotA (39,7% SR) com modelos de nuvem e implantação local viável.

Resultados

• Desempenho de Benchmark:
  • Baseline de Nuvem (Claude Sonnet 4.6): 39,7% SR, 19,7% SPL.
  • Aluno Local (Qwen3.5-4B + SFT + E-RLVR): 34,5% SR, 17,2% SPL.
  • O modelo local alcança uma lacuna de desempenho de apenas 5,2 pontos percentuais em SR comparado ao modelo de fronteira na nuvem.
• Ganhos de Eficiência:
  • Redução de Tokens: O E-RLVR reduziu a média de tokens de saída por consulta de ~535 para ~149 (uma redução de 72,1%).
  • Latência: Combinado com a quantização, o sistema alcançou uma redução de 82,8% na latência total de inferência por episódio (de 305,2s para 52,5s no Jetson Orin).
  • Frequência de Consulta: O número de consultas ao VLM por episódio foi reduzido de ~30 (zero-shot) para ~8 (otimizado).
• Validação no Mundo Real: O sistema foi implantado com sucesso em um dispositivo robótico portátil em um apartamento real, completando quatro tarefas sequenciais de ObjectNav (encontrar um sofá, piano, banheira e uma pessoa à mesa) ao utilizar o SG para memória e navegação.

Significância

O artigo afirma que o LocalNav apresenta um paradigma viável para inteligência incorporada de alta performance e baixa latência em hardware robótico físico. Ao combinar a tomada de decisão de alto nível modular com destilação eficiente e regularização de tokens, os autores demonstram que dispositivos de borda com recursos limitados podem executar tarefas de navegação de vocabulário aberto complexas sem depender de conexões na nuvem. Este trabalho preenche a lacuna entre as capacidades de raciocínio dos modelos de fronteira e as restrições práticas da implantação robótica embarcada, oferecendo um caminho para agentes autônomos de vocabulário aberto verdadeiramente independentes.