VLD: Visual Language Goal Distance for Reinforcement Learning Navigation

Título: VLD: Distância Visual-Linguística de Objetivo para Navegação por Aprendizado por Reforço

1. O Problema

O treinamento de políticas de navegação robótica end-to-end (de imagem direta para ação) enfrenta dois desafios fundamentais:

1. Falta de Dados Rotulados: Abordagens baseadas em imitação dependem de trajetórias anotadas (waypoints), que são caras e escassas de coletar em escala.
2. Fosso Sim-to-Real (Simulação para Realidade): Políticas treinadas em simuladores frequentemente falham ao serem transferidas para o mundo real devido a discrepâncias na aparência visual (fotorrealismo) e na dinâmica física.
3. Limitações de Generalização: Métodos existentes (como ViNT e VIP) muitas vezes tratam a estimativa de distância como um sinal auxiliar, não isolando suficientemente a percepção da controle, ou dependem excessivamente de dados específicos de um único robô.

2. Metodologia Proposta: VLD

Os autores propõem um framework que desacopla o aprendizado de percepção do aprendizado de controle, utilizando uma abordagem em duas etapas:

A. Aprendizado de Distância Visual-Linguística (VLD)

Em vez de treinar uma política de navegação diretamente, o primeiro estágio treina um preditor de distância "temporal" (número de passos para o objetivo) usando dados em escala de internet.

• Dados: Utiliza 3.000 horas de vídeos diversos, incluindo trajetórias sintéticas (Habitat), vídeos "in-the-wild" (YouTube/Ego4D) e dados de robôs reais.
• Arquitetura:
  • Codificadores Congelados: Usa DINOv2 para imagens e CLIP para texto.
  • Decodificador: Um Transformer decodifica a relação entre a observação atual (ego-cêntrica) e o objetivo (imagem ou texto).
  • Saída: O modelo prevê a distância temporal (número de passos) e uma pontuação de confiança.
• Função de Perda: Utiliza uma mistura Gaussiana de inliers-outliers (Negative Log-Likelihood). Isso permite que o modelo aprenda a estimar a incerteza: casos ambíguos (ex: sem sobreposição visual) recebem baixa confiança, enquanto casos claros recebem alta confiança.
• Avaliação: Introduz a Consistência Ordinal (usando o coeficiente de correlação de Kendall's $\tau$) como métrica principal. O foco não é prever a distância absoluta exata, mas garantir que a ordem relativa esteja correta (ex: "estou mais perto do objetivo agora do que antes").

B. Política de Navegação por Aprendizado por Reforço (RL)

A segunda etapa treina a política de controle em simulação.

• Sinal de Treinamento: A política recebe sinais geométricos privilegiados (distância real ao objetivo do simulador) em vez de imagens brutas.
• Injeção de Ruído Estruturado: Para simular a incerteza do preditor VLD real, adiciona-se ruído ao sinal de distância durante o treinamento. Esse ruído é gerado por um modelo leve (MLP) treinado para imitar a distribuição de erro do VLD baseada na sobreposição geométrica (quão visível o objetivo está).
• Implantação (Deploy): No mundo real, o sinal privilegiado é substituído pelas previsões do modelo VLD treinado. A política aprendeu a navegar robustamente mesmo com um sinal de distância ruidoso e semântico.

3. Contribuições Principais

1. Framework Escalável VLD: Um método para treinar preditores de distância visão-linguagem em escala massiva de dados da internet, superando designs anteriores (ViNT, VIP) em consistência ordinal.
2. Método de Avaliação de Consistência Ordinal: Uma nova metodologia para avaliar preditores de distância de forma isolada, focando na ordem relativa das previsões em vez de apenas no sucesso da tarefa final.
3. Desacoplamento Percepção-Controle: Uma arquitetura que permite treinar a percepção em dados do mundo real e o controle em simulação, criando uma ponte robusta para transferência sim-to-real.
4. Navegação Multimodal: O sistema aceita objetivos tanto por imagem quanto por texto natural, permitindo flexibilidade em cenários onde uma imagem de referência pode não estar disponível.

4. Resultados Experimentais

Avaliação da Função de Distância (VLD)

• Consistência Ordinal: O VLD treinado em dados mistos (sintéticos + reais) alcançou um $\tau$ (Kendall) significativamente superior aos baselines (ViNT-Tuned, VIP-Nav) em ambientes sintéticos (Habitat) e reais.
  • Exemplo: Em Habitat (20 passos), VLD atingiu 0.82 vs. 0.67 do ViNT-Tuned.
• Generalização: O modelo mantém consistência ordinal mesmo quando não há sobreposição visual direta entre a visão atual e o objetivo (cenários de longo horizonte).
• Objetivos de Texto: Embora objetivos apenas de texto sejam mais ruidosos que imagens, o modelo ainda supera baselines ajustados, demonstrando capacidade de navegação semântica.

Desempenho de Navegação (Simulação e Realidade)

• Simulação (Gibson):
  • Políticas treinadas com ruído geométrico e substituídas por VLD no deploy alcançaram uma taxa de sucesso de 73.1%, comparável a políticas treinadas com distâncias perfeitas (95.8%).
  • Ao substituir o sinal de distância por outros modelos (ViNT, VIP), o desempenho cai drasticamente, confirmando que a qualidade do preditor VLD é crucial.
• Transferência Sim-to-Real (TurtleBot4):
  • Este é o resultado mais impactante. O VLD alcançou 93.3% de sucesso no mundo real.
  • Em contraste, um baseline forte baseado em imagem (FGPrompt-EF) obteve apenas 60.0% no mundo real, frequentemente falhando ao ignorar pistas visuais ou parar prematuramente.
  • O VLD demonstrou comportamentos robustos, como realizar varreduras de 360 graus para encontrar pistas visuais antes de avançar.

5. Significado e Conclusão

O trabalho demonstra que desacoplar a percepção semântica do controle motor é uma via mais escalável e robusta para a navegação robótica do que treinar modelos end-to-end massivos.

• Escalabilidade: A percepção (onde ir) é aprendida de dados da internet sem anotações de ação, enquanto o controle (como ir) é aprendido em simulação com sinais geométricos.
• Robustez: Ao treinar a política para lidar com a incerteza inerente a preditores de distância (através da injeção de ruído estruturado), o sistema torna-se resiliente às variações entre simulação e realidade.
• Futuro: O VLD oferece uma alternativa viável aos modelos VLA (Vision-Language-Action) pesados, provando que um sinal escalar de distância, aprendido de forma auto-supervisionada, é suficiente para guiar robôs complexos em ambientes não estruturados com alta taxa de sucesso.

Em resumo, o VLD estabelece um novo paradigma onde a "inteligência" de navegação de alto nível (entender o objetivo) é separada da "inteligência" de baixo nível (controle de motores), permitindo que robôs aprendam a navegar em qualquer lugar usando dados da internet e simuladores.