Resumo Técnico: VEGA – Aprendizado de Navegação para VLAs a partir de Vídeos Egocêntricos "In-the-Wild" com Supervisão de Trajetória Geométrica

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) têm mostrado grande promessa na manipulação robótica ao alavancar conjuntos de dados diversos e de larga escala. No entanto, escalar esses modelos para a navegação de robôs móveis terrestres continua sendo um gargalo crítico. Os conjuntos de dados de navegação existentes são esparsos, tipicamente fornecendo apenas uma trajetória por cena em direção a um objetivo implícito ou explícito. Essa falta de supervisão densa falha em ensinar às políticas como as trajetórias viáveis variam entre diferentes objetivos, configurações de obstáculos e locais de partida dentro do mesmo ambiente. Consequentemente, as políticas aprendidas frequentemente exibem um fraco aterramento de objetivos (goal grounding), baixa evasão de obstáculos em curto alcance e comportamentos inseguros em cenas comumente obstruídas.

Embora os conjuntos de dados de direção autônoma ofereçam escala, eles visam ambientes estruturados e não capturam a desordem de curto alcance e centrada em objetos típica de robôs móveis gerais. Por outro lado, coletar dados suficientes de robôs teleoperados para cobrir o vasto espaço de ambientes, objetivos e layouts de obstáculos não é escalável. Embora os vídeos egocêntricos de larga escala (ex: tours de caminhada, gravações domésticas) sejam abundantes e contenham observações visuais ricas de navegação no mundo real, eles carecem das ações robóticas explícitas, condicionamento de objetivo e trajetórias conscientes de obstáculos necessários para o aprendizado de políticas.

Metodologia: VEGA

Os autores propõem o VEGA (Vision-language navigation from Egocentric Video with Geometric Action supervision), um framework que transforma vídeos egocêntricos não rotulados e sem ações em um sinal de supervisão escalável para treinar VLAs de navegação. A inovação central é o uso da geometria de cena reconstruída exclusivamente durante o treinamento para gerar trajetórias conscientes de obstáculos, que são então destiladas em uma política baseada em visão que requer apenas observações RGB e objetivos durante a inferência.

1. Pipeline de Geração de Dados

O VEGA processa vídeos egocêntricos não rotulados através das seguintes etapas:

• Reconstrução de Geometria Monocular: Usando o modelo de fundação MoGe-2, o sistema reconstrói um mapa de pontos 3D métrico denso ($P_t$) de cada quadro RGB. Um plano de solo local é ajustado via RANSAC, e os pontos são rotacionados para alinhar com o sistema de coordenadas do robô.
• Construção de ESDF Consciente de Visibilidade: O sistema projeta o mapa de pontos nivelado em um domínio de Visão em Perspectiva Superior (Bird's-Eye-View - BEV). Ele distingue entre espaço livre conhecido ($X_{free}$), espaço ocupado ($X_{occ}$) e espaço não observado ($X_{unk}$) usando raytracing. Um Campo de Distância Assinada Euclidiana (ESDF) é computado, onde valores positivos indicam folga segura e valores negativos marcam obstáculos ou regiões desconhecidas.
• Ancoragem de Objetivos Multimodais:
  • Objetivos de Objeto: O Florence-2 detecta objetos e gera caixas delimitadoras (bounding boxes). Elas são projetadas no plano do solo para criar waypoints espaciais ($g_{wp}$), alinhados com objetivos de texto e de região de imagem.
  • Objetivos de Espaço Livre: Waypoints auxiliares são amostrados do espaço livre observado para fornecer supervisão para localizações transitáveis arbitrárias.
• Geração de Trajetória: Um planejador de Integração de Caminho de Ponto Médio Preditivo (MPPI) gera trajetórias de waypoints conscientes de obstáculos em direção a esses objetivos. O planejador otimiza o alcance do objetivo, evasão de colisões, folga (clearance), esforço de controle e suavidade usando o ESDF. Se um objetivo for inalcançável, a melhor trajetória parcial é selecionada.

2. Arquitetura do Modelo e Treinamento

O VEGA treina um VLA de correspondência de fluxo (flow-matching VLA) para prever pedaços de waypoints 2D locais.

• Arquitetura: Baseada na arquitetura VLA $\pi_{0.5}$, ela combina um backbone de visão-linguagem pré-treinado com um especialista de ação de correspondência de fluxo. Suporta objetivos de texto, imagem e waypoint via codificadores específicos.
• Objetivo de Treinamento: O modelo aprende a prever um campo vetorial que transforma amostras de ruído em trajetórias alvo. Diferente de métodos que preveem um único resultado determinístico, a correspondência de fluxo permite que a política modele distribuições de ação multimodais, capturando o fato de que múltiplos caminhos distintos podem ser viáveis para o mesmo par observação-objetivo.
• Inferência: No momento do implante, a política requer apenas observações RGB e uma especificação de objetivo. Ela não precisa de sensores de profundidade online, LiDAR ou mapeamento geométrico explícito, pois o raciocínio geométrico foi destilado nos pesos da política durante o treinamento.

Principais Contribuições

1. Treinamento de VLA Supervisionado por Geometria: Um paradigma que destila comportamento de navegação consciente de obstáculos a partir de vídeos egocêntricos "in-the-wild" e sem ações, sem a necessidade de rótulos de ação manuais ou demonstrações robóticas.
2. Conjunto de Dados de Trajetória Multimodal de Larga Escala: Um conjunto de dados construído contendo aproximadamente 5 milhões de trajetórias condicionadas a objetivos, alinhadas com anotações de texto, região de imagem e waypoints espaciais, acompanhadas por nuvens de pontos 3D reconstruídas e ESDFs.
3. VEGA-Bench: Um novo conjunto de avaliação composto por 250 mil cenas e 5 milhões de alvos multimodais, projetado para avaliar rigorosamente o progresso do objetivo, taxas de colisão e folga de obstáculos.
4. Validação no Mundo Real: Evidência empírica demonstrando a transferibilidade da abordagem para robôs físicos.

Resultados e Avaliação

Os autores avaliaram o VEGA contra baselines de estado da arte (OmniVLA, NaVILA e $\pi_{0.5}$) no VEGA-Bench e em testes no mundo real.

• Desempenho no VEGA-Bench: O VEGA alcançou progresso de objetivo comparável aos baselines, mas reduziu significativamente as taxas de colisão e melhorou a folga de obstáculos. Especificamente, reduziu as colisões em 33,0% e melhorou a folga de obstáculos em 17,9% em relação ao baseline mais forte.
• Testes com Robôs no Mundo Real: Implantado em um robô quadrúpede em ambientes com obstáculos estáticos e dinâmicos, o VEGA demonstrou melhorias substanciais:
  • Taxa de Sucesso: Melhorou em pelo menos 150,0%.
  • Evasão de Colisões: Reduziu colisões em pelo menos 66,7%.
  • Folga de Obstáculos: Melhorou em pelo menos 60,0%.
• Aterramento de Objetivo (Goal Grounding): Análises qualitativas e quantitativas mostraram que o VEGA se condiciona com sucesso a objetivos específicos (texto, imagem ou waypoint), evitando o "colapso de modo" visto nos baselines, onde as políticas geram caminhos semelhantes independentemente do objetivo.

Significância e Alegações

O artigo afirma que a supervisão geométrica derivada de vídeo fornece um sinal escalável e eficaz para treinar VLAs de navegação conscientes de obstáculos. Ao alavancar a abundância de vídeos egocêntricos e usar a geometria apenas como um professor durante o treinamento, o VEGA preenche a lacuna entre as capacidades de raciocínio semântico dos VLAs e os requisitos geométricos de segurança do planejamento clássico. Esta abordagem elimina a necessidade de coleta de dados robóticos caros e de larga escala, permitindo simultaneamente políticas que generalizam para ambientes reais complexos e obstruídos.

Limitações e Trabalho Futuro

Os autores reconhecem duas limitações primárias:

1. Ausência de Memória (Memorylessness): A política atual é sem memória, dependendo apenas da observação RGB atual e do objetivo. Isso pode ser frágil quando objetivos ou obstáculos saem do campo de visão da câmera. Trabalhos futuros podem incorporar atenção temporal ou memória latente.
2. Suposição de Geometria Estática: O ESDF local não modela explicitamente o movimento de obstáculos dinâmicos. Embora o replanejamento lide com novos obstáculos observados, o planejador não prevê os movimentos futuros de objetos em movimento. Iterações futuras poderiam integrar previsão de trajetória ou campos de distância indexados no tempo.