💻 computer science

Joint On-and-Off Policy Learning for Vision-and-Language Navigation

Este artigo apresenta o JOP-VLN, um novo framework que integra sinergicamente aprendizado por imitação off-policy com exploração on-policy através de um pipeline de treinamento de três estágios para alcançar o estado da arte em benchmarks de Navegação de Visão e Linguagem.

Autores originais: Qingrong He, Lin Zhao, Kevin Zheng, Liang Lin

Publicado 2026-07-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Qingrong He, Lin Zhao, Kevin Zheng, Liang Lin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a ser seu guia turístico pessoal. Você quer que ele ouça seus comandos de voz como, "Caminhe até a cozinha, vire à esquerda no vaso azul e pare em frente à geladeira", e então realmente faça isso sem bater nas paredes ou se perder. Este é o mundo da Navegação de Visão e Linguagem (VLN - Vision-and-Language Navigation). É um ramo da robótica onde um "agente incorporado" (um robô com corpo e olhos) tem que entender o mundo real bagunçado através de uma câmera e dar sentido à fala humana para se mover pelo ambiente.

O grande desafio aqui é que os robôs são péssimos em aprender com seus próprios erros. Se você ensinar um robô mostrando vídeos perfeitos de como caminhar, ele aprenderá a copiar esses vídeos. Mas no momento em que ele entra em uma nova sala ou vê uma cadeira em um lugar diferente, ele entra em pânico porque nunca aprendeu como se recuperar quando as coisas dão errado. Isso é como um aluno que memoriza as respostas de um teste prático, mas trava quando o professor muda os números. Para corrigir isso, os cientistas geralmente tentam duas coisas diferentes: ou mostram ao robô mais exemplos de caminhos perfeitos (Aprendizado por Imitação), ou deixam o robô vagar por aí e lhe dão um "mimo" (recompensa) quando ele chega mais perto do objetivo (Aprendizado por Reforço). Por muito tempo, esses dois métodos foram como duas escolas separadas que nunca conversavam entre si.

Apresentamos o JOP-VLN, um novo framework que decide dar uma festa conjunta para essas duas escolas. Os pesquisadores construíram um sistema que ensina o robô em três estágios distintos, misturando a segurança de copiar especialistas com a bravura de explorar por conta própria. Pense nisso como um acampamento de treinamento onde o robô primeiro aprende o básico de um mestre treinador, depois pratica em uma versão do mundo com "rodinhas" onde uma rede de segurança o ampara quando ele cai, e finalmente, vai para o mundo selvagem para explorar, mas com uma regra especial: ele só presta atenção às vezes em que ficou confuso ou cometeu um erro, usando esses momentos para ficar mais esperto.

O artigo introduz este pipeline de três estágios para resolver o problema de robôs ficarem presos quando encontram algo novo. No primeiro estágio, o robô aprende habilidades básicas de navegação e como resumir o que vê, assim como um aluno aprendendo o alfabeto e como escrever uma frase. No segundo estágio, o robô tenta navegar e, sempre que começa a se desviar do caminho, um sistema de segurança de "modo deus" (chamado de oracle) intervém para corrigir sua trajetória. O robô então aprende com esses caminhos corrigidos, praticando efetivamente como se recuperar de erros. Esta é a parte "off-policy", onde ele aprende com dados coletados por uma mistura de suas próprias tentativas e as correções da rede de segurança.

A magia acontece no terceiro estágio, onde o artigo combina tudo. Os pesquisadores perceberam que, se deixassem o robô explorar aleatoriamente, ele poderia apenas vagar em círculos ou ficar confiante demais em hábitos ruins. Então, eles adicionaram um filtro inteligente: eles só deixam o robô aprender dos momentos em que ele estava verdadeiramente incerto ou com "alta entropia" (uma forma elegante de dizer que estava adivinhando loucamente). Isso evita que o robô perca tempo com tarefas fáceis que já conhece e o força a focar nas partes difíceis. Além disso, eles ordenaram os dados de treinamento para que o robô passe a maior parte do tempo praticando os caminhos específicos onde ele falhou anteriormente, garantindo que aprenda a consertar seus próprios erros.

Os resultados desta abordagem são impressionantes. Quando testado em benchmarks de navegação padrão, o JOP-VLN alcançou uma taxa de sucesso de 69,9% no dataset R2R e 68,0% no dataset RxR. Esses números representam um novo estado da arte, o que significa que superou métodos anteriores que dependiam de apenas um tipo de aprendizado. Os pesquisadores também testaram o robô no mundo real, usando um robô quadrúppe (cachorro robótico) tanto em escritórios internos quanto em jardins externos. Mesmo com a realidade bagunçada de iluminação e texturas do mundo real, o robô conseguiu seguir instruções complexas, provando que este estilo de aprendizado "conjunto" ajuda a generalizar melhor do que antes. O artigo sugere que, ao misturar cuidadosamente a orientação de especialistas com uma exploração inteligente focada em erros, podemos construir robôs que não são apenas bons em seguir regras, mas que também são resilientes o suficiente para lidar com as reviravoltas inesperadas do mundo real.

Resumo Técnico: JOP-VLN

Definição do Problema

A Navegação Visão-Linguagem (VLN - Vision-and-Language Navigation) exige que agentes incorporados naveguem em ambientes físicos com base em instruções de linguagem natural. Embora avanços recentes em Modelos de Visão-Linguagem (VLMs) tenham melhorado a tomada de decisão na navegação, as abordagens existentes sofrem de uma lacuna significativa na integração de dois paradigmas de treinamento dominantes:

Aprendizado por Imitação (IL - Imitation Learning): Tipicamente treinado em demonstrações de especialistas, frequentemente aumentado com o algoritmo de Agregação de Dados (DAgger) para melhorar a recuperação de erros. No entanto, esses métodos dependem fortemente de dados de especialistas, o que limita a generalização para ambientes não vistos devido ao desvio de covariável (covariate shift).
Aprendizado por Reforço (RL - Reinforcement Learning): Impulsionado por recompensas verificáveis (por exemplo, usando Otimização de Política Relativa de Grupo ou GRPO) para melhorar o raciocínio e a exploração. Embora eficaz, o RL on-policy padrão muitas vezes falha em abordar adequadamente o desvio de covariável ao depender apenas de dados in-distribution durante a inferência.

O problema central abordado é a falta de um framework unificado que combine sinergicamente as capacidades de recuperação de erro do IL off-policy com as forças de exploração do RL on-policy.

Metodologia: JOP-VLN

O artigo propõe o JOP-VLN, um novo framework que emprega um pipeline de treinamento progressivo de três estágios para aprender conjuntamente a imitação off-policy e o reforço on-policy.

Arquitetura do Modelo

O sistema é construído sobre o modelo de linguagem e visão de grande escala Qwen3-VL. Ele adota um paradigma de diálogo de múltiplos turnos onde o agente processa:

Uma instrução de linguagem ( $I$ ).
Memória de longo prazo: Frames amostrados uniformemente do histórico distante.
Memória de curto prazo: A sequência mais recente de observações e ações intercaladas.
O modelo prevê "pedaços de ação" (action chunks) (sequências de até quatro ações discretas: frente, esquerda, direita, parar) para permitir o reuso eficiente de KV cache e inferência quase linear.

Pipeline de Treinamento de Três Estágios

Estágio 1: Treinamento Multitarefa
O modelo é co-treinado em duas tarefas para adquirir habilidades fundamentais:

Predição de Ação: Predizendo action chunks dentro do paradigma de diálogo de múltiplos turnos.
Sumarização de Trajetória: Sintetizando instruções textuais condicionadas a frames amostrados de vídeos de navegação. Isso melhora a compreensão visual do modelo e seu alinhamento com a linguagem.

Estágio 2: Aprendizado por Imitação com Trajetórias DAgger
Para melhorar a recuperação de erros, o algoritmo DAgger é empregado. Uma estratégia heurística é usada onde a política aprendida é priorizada, mas um "oráculo" intervém quando o agente se desvia da verdade fundamental além de um limite.

Refinamento: Ao contrário do DAgger padrão, os autores reproduzem todos os estados visitados para obter os correspondentes action chunks do oráculo, filtrando ações errôneas geradas pelo modelo durante o rollout inicial. Essas trajetórias corrigidas são usadas para o ajuste fino (fine-tuning) do modelo via aprendizado por imitação.

Estágio 3: Aprendizado Conjunto On-and-Off Policy
Este estágio integra o framework CHORD, otimizando conjuntamente o RL on-policy e o IL off-policy nas trajetórias coletadas pelo DAgger. Duas técnicas principais são introduzidas para adaptar este framework à VLN:

Amostragem de Trajetória de Alta Entropia (para RL):
- Durante a coleta do DAgger, a entropia dos tokens preditos pelo modelo é registrada.
- Treinamento GRPO: Apenas os 20% superiores de amostras com maior entropia são usados para a Otimização de Política Relativa de Grupo (GRPO).
- Racional: Tokens de alta entropia representam estados incertos ou exploratórios. Treinar nesses estados evita que o modelo entre em um estado de "gradiente zero" causado por amostras de baixa entropia (superconfiantes), aumentando assim a eficiência do RL.
- Funções de Recompensa: O objetivo GRPO utiliza quatro recompensas: Formato (adesão à estrutura de ação), Correspondência Exata (matching com ações do oráculo), Posição (similaridade de cosseno das mudanças de pose) e Distância (distância euclidiana do deslocamento).
Ordenação de Trajetória Priorizada por Correção de Erro (para IL):

*   As trajetórias são ordenadas com base em seu "valor de aprendizado", definido pela proporção de tokens de ação que foram corrigidos pelo oráculo (ou seja, onde o modelo cometeu um erro).
*   **Estratégia:** O modelo realiza o aprendizado por imitação nessas trajetórias em ordem decrescente de valor de aprendizado. Isso garante que o modelo revisite e aprenda frequentemente de seus pontos específicos de falha, facilitando uma transição suave do IL para o RL.
*   **Função de Perda:** Uma perda combinada  $L_{CHORD} = (1-\mu)L_{GRPO} + \mu L_{IL}$  é usada, onde  $\mu$  segue um cronograma de decaimento de cosseno (começando em 0.5 e diminuindo para 0.05) para mudar a ênfase do aprendizado equilibrado para a exploração on-policy ao longo do tempo.

Principais Contribuições

Framework JOP-VLN: Um novo modelo de VLN que combina sinergicamente o aprendizado por imitação off-policy e a exploração on-policy através de um pipeline de três estágios.
Adaptações de CHORD para VLN:
- Amostragem de Alta Entropia: Uma estratégia para reter trajetórias de alta entropia para GRPO, evitando a superconfiança do modelo e melhorando a eficiência do treinamento de RL.
- Priorização de Correção de Erro: Uma estratégia de ordenação de trajetórias que prioriza amostras onde o modelo errou anteriormente, melhorando as capacidades de recuperação de erro.
Avaliação Abrangente: Experimentos extensos tanto em simulação quanto em ambientes do mundo real, demonstrando desempenho de estado da arte.

Resultados Experimentais

Benchmarks de Simulação (VLN-CE)

Avaliado nos conjuntos de dados R2R e RxR (splits Val-Unseen) usando o simulador Habitat.

R2R: O JOP-VLN alcança uma Taxa de Sucesso (SR) de 69,9%, estabelecendo um novo estado da arte. Ele supera o método anterior mais forte (CorrectNav) em 4,8% em SR, 8,9% em Sucesso de Oráculo (OS) e 2,6% em Sucesso Ponderado pelo Comprimento do Caminho (SPL). Notavelmente, ele supera métodos que utilizam visões panorâmicas usando apenas entradas RGB de visão única.
RxR: Alcança 68,0% de SR e 59,3% de SPL, demonstrando fortes capacidades de tomada de decisão de longo horizonte.

Implantação no Mundo Real

Configuração: Testado em um robô quadrupedal Unitree Go2 com uma câmera Intel RealSense, operando em uma estação de trabalho remota.
Adaptação: Uma estratégia de adaptação de poucos disparos (fine-tuning de 10 shots por ambiente) foi usada para reduzir a lacuna de domínio sim-to-real.
Desempenho: O sistema alcançou um tempo de inferência médio de 0,3s por action chunk. Resultados qualitativos mostraram seguimento consistente de instruções em diversos ambientes internos e externos. As falhas foram atribuídas principalmente a referentes ambíguos em instruções longas (ex: múltiplos marcos semelhantes).

Estudos de Ablação

Sumarização de Trajetória: Melhorou a compreensão visual e o desempenho de navegação.
Fine-tuning com DAgger: Aumentou significativamente o SR de ~50% para ~64%, destacando a importância de dados off-policy para recuperação de erros.
Aprendizado Conjunto (CHORD-ec): A combinação de amostragem de alta entropia e priorização de correção de erro gerou os melhores resultados, superando o IL puro, o RL puro e o baseline CHORD padrão sem essas adaptações específicas de VLN.

Significância e Alegações

O artigo afirma que o JOP-VLN representa um avanço significativo ao fundir estruturalmente a exploração de RL on-policy com a supervisão de IL off-policy. Isso permite que os agentes aprendam simultaneamente com demonstrações de especialistas e sinais de exploração ambiental. As técnicas propostas abordam especificamente as limitações do desvio de covariável e do overfitting aos dados do especialista. Os autores afirmam que seu método atinge um novo estado da arte no split R2R Val-Unseen e demonstra adaptabilidade robusta em cenários do mundo real, validando a eficácia do paradigma de aprendizado conjunto on-and-off policy para navegação incorporada.