Resumo Técnico: RoamFlow

Declaração do Problema

A navegação de objetivo por imagem é um desafio fundamental na robótica incorporada, exigindo que um agente alcance um local alvo especificado unicamente por uma imagem de objetivo usando observações sensoriais integradas. As abordagens existentes de aprendizado por reforço (RL) tipicamente mapeiam observações perceptivas diretamente para ações de passo único. Embora robustas ao ruído, esses métodos lutam com dependências de longo horizonte, resultando frequentemente em comportamentos míopes e trajetórias subótimas em ambientes complexos.

Frameworks generativos recentes (por exemplo, políticas baseadas em difusão ou flow-matching) abordam isso sintetizando sequências de ações multi-passo coerentes, permitindo o raciocínio em nível de trajetória. No entanto, esses métodos enfrentam duas limitações críticas:

1. Eficiência de Inferência: Eles dependem de processos de geração iterativos (múltiplos passos de denoising ou integração numérica), introduzindo latência computacional que dificulta a implantação em tempo real em robôs com recursos limitados.
2. Alinhamento da Política: A maioria depende primariamente de aprendizado por imitação (IL). Embora o IL forneça priors úteis, ele não consegue corrigir comportamentos especialistas subótimos ou se adaptar a ambientes não vistos, levando a erros acumulados de longo horizonte e desalinhamento com objetivos da tarefa, como a prevenção de colisões e o alcance eficiente do objetivo.

Metodologia

Os autores propõem o RoamFlow, um framework de navegação generativa que combina a geração de trajetórias de um passo eficiente com uma estratégia de treinamento em dois estágios (Aprendizado por Imitação + Aprendizado por Reforço).

1. Arquitetura

O sistema consiste em três componentes principais:

• Codificação de Observação: As observações RGB-D atuais e a imagem RGB de objetivo são codificadas usando backbones EfficientNet-B0 e fundidas via um bloco Transformer para criar uma representação latente conjunta ($C_t$).
• Política RoamFlow (Gerador MeanFlow): Em vez de prever a velocidade instantânea (como no flow matching padrão), a política utiliza o MeanFlow para prever o campo de velocidade média sobre um intervalo de tempo. Isso modela o deslocamento em nível de intervalo, em vez de mudanças instantâneas. Ao fazer isso, a política pode mapear ruído Gaussiano diretamente para uma sequência de trajetória completa ($A_t$) em uma única passagem direta (forward pass), reduzindo significativamente os passos de transporte.
• Avaliador de Trajetória: Uma cabeça MLP (Multi-Layer Perceptron) leve avalia trajetórias candidatas geradas pela política. Ela pontua trajetórias com base no distanciamento geométrico (segurança) e suavidade, selecionando a trajetória de maior pontuação para execução. Isso atua como um filtro de segurança para mitigar a instabilidade em previsões multimodais.

2. Estratégia de Treinamento

O RoamFlow emprega um pipeline de otimização de dois estágios:

• Estágio I: Aprendizado por Imitação Offline (IL): O gerador MeanFlow e o avaliador de trajetória são pré-treinados em conjuntos de dados de especialistas (gerados via Hybrid A* em grafos topológicos). O gerador minimiza o erro entre os campos de velocidade média previstos e os do especialista. O avaliador é treinado via regressão para prever pontuações de segurança e suavidade baseadas em campos de distância.
• Estágio II: Aprendizado por Reforço Online (RL): Para refinar a política para objetivos específicos da tarefa, a política pré-treinada é ajustada no ambiente de simulação Habitat. Os autores introduzem uma rede de ruído treinável para converter o transporte determinístico do MeanFlow em uma cadeia de Markov estocástica, permitindo a otimização baseada em verossimilhança. A política é otimizada usando PPO (Proximal Policy Optimization) com uma função de recompensa composta por termos de sucesso, folga (slack - penalidade de tempo), progresso e colisão.

Principais Contribuições

1. Política Generativa Baseada em MeanFlow: Os autores introduzem uma política que prevê campos de velocidade média para permitir a geração de trajetórias eficiente de poucos passos (efetivamente um passo). Isso reduz a latência de inferência enquanto preserva a qualidade da trajetória, abordando o gargalo computacional dos modelos generativos iterativos.
2. Framework de Treinamento de Dois Estágios: Um pipeline inovador que combina IL offline para inicialização estável com RL online para refinamento orientado à tarefa. Esta abordagem permite que o agente aprenda priors de especialistas primeiro e depois alinhe a geração de trajetórias com objetivos de navegação específicos (ex: prevenção de colisões) através de sinais de recompensa.
3. Avaliador de Trajetória: Um mecanismo para reclassificar trajetórias candidatas durante a inferência, aumentando a robustez e a segurança sem overhead computacional significativo.

Resultados Experimentais

O framework foi validado tanto na simulação Habitat quanto em experimentos robóticos no mundo real (quadrúpede Unitree Go2).

• Desempenho de Simulação (Habitat):

  • No dataset Gibson, o RoamFlow alcançou uma Taxa de Sucesso (SR) de 68,7% e SPL de 61,9%, superando fortes baselines como o NavDP (SR 59,3%, SPL 47,5%).
  • Reduziu significativamente a Taxa de Colisão (CR) para 10,9% comparado a 11,6% do NavDP.
  • Tempo de Inferência: O RoamFlow alcançou uma latência de 19,6 ms, uma melhoria substancial sobre os baselines baseados em difusão (ex: NaviDiffusor com 89,5 ms) e até mesmo versões destiladas de outros métodos.
  • Generalização Cross-Domain: No dataset MP3D não visto, o RoamFlow manteve um forte desempenho (SR 56,1%) sem ajuste fino, demonstrando generalização robusta.

• Implantação no Mundo Real:

  • Implantado em um robô Unitree Go2 com um NVIDIA Jetson Orin NX, o RoamFlow alcançou uma Taxa de Sucesso de 100% em 20 execuções em três cenários distintos.
  • Registrou a menor taxa de colisão (0,10 colisões/execução) e o tempo de inferência mais rápido (37,2 ms), satisfazendo as restrições de tempo real (loop de controle de 10 Hz).

• Estudos de Ablação:

  • Remover a etapa de pré-treinamento IL resultou em uma queda drástica na SR (de 68,7% para 13,2%), confirmando a necessidade de priors de especialistas.
  • Remover a etapa de RL reduziu a SR (para 51,3%) e aumentou a CR (para 25,9%), destacando o papel do RL no refinamento de segurança e alinhamento de tarefa.
  • Substituir o Avaliador de Trajetória por seleção aleatória aumentou a taxa de colisão, validando o papel do avaliador como um filtro de segurança.

Significância e Alegações

O artigo afirma que o RoamFlow oferece uma solução prática para implantar políticas de navegação generativas em sistemas embarcados com recursos limitados. Ao mudar do modelagem de velocidade instantânea para a modelagem de deslocamento em nível de intervalo (MeanFlow), o método alcança a geração eficiente de um passo sem sacrificar a qualidade da trajetória. Além disso, a estratégia de treinamento de dois estágios preenche a lacuna entre o aprendizado por imitação estático e os requisitos dinâmicos da tarefa, garantindo que a política não seja apenas estável, mas também alinhada com objetivos do mundo real, como segurança e eficiência. Os autores afirmam que essa combinação de modelagem generativa, inferência eficiente e alinhamento por reforço permite a navegação robusta por imagem de objetivo tanto em simulação quanto em ambientes do mundo real.