Resumo Técnico: Da Imitação ao Alinhamento: Políticas de Fluxo de Preferência Humana para Navegação em Calçadas de Longo Horizonte

Declaração do Problema

A navegação autônoma em calçadas de longo horizonte é crítica para aplicações de micromobilidade, como entrega robótica de alimentos e cadeiras de rodas assistivas. Diferente da condução em estradas, a navegação em calçadas envolve terrenos imprevisíveis, interações densas com pedestres e normas sociais estritas, tudo isso operando sob restrições severas de computação embarcada e vida útil de bateria. Os autores identificam três desafios primários nas abordagens existentes:

1. Erros Compostos e Mudança de Distribuição: Políticas de Aprendizado por Imitação (IL) padrão treinadas em dados offline de larga escala frequentemente falham em se recuperar de erros em configurações de malha fechada (closed-loop), levando a erros compostos.
2. Falta de Conformidade Social: Políticas treinadas puramente em demonstrações podem não aderir a normas sociais implícitas (ex: ceder passagem a pedestres) ou lidar efetivamente com estados críticos de segurança.
3. Limitações de Representação de Ação: Parametrizações de ação comuns lutam com a natureza multimodal da navegação em calçadas (ex: passar por um obstáculo de um lado ou do outro). Gaussianas unimodais são muito restritivas, enquanto políticas de difusão ou de correspondência de fluxo (flow-matching) podem introduzir aleatoriedade excessiva ou inconsistência temporal.
4. Dilema Generalização-Precisão: Embora o treinamento em dados diversos melhore a generalização em diferentes ambientes, isso muitas vezes compromete a precisão necessária para instâncias específicas de robôs com parâmetros de câmera e atributos mecânicos únicos.

Metodologia: FlowPilot

O artigo propõe o FlowPilot, uma política de navegação sem mapa que utiliza apenas uma única câmera RGB monocular e GPS. O framework faz a ponte entre a imitação de larga escala e o alinhamento específico do robô através de um processo de dois estágios.

1. Correspondência de Fluxo Ancorada para Pré-treinamento

Para abordar a natureza multimodal da navegação em calçadas, os autores introduzem a correspondência de fluxo ancorada (anchored flow matching) como a representação de ação.

• Geração de Âncoras: Um agrupamento K-means restrito é aplicado aos espaços de ação normalizados dos dados de demonstração para gerar um conjunto de $K$ ações âncora. Essas âncoras servem como comportamentos multimodais prototípicos.
• Correspondência de Fluxo: A política aprende um campo de velocidade para gerar trajetórias. Em vez de regredir diretamente para uma única trajetória, o modelo interpola entre o ruído e uma trajetória de especialista condicionada a uma âncora específica. Isso permite que o modelo capture distribuições multimodais diversas e complexas, garantindo trajetórias futuras suaves e temporalmente consistentes.
• Atenção Cruzada com Portão (Gated Cross-Attention): Para evitar que o modelo dependa excessivamente das coordenadas do objetivo (o que pode levar a comportamentos de "atalho" que ignoram obstáculos), a arquitetura emprega um mecanismo de atenção cruzada com portão. Isso mitiga o "sumidouro de atenção" (attention sink) no objetivo, forçando a política a fundamentar decisões no contexto da cena (obstáculos, limites da calçada) em vez de apenas no destino.
• Pré-treinamento: O modelo é pré-treinado em um conjunto de dados de larga escala (SideWalks-300, 300 horas de dados de teleoperação de 281 instâncias de robôs) combinado com outros conjuntos de dados visuais-ação. Este estágio utiliza perdas supervisionadas para odometria visual, classificação de modo (atribuição de âncora) e regressão de trajetória.

2. Alinhamento de Preferência com Humano no Ciclo (Human-in-the-Loop)

Para preencher a lacuna entre a imitação geral e a precisão específica do robô, o FlowPilot emprega um esquema de aprendizado de preferência livre de recompensa.

• Coleta de Dados: Durante a implantação, um operador humano monitora o robô através de uma plataforma de teleoperação. Quando a política prevê uma ação insegura ou socialmente não complacente, o operador intervém com um comando corretivo.
• Pares de Preferência: Essas intervenções criam pares de preferência $(x^+, x^-)$, onde $x^+$ é a ação corrigida pelo humano e $x^-$ é a previsão original (indesejável) da política.
• Objetivo de Alinhamento: A política é ajustada utilizando uma perda de preferência que aumenta a probabilidade da ação preferida ($x^+$) enquanto suprime a ação rejeitada ($x^-$).
  • Alinhamento ao Nível de Pontuação (Score-Level): Uma cabeça de pontuação é treinada para atribuir maior probabilidade ao modo âncora preferido do que ao modo rejeitado, regularizada por um termo de divergência KL para preservar o prior pré-treinado.
  • Alinhamento ao Nível de Velocidade (Velocity-Level): É utilizado um objetivo assimétrico ao nível da trajetória. A ação preferida serve como um alvo de regressão positivo. Crucialmente, a ação rejeitada não é diretamente empurrada para longe (o que poderia desestabilizar os gradientes na correspondência de fluxo contínua); em vez disso, ela é regularizada em direção ao seu prior de âncora. Isso preserva a continuidade do espaço de ação enquanto desencoraja comportamentos indesejáveis específicos.

Principais Contribuições

1. Política de Correspondência de Fluxo Ancorada: Uma representação de ação inovadora que combina priors de comportamento discretos (âncoras) com refinamento de fluxo contínuo para modelar distribuições de ação multimodais e complexas para navegação de longo horizonte.
2. Mecanismo de Condicionamento com Portão: Um design arquitetônico que mitiga atalhos orientados pelo objetivo, incentivando a política a utilizar o contexto da cena em vez de coordenadas diretas do objetivo.
3. Aprendizado de Preferência Livre de Recompensa: Um algoritmo de ajuste fino com humano no ciclo que alinha a política com normas sociais e requisitos de segurança específicos do robô usando dados de intervenção, sem exigir funções de recompensa explícitas.
4. Avaliação Abrangente: Validação extensiva tanto em simulação quanto em ambientes do mundo real através de diversos cenários de calçada e implementações de robôs.

Resultados Experimentais

Avaliação de Malha Aberta (Open-Loop)

Em um conjunto de avaliação de retenção (held-out), o FlowPilot-Base alcançou o estado da arte em precisão de previsão de trajetória:

• minMOE: 6.63 (o menor entre os baselines)
• mAP: 0.87 (maior confiança nos modos corretos)
• Erro L2: 1.04 (menor erro de extremidade)

Simulação de Malha Fechada (Closed-Loop)

Em um benchmark de simulação de malha fechada com 300 tentativas por cenário:

• Taxa de Sucesso (SR): O FlowPilot-Base alcançou 42%, superando significativamente baselines como S2E (35%) e ViNT (27%).
• Conclusão de Rota (RC): Alcançou 66%.
• Taxa de Colisão (CR): Reduzida para 0.43, comparado a 0.61 para a ablação sem Atenção Cruzada com Portão.
• Transposição de Embodiment (Cross-Embodiment): O FlowPilot-HP (com ajuste de preferência) manteu alto desempenho (SR 0.44–0.55) em novas configurações de robôs (R1, R2) com mudanças de dinâmica e parâmetros de câmera, superando métodos de adaptação padrão como o DAgger.

Implantação no Mundo Real

Avaliado em robôs com rodas e robôs quadrúpedes ao longo de 2,8 km de rotas diversas (incluindo noite e iluminação complexa):

• Taxa de Intervenção (IR): O FlowPilot-HP reduziu a IR em 40,0% e a Taxa de Intervenção Normalizada (NIR) em 52,1% em comparação com o modelo base (FlowPilot-Base).
• Conformidade Social: O modelo demonstrou taxas significativamente maiores de Taxa de Conformidade de Distância (DCR) e Taxa de Conformidade de Tempo (TCR) do que os baselines, mantendo um distanciamento mais seguro de pedestres e obstáculos.
• Robustez: O sistema navegou com sucesso rotas de longo horizonte (segmentos de até 100m+) e condições desafiadoras, incluindo ambientes de baixa luminosidade.

Significância e Alegações

O artigo afirma que o FlowPilot representa um passo significativo à frente na navegação autônoma em calçadas ao abordar as limitações do aprendizado por imitação puro. Os autores argumentam que:

1. A Correspondência de Fluxo Ancorada fornece uma representação necessária para capturar a natureza multimodal e sensível ao controle da navegação em calçadas, com a qual políticas Gaussianas ou de difusão padrão lutam.
2. O Alinhamento via Aprendizado de Preferência é essencial para transitar de uma política de propósito geral amplamente capaz para um controlador preciso, socialmente complacente e seguro para um robô específico. Os resultados demonstram que mesmo uma pequena quantidade de dados de intervenção humana, quando processada através de seu framework de aprendizado de preferência, pode reduzir drasticamente comportamentos inseguros e melhorar a conformidade social.
3. Escalabilidade e Robustez: O framework escala com sucesso da pré-treinagem de larga escala para a implantação específica, mantendo a robustez através de diferentes implementações de robôs e condições ambientais sem exigir sensores pesados ou mapeamento explícito.

Os autores concluem que, embora sua abordagem monocular tenha limitações em relação à ambiguidade de escala e pistas 3D finas, o framework proposto equilibra efetivamente o compromisso entre generalização e precisão, ofereando uma solução prática para aplicações de micromobilidade no mundo real.