Learning Sidewalk Autopilot from Multi-Scale Imitation with Corrective Behavior Expansion

1. Problema e Contexto

A micromobilidade em calçadas (robôs de entrega, cadeiras de rodas assistidas, etc.) é uma solução promissora para o transporte de "última milha" em ambientes urbanos. No entanto, os métodos de controle baseados em aprendizado de máquina enfrentam desafios significativos em cenários complexos:

• Limitações da Imitação Tradicional (IL): A maioria dos métodos de Imitação Learning (IL) depende de dados offline fixos e demonstrações de especialistas. Isso leva a erros compostos (onde pequenos desvios se acumulam e levam ao fracasso) e baixa robustez, pois o modelo não aprende a recuperar-se de seus próprios erros.
• Dificuldade de Coleta de Dados: Coletar dados de cenários de falha, casos extremos (corner cases) e situações de desvio é difícil e caro.
• Complexidade Visual: A navegação é baseada em vídeos RGB egocêntricos, exigindo que o modelo infira geometria da cena e semântica de objetos sem mapas pré-construídos.
• Falha na Generalização: Abordagens anteriores focadas em escalar o volume de dados muitas vezes falham em capturar a diversidade de cenários do mundo real ou dependem de simulações de alta fidelidade e engenharia de recompensas complexas (como em RL).

2. Metodologia: Framework MIMIC

Os autores propõem o MIMIC (Multi-scale IMItation with Corrective expansions), um framework que avança a Imitação Learning através de duas frentes principais: expansão de dados com comportamentos corretivos e aprendizado de imitação multi-escala.

A. Expansão de Dados com Comportamento Corretivo

Para superar a falta de dados de falha e recuperação, o método sintetiza novos dados de treinamento a partir de logs de teleoperação existentes:

• Perturbação de Trajetória: O sistema estima a geometria da cena (usando profundidade e nuvens de pontos 3D) e aplica uma sequência de deslocamento (perturbação) à trajetória original, simulando erros como desvios da rota, colisão com obstáculos ou paradas prematuras.
• Geração de Pares Falha-Recuperação: Após induzir o desvio, o sistema gera uma trajetória de "recuperação" (corretiva) que leva o robô de volta ao caminho seguro. Isso cria pares de dados onde o modelo aprende não apenas a seguir o caminho, mas a corrigir erros.
• Aumento de Sensores (Sensor Augmentation): Para lidar com a falta de diversidade visual (iluminação, clima), utiliza-se um modelo de re-iluminação (Light-A-Video) que altera a aparência global da cena (ex: pôr do sol, neve, noite) mantendo a consistência geométrica e dos objetos em primeiro plano.

B. Arquitetura de Aprendizado Multi-Escala

O modelo utiliza uma arquitetura encoder-decoder projetada para capturar tanto interações de curto prazo quanto intenções de longo prazo:

• Codificador: Processa observações multimodais (imagens RGB históricas e atuais, estados do ego-veículo e sinal de objetivo). Utiliza um backbone visual (DINOv3) para extrair características espaciais e temporais.
• Decodificador Multi-Escala com Âncoras:
  • Em vez de prever apenas em uma escala temporal, o modelo supervisiona a política em quatro horizontes temporais: imediato, curto, médio e longo.
  • Utiliza conjuntos de âncoras (anchors) específicos para cada horizonte, pré-gerados via K-means a partir das estatísticas dos dados.
  • O decodificador gera previsões baseadas nessas âncoras (interagindo com o contexto) e uma previsão livre de consultas (query-free) para supervisão de curto prazo.
• Objetivo de Treinamento: Combina perda de regressão (para a precisão da trajetória) e perda de classificação (para selecionar o modo de trajetória correto) em múltiplas camadas e horizontes, evitando o "aprendizado de atalho" (shortcut learning) comum em previsões de curto prazo.

3. Principais Contribuições

1. Pipeline de Expansão de Dados Corretivos: Um método inovador para sintetizar dados de treinamento que ensinam o modelo a recuperar-se de desvios, aumentando a cobertura e diversidade dos dados sem necessidade de novas coletas de campo massivas.
2. Arquitetura Multi-Escala: Um novo design de modelo que integra simultaneamente comportamentos interativos de curto prazo e intenções direcionadas a objetivos de longo prazo através de hierarquia de supervisão e âncoras temporais.
3. Validação em Mundo Real: Demonstração de que é possível treinar um piloto automático robusto para calçadas usando apenas dados offline de teleoperação (com expansão), superando a necessidade de Reinforcement Learning (RL) complexo.

4. Resultados Experimentais

O modelo foi avaliado no dataset CoS (Coco-on-SideWalks), contendo 3.040 trajetórias de robôs em várias cidades dos EUA, e em implantações reais com robôs com rodas.

• Avaliação em Loop Aberto (Offline):
  • No conjunto de dados regular, o MIMIC superou significativamente os baselines (como ViNT, NoMaD, CityWalker), reduzindo o erro de finalização mínima (minFDE) em 63,5% em comparação com o segundo melhor método.
  • No conjunto de dados de recuperação (cenários perturbados), o MIMIC demonstrou superioridade clara, reduzindo o erro em 52,8%, provando sua capacidade de lidar com desvios.
• Avaliação em Loop Fechado (Mundo Real):
  • Em testes reais de navegação (incluindo interações com pedestres e obstáculos), o MIMIC alcançou uma taxa de sucesso de 90% na chegada ao objetivo e 76% na evasão de pedestres.
  • Comparado ao baseline CityWalker, o MIMIC reduziu drasticamente o número de intervenções humanas necessárias (de 19 para apenas 4 em uma rota de 400m).
  • O modelo demonstrou capacidade de navegar com sucesso em cenários complexos, como desviar de pedestres e contornar obstáculos estáticos.

5. Significado e Conclusão

O trabalho MIMIC representa um avanço significativo na navegação autônoma em ambientes urbanos não estruturados. Ao demonstrar que é possível superar as limitações da Imitação Learning tradicional (erros compostos e falta de robustez) através da expansão inteligente de dados e da supervisão multi-escala, os autores oferecem um caminho viável para a implantação de robôs autônomos em calçadas sem depender de simulações pesadas ou RL.

A abordagem destaca que a qualidade e a diversidade dos dados de treinamento (incluindo cenários de falha simulados) são tão cruciais quanto a arquitetura do modelo para garantir segurança e generalização em ambientes dinâmicos e complexos.