Resumo Técnico: CoIRL-AD

1. Declaração do Problema

Modelos de direção autônoma de ponta a ponta (E2E) dependem predominantemente de Aprendizado por Imitação (IL), treinados para mimetizar demonstrações de especialistas. Embora eficazes em cenários comuns, esses modelos sofrem com uma generalização pobre em situações de "cauda longa" (long-tail), onde os dados de especialistas são escassos. Pequenos erros de previsão podem se acumular ao longo do tempo, deslocando o agente para estados não vistos (desvio distributivo).

O Aprendizado por Reforço (RL) oferece uma solução potencial ao aprender através de sinais de recompensa em vez de apenas demonstrações. No entanto, aplicar RL à direção autônoma no mundo real em um cenário offline (sem simuladores interativos) apresenta desafios significativos:

• Viés de Dados: Conjuntos de dados do mundo real são dominados por trajetórias de especialistas quase ótimas, fornecendo cobertura limitada de comportamentos subótimos ou alternativos, o que torna difícil aprender as diferenças de valor.
• Conflito de Objetivos: Otimizar conjuntamente IL (clonagem de comportamento) e RL (maximização de recompensa) dentro de uma única política frequentemente leva a conflitos de gradiente.
• Viés do Modelo: Em cenários offline, modelos de mundo treinados em dados de especialistas podem produzir previsões enviesadas para ações fora da distribuição, levando a estimativas de valor excessivamente otimistas e treinamento instável se usados para exploração de RL.

Abordagens existentes dependem de simuladores externos (convertendo o problema em RL online) ou utilizam estratégias de dois estágios (pré-treino com IL, ajuste fino com RL) que são propensas à instabilidade em dados reais offline.

2. Metodologia: CoIRL-AD

Os autores propõem o CoIRL-AD (Aprendizado de Imitação-Reforço Colaborativo-Competitivo), um framework que integra IL e RL sob um regime de treinamento offline unificado usando um Modelo de Mundo Latente compartilhado.

Arquitetura Central

O framework emprega uma arquitetura de política dupla consistindo em dois atores separados:

1. Ator de IL: Otimizado via clonagem de comportamento (perda de imitação) para mimetizar trajetórias de especialistas.
2. Ator de RL: Otimizado via aprendizado por reforço para maximizar recompensas cumulativas.
   Ambos os atores compartilham um módulo de percepção e um modelo de mundo latente, mas são atualizados separadamente para isolar o ruído de exploração do aprendizado por reforço do aprendizado por imitação.

Componentes Técnicos Principais

A. Modelo de Mundo Latente & Planejamento Reverso

• Modelo de Mundo Latente: Em vez de geração ao nível de pixels, o modelo opera no espaço latente para prever estados futuros ($\hat{s}'$) dado o estado atual ($s$) e uma sequência de ações ($\tau_a$). Isso serve como um "simulador reativo" para o ator de RL imaginar rollouts futuros.
• Planejamento Reverso (Causalidade Inversa): Diferente do planejamento causal direto padrão, os autores propõem uma estratégia de planejamento reverso onde a $i$-ésima ação é condicionada a características de waypoints atuais e futuros ($\pi_i(a_i | s_{w,i}, ..., s_{w,n})$). Este raciocínio de "objetivo-para-ação" fornece às ações iniciais informações contextuais mais ricas, o que os autores descobriram ser benéfico para o objetivo do ator de RL de maximizar recompensas cumulativas.

B. Formulação de RL para Dados Offline

• Amostragem em Grupo (Inspirado por GRPO): Para abordar a falta de diversidade comportamental em conjuntos de dados dominados por especialistas, o ator de RL amostra $G$ trajetórias de ação a partir de sua política estocástica.
• Função de Recompensa: As recompensas são computadas usando sinais baseados em regras derivados de anotações do conjunto de dados (mapas e caixas delimitadoras), incluindo:
  • Recompensa de Imitação: Proximidade às ações do especialista.
  • Recompensa de Colisão: Evitação de obstáculos estáticos e dinâmicos.
• Estimativa de Vantagem: O framework utiliza o modelo de mundo latente para prever estados futuros para as trajetórias amostradas. Uma rede de crítico estima o valor dos estados atuais e futuros imaginados. A vantagem é calculada usando uma normalização Z-score da recompensa total (incluindo o valor futuro descontado) dentro do grupo.
• Política Estocástica: O ator de RL produz uma distribuição Gaussiana para as ações para permitir a exploração, com um mecanismo "consciente do passo" (step-aware) que garante a suavidade da trajetória ao tornar apenas uma ação estocástica por sequência enquanto as outras seguem o modo.

C. Mecanismo de Política Dupla Competitiva

Para resolver a instabilidade do RL offline e os conflitos de gradiente da otimização conjunta, os dois atores participam de um mecanismo de aprendizado competitivo:

• Comparação Periódica: A cada $k$ iterações, o desempenho (recompensa acumulada) dos atores de IL e RL é comparado.
• Transferência Adaptativa:
  • Se o desempenho for semelhante, ambos permanecem inalterados.
  • Se a lacuna for moderada, uma "fusão suave" (soft merge) transfere o conhecimento do vencedor para o perdedor.
  • Se a lacuna for grande, os parâmetros do perdedor são diretamente substituídos pelos do vencedor.
• Papel: Este mecanismo ancora o ator de RL a uma condução semelhante à do especialista (prevenindo a divergência catastrófica devido ao viés do modelo de mundo), enquanto permite que o ator de RL transfira seletivamente comportamentos exploratórios benéficos de volta ao ator de IL.

3. Principais Contribuições

1. Framework de RL Offline para Direção E2E: Uma abordagem inovadora para integrar RL na direção end-to-end sem simuladores externos, utilizando um modelo de mundo latente treinado em dados do mundo real para rollouts imaginados.
2. Treinamento Decouplado e Competitivo: Um framework de política dupla que separa IL e RL em atores distintos para evitar conflitos de gradiente, conectados via um mecanismo competitivo que estabiliza o treinamento e facilita a troca de conhecimento.
3. Estratégia de Planejamento Reverso: A introdução de mascaramento de causalidade inversa no cabeçalho de planejamento, que melhora o desempenho de RL ao alinhar a política com o raciocínio orientado a objetivos.
4. Amostragem em Grupo para Dados Offline: Uma adaptação da amostragem em grupo (GRPO) para gerar diversidade comportamental de conjuntos de dados dominados por especialistas, permitindo uma estimativa de valor eficaz.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados nuScenes.

• Principais Benchmarks: O CoIRL-AD supera consistentemente bases fortes de IL (ex: LAW) tanto em erro de deslocamento L2 quanto em taxas de colisão. Ele atinge o melhor métrica combinada ($L2 \cdot Col$) e mantém baixa latência de inferência.
• Generalização entre Cidades: Quando treinado no nuScenes-Singapura e testado no nuScenes-Boston, o CoIRL-AD demonstrou robustez significativamente maior (redução de 77% na métrica $L2 \cdot Col$ em comparação com a base), atribuída às capacidades de exploração do ator de RL.
• Cenários de Cauda Longa: Em subconjuntos de dados com altas taxas de colisão ou altos erros de L2 (casos raros/desafiadores), o CoIRL-AD mostrou melhorias substanciais sobre a base, enquanto a base enfrentava dificuldades.
• Estudos de Ablação:
  • Desacoplamento e Competição: Apenas os atores desacoplados com o mecanismo de competição melhoraram tanto a precisão quanto a segurança. Estratégias de dois estágios e de fusão de perda falharam ou tiveram desempenho inferior.
  • Modelo de Mundo: Remover o modelo de mundo latente degradou significativamente o desempenho, particularmente na evasão de colisão de longo horizonte.
  • Causalidade Inversa: A estratégia de planejamento reverso beneficiou especificamente o ator de RL; aplicar isso ao IL puro degradou o desempenho, destacando sua utilidade específica para a maximização de recompensa.

5. Significância e Alegações

O artigo afirma que o CoIRL-AD demonstra que o aprendizado por reforço pode efetivamente aprimorar sistemas de direção autônoma end-to-end offline quando devidamente estruturado.

• Estabilidade sobre Simuladores: Ao usar um modelo de mundo latente aprendido em vez de um simulador externo, o método evita lacunas de sim-to-real e suposições específicas de simuladores.
• Resolvendo o Desafio Offline: O framework de política dupla competitiva aborda a instabilidade específica do RL offline (causada pelo viés do modelo de mundo e falta de dados diversos) usando o ator de IL como uma âncora estabilizadora.
• Melhoria Direcionada: Os autores enfatizam que o RL fornece os benefícios mais significativos em cenários desafiadores, sub-representados e de cauda longa, onde as demonstrações de especialistas são escassas, mantendo o desempenho em cenários padrão.
• Generalizabilidade: A abordagem é apresentada como um framework de uso geral para combinar aprendizado de imitação e reforço em IA incorporada (embodied AI), oferecendo uma direção promissora para melhorar a generalização sem depender de simulação interativa.