Resumo Técnico: REAP – Estacionamento Autônomo de Ponta a Ponta com Aprendizado por Reforço e Simulador de Gaussian Splatting

1. Declaração do Problema

O estacionamento autônomo permanece um desafio significativo, particularmente em cenários extremos, como vagas de estacionamento mecânico e espaços sem saída. Abordagens tradicionais multiestágio (percepção $\to$ planejamento $\to$ controle) sofrem com acúmulo de erros e frequentemente falham quando mapas prévios estão indisponíveis ou a percepção em tempo real é imprecisa. Embora métodos de ponta a ponta ofereçam otimização conjunta, eles enfrentam obstáculos distintos:

• Aprendizado por Imitação: Requer grandes quantidades de dados de especialistas de alta qualidade, que são custosos para produzir e frequentemente levam a um "comportamento de média", onde o modelo falha em executar manobras diversas ou complexas de forma eficaz.
• Aprendizado por Reforço (RL): Embora escalável, o RL padrão sofre com exploração ineficiente e a lacuna "Sim2Real". Modelos treinados em simuladores frequentemente falham ao serem implantados no mundo real devido a discrepâncias na fidelidade visual e na dinâmica física.
• Limitações de Simulação: Simuladores de alta fidelidade existentes (por exemplo, aqueles que utilizam NeRF ou ativos CAD tradicionais) frequentemente carecem do realismo visual ou da precisão física necessários para robôs sobre rodas, ou dependem de modelagem manual que não é escalável.

2. Metodologia

Os autores propõem o REAP (Estacionamento Autônomo de Ponta a Ponta com Aprendizado por Reforço), um sistema baseado em visão que prevê ações do veículo diretamente a partir de imagens de câmera de visão circundante. O framework integra três componentes principais:

A. Rede de Ponta a Ponta com Tarefas Auxiliares de Visão Aérea (BEV)

O sistema utiliza uma representação unificada de Visão Aérea (BEV). Imagens de visão circundante são transformadas em características BEV, e uma vaga de estacionamento alvo é representada como um mapa de calor BEV.

• Arquitetura: A rede inclui um ator (planejador) e um crítico.
• Tarefas Auxiliares: Para aprimorar a representação de características, a rede é treinada conjuntamente com três tarefas de percepção auxiliares:
  1. Ocupação (OCC): Prevê a ocupação geométrica para evitar obstáculos.
  2. Detecção de Vaga de Estacionamento (PSD): Identifica vagas disponíveis.
  3. Previsão de Alvo: Combina a PSD com o alvo selecionado pelo usuário para garantir localização estável da vaga.
• Modelagem: As vagas de estacionamento são modeladas usando distribuições Gaussianas 2D para manter a separabilidade entre espaços adjacentes, e funções de gate assimétricas distinguem direções de estacionamento acessíveis.

B. Estratégia de Aprendizado por Reforço Híbrido Assimétrico

Para abordar a ineficiência do RL puro e a dependência de dados do aprendizado por imitação, o REAP emprega uma estratégia híbrida dinâmica:

• Clonagem de Comportamento (BC): Durante a exploração, o sistema consulta um planejador baseado em regras (curvas de Reed-Shepp) para gerar ações de especialista. Estas são usadas para destilar capacidades na rede do ator via clonagem de comportamento, fornecendo orientação imediata e compatível com o estado sem conjuntos de dados pré-coletados.
• Treinamento Assimétrico: O ator aprende a partir de imagens brutas de visão circundante (simulando restrições do mundo real), enquanto o crítico é treinado com informações "privilegiadas" disponíveis apenas na simulação (mapas BEV sem artefatos). Isso estabiliza a estimativa de valor e reduz o custo computacional.
• Soft Actor-Critic (SAC): O algoritmo utiliza SAC para maximizar tanto o valor da ação quanto a entropia da política, incentivando a exploração.
• Buffers de Replay: Dois buffers são utilizados: um buffer principal para todas as experiências e um buffer de "experiências bem-sucedidas" especificamente para sucessos sem colisões, melhorando a utilização de amostras positivas raras em cenários difíceis.

C. Design de Recompensa e Mecanismos de Segurança

A função de recompensa ($R_{total}$) combina recompensas esparsas e densas:

• Recompensas Esparsas: Incluem sucesso, tempo esgotado, cruzamento de limites e uma nova Recompresa de Âncora de Estacionamento. A recompensa de âncora é concedida quando o veículo atinge um estado onde um planejador baseado em regras pode gerar uma trajetória viável, acelerando a convergência em tarefas de longo horizonte.
• Recompensas Densas e Segurança:
  • Recompensa de Colisão Preditiva ($R_{PC}$): Penaliza ações com base na razão entre o comprimento da colisão e o comprimento total da trajetória, permitindo que o agente distinga entre colisões potenciais graves e leves antes que ocorram.
  • Recompensa de Colisão Suave ($R_{SC}$): Utiliza um Campo de Distância Sinalizado Truncado (TSDF) para penalizar ações que aproximam o veículo demais dos obstáculos, incentivando uma margem de segurança mesmo que uma colisão dura não ocorra.

D. Simulador Real2Sim2Real baseado em Gaussian Splatting 3D (3DGS)

Para fechar a lacuna Sim2Real, os autores construíram um simulador de malha fechada:

• Real2Sim: Cenas do mundo real são capturadas usando LiDAR e câmeras portáteis. O Gaussian Splatting 3D (3DGS) é utilizado para reconstruir o ambiente, fornecendo renderização fotorealista e geometria com escala precisa sem modelagem CAD manual.
• Sim2Real: O simulador incorpora randomização de domínio (iluminação, intrínsecas/extrínsecas da câmera) e um mapa de elevação 2.5D com um modelo de veículo de duas camadas. Isso permite a simulação precisa de rampas, lombadas e as restrições específicas de altura livre de vagas de estacionamento mecânicas (onde o veículo deve passar sobre barreiras baixas).

3. Principais Contribuições

1. Algoritmo REAP: Um algoritmo de estacionamento de ponta a ponta baseado em visão que aprimora significativamente o desempenho em cenários extremos. Combina clonagem de comportamento para inicialização eficiente com RL assimétrico para aprendizado de política robusto.
2. Simulador Baseado em 3DGS: Um pipeline Real2Sim2Real que utiliza Gaussian Splatting 3D para criar simulações visuais e físicas de alta fidelidade. Isso permite a transferência direta de modelos treinados em simulação para veículos reais, estreitando efetivamente a lacuna de domínio.
3. Penalidade Preditiva de Colisão Suave: Um mecanismo de segurança inovador que combina avaliação preditiva de colisão e penalidades suaves de campo de distância para reduzir taxas de colisão e incentivar margens de segurança.
4. Implantação no Mundo Real: Implantação bem-sucedida em uma plataforma física de veículo, demonstrando a viabilidade do estacionamento RL de ponta a ponta em vagas mecânicas extremamente estreitas (2,1m de largura com ~10cm de folga).

4. Resultados Experimentais

Os autores avaliaram o REAP em cinco cenários: quatro garagens de estacionamento padrão (subterrâneas e ao nível do solo) e uma vaga de estacionamento mecânico altamente restrita.

• Métricas de Desempenho:
  • Vagas Padrão: O REAP-SAC alcançou uma Taxa de Sucesso de Estacionamento (PSR) de 83,5% na simulação e 65–85% em testes no mundo real.
  • Vagas Mecânicas: No cenário mais desafiador (2,1m de largura), o REAP-SAC alcançou uma PSR de 70,0% na simulação e 55,0% em testes no mundo real, com um tempo médio de estacionamento de 89 segundos.
• Comparações:
  • O REAP superou planejadores baseados em regras (que frequentemente falhavam em manobras complexas) e outras bases de RL/Aprendizado por Imitação (PPO, SAC, HOPE, ParkingE2E) tanto na taxa de sucesso quanto na evasão de colisões.
  • Estudos de Ablação: Remover o simulador 3DGS (substituindo-o por simuladores baseados em CAD ou Malha) resultou em uma queda drástica na PSR no mundo real (de 70% para 0% ou 45%), confirmando o papel crítico da fidelidade visual. A remoção de tarefas auxiliares ou da estratégia de treinamento híbrido também degradou significativamente o desempenho.
• Lacuna Sim2Real: A forte correlação entre os resultados de simulação e do mundo real (por exemplo, 70% vs 55% em vagas mecânicas) valida a eficácia do pipeline Real2Sim2Real.

5. Significado e Alegações

O artigo afirma que o REAP representa um passo significativo para frente no estacionamento autônomo ao:

• Resolver Cenários Extremos: É uma das primeiras abordagens de aprendizado por reforço de ponta a ponta a navegar e estacionar com sucesso em vagas mecânicas extremamente estreitas, uma tarefa onde métodos tradicionais frequentemente falham.
• Transferência Eficiente Real2Sim2Real: Ao alavancar o 3DGS, os autores demonstram que simulação visual de alta fidelidade pode ser alcançada com custos mínimos de coleta de dados (varredura portátil) e sem modelagem manual, permitindo que modelos treinados em simulação generalizem diretamente para o mundo real.
• Segurança e Eficiência: A integração de penalidades preditivas de colisão suaves e treinamento de RL assimétrico aborda os desafios de segurança e eficiência de exploração inerentes ao RL baseado em visão.

Limitações Reconhecidas pelos Autores:

• Suavidade: O ajuste fino melhora as taxas de sucesso, mas pode aumentar as trocas de marcha, reduzindo ligeiramente a suavidade do movimento.
• Dependência de Treinamento: O pipeline atual ainda depende da supervisão de planejadores baseados em regras para estabilidade inicial do treinamento e definição de recompensa de âncora.
• Generalização: A validação atualmente limita-se a ambientes estruturados; a generalização para ambientes externos não vistos ou obstáculos altamente dinâmicos requer estudos adicionais.
• Computação: A implantação de modelos de ponta a ponta em dispositivos de borda introduz sobrecarga computacional, e o design de segurança atual oferece garantias empíricas em vez de formais.