Resumen Técnico: REAP – Aparcamiento Autónomo de Extremo a Extremo con Aprendizaje por Refuerzo y Simulador de Gaussian Splatting

1. Declaración del Problema

El aparcamiento autónomo sigue siendo un desafío significativo, particularmente en escenarios extremos como plazas de aparcamiento mecánicas y espacios sin salida. Los enfoques tradicionales de múltiples etapas (percepción $\to$ planificación $\to$ control) sufren de acumulación de errores y a menudo fallan cuando los mapas previos no están disponibles o la percepción en tiempo real es inexacta. Aunque los métodos de extremo a extremo ofrecen optimización conjunta, enfrentan obstáculos distintos:

• Aprendizaje por Imitación: Requiere grandes cantidades de datos expertos de alta calidad, que son costosos de producir y a menudo conducen a un "comportamiento promediado" donde el modelo falla al ejecutar maniobras diversas o complejas de manera efectiva.
• Aprendizaje por Refuerzo (RL): Aunque es escalable, el RL estándar sufre de exploración ineficiente y la brecha "Sim2Real". Los modelos entrenados en simuladores a menudo fallan al desplegarse en el mundo real debido a discrepancias en la fidelidad visual y la dinámica física.
• Limitaciones de Simulación: Los simuladores de alta fidelidad existentes (por ejemplo, aquellos que utilizan NeRF o activos CAD tradicionales) a menudo carecen del realismo visual o la precisión física requeridos para robots sobre ruedas, o dependen de un modelado manual que no es escalable.

2. Metodología

Los autores proponen REAP (Aprendizaje por Refuerzo para Aparcamiento Autónomo de Extremo a Extremo), un sistema basado en visión que predice las acciones del vehículo directamente a partir de imágenes de cámaras de visión periférica. El marco integra tres componentes principales:

A. Red de Extremo a Extremo con Tareas Auxiliares de Vista Aérea (BEV)

El sistema utiliza una representación unificada de Vista Aérea (BEV). Las imágenes de visión periférica se transforman en características BEV, y una plaza de aparcamiento objetivo se representa como un mapa de calor BEV.

• Arquitectura: La red incluye un actor (planificador) y un crítico.
• Tareas Auxiliares: Para mejorar la representación de características, la red se entrena conjuntamente con tres tareas de percepción auxiliares:
  1. Ocupación (OCC): Predice la ocupación geométrica para evitar obstáculos.
  2. Detección de Plaza de Aparcamiento (PSD): Identifica plazas disponibles.
  3. Predicción de Objetivo: Combina la PSD con el objetivo seleccionado por el usuario para asegurar una localización estable de la plaza.
• Modelado: Las plazas de aparcamiento se modelan utilizando distribuciones gaussianas 2D para mantener la separabilidad entre espacios adyacentes, y funciones de activación asimétricas distinguen las direcciones de aparcamiento accesibles.

B. Estrategia de Aprendizaje por Refuerzo Híbrido Asimétrico

Para abordar la ineficiencia del RL puro y la dependencia de datos del aprendizaje por imitación, REAP emplea una estrategia híbrida dinámica:

• Clonación de Comportamiento (BC): Durante la exploración, el sistema consulta un planificador basado en reglas (curvas de Reed-Shepp) para generar acciones expertas. Estas se utilizan para destilar capacidades en la red del actor mediante clonación de comportamiento, proporcionando guía inmediata y ajustada al estado sin conjuntos de datos pre-recopilados.
• Entrenamiento Asimétrico: El actor aprende a partir de imágenes de visión periférica crudas (simulando restricciones del mundo real), mientras que el crítico se entrena con información "privilegiada" disponible solo en simulación (mapas BEV libres de artefactos). Esto estabiliza la estimación de valor y reduce el costo computacional.
• Soft Actor-Critic (SAC): El algoritmo utiliza SAC para maximizar tanto el valor de la acción como la entropía de la política, fomentando la exploración.
• Búfers de Repetición: Se utilizan dos búfers: un búfer principal para todas las experiencias y un búfer de "experiencias exitosas" específicamente para éxitos sin colisiones, mejorando la utilización de muestras positivas raras en escenarios difíciles.

C. Diseño de Recompensas y Mecanismos de Seguridad

La función de recompensa ($R_{total}$) combina recompensas dispersas y densas:

• Recompensas Dispersas: Incluyen éxito, tiempo de espera agotado, cruce de límites y una novedosa Recompensa de Ancla de Aparcamiento. La recompensa de ancla se otorga cuando el vehículo alcanza un estado donde un planificador basado en reglas puede generar una trayectoria factible, acelerando la convergencia en tareas de horizonte largo.
• Recompensas Densas y Seguridad:
  • Recompensa Predictiva de Colisión ($R_{PC}$): Penaliza las acciones basándose en la relación entre la longitud de la colisión y la longitud total de la trayectoria, permitiendo que el agente distinga entre colisiones potenciales graves y leves antes de que ocurran.
  • Recompensa de Colisión Suave ($R_{SC}$): Utiliza un Campo de Distancia Signado Truncado (TSDF) para penalizar las acciones que acercan el vehículo demasiado a los obstáculos, fomentando un margen de seguridad incluso si no ocurre una colisión dura.

D. Simulador Real2Sim2Real basado en 3D Gaussian Splatting (3DGS)

Para cerrar la brecha Sim2Real, los autores construyeron un simulador de bucle cerrado:

• Real2Sim: Las escenas del mundo real se capturan utilizando LiDAR y cámaras portátiles. Se utiliza 3D Gaussian Splatting (3DGS) para reconstruir el entorno, proporcionando renderizado fotorrealista y geometría de escala precisa sin modelado CAD manual.
• Sim2Real: El simulador incorpora aleatorización de dominio (iluminación, intrínsecas/extrínsecas de la cámara) y un mapa de elevación 2.5D con un modelo de vehículo de doble capa. Esto permite una simulación precisa de pendientes, baches y las restricciones de espacio libre específicas de las plazas de aparcamiento mecánicas (donde el vehículo debe pasar sobre barreras bajas).

3. Contribuciones Clave

1. Algoritmo REAP: Un algoritmo de aparcamiento de extremo a extremo basado en visión que mejora significativamente el rendimiento en escenarios extremos. Combina clonación de comportamiento para una inicialización eficiente con RL asimétrico para un aprendizaje robusto de políticas.
2. Simulador Basado en 3DGS: Un pipeline Real2Sim2Real que utiliza 3D Gaussian Splatting para crear simulaciones visuales y físicas de alta fidelidad. Esto permite la transferencia directa de modelos entrenados en simulación a vehículos reales, reduciendo efectivamente la brecha de dominio.
3. Penalización Predictiva de Colisión Suave: Un mecanismo de seguridad novedoso que combina la evaluación predictiva de colisiones y penalizaciones suaves de campo de distancia para reducir las tasas de colisión y fomentar márgenes de seguridad.
4. Despliegue en el Mundo Real: Despliegue exitoso en una plataforma física de vehículo, demostrando la viabilidad del aparcamiento RL de extremo a extremo en plazas mecánicas extremadamente estrechas (2.1 m de ancho con ~10 cm de espacio libre).

4. Resultados Experimentales

Los autores evaluaron REAP en cinco escenarios: cuatro garajes de aparcamiento estándar (subterráneos y a nivel del suelo) y una plaza de aparcamiento mecánico altamente restringida.

• Métricas de Rendimiento:
  • Plazas Estándar: REAP-SAC logró una 83.5% de Tasa de Éxito de Aparcamiento (PSR) en simulación y 65–85% en pruebas del mundo real.
  • Plazas Mecánicas: En el escenario más desafiante (2.1 m de ancho), REAP-SAC logró una 70.0% de PSR en simulación y 55.0% en pruebas del mundo real, con un tiempo promedio de aparcamiento de 89 segundos.
• Comparaciones:
  • REAP superó a los planificadores basados en reglas (que a menudo fallaban en maniobras complejas) y a otras líneas base de RL/Aprendizaje por Imitación (PPO, SAC, HOPE, ParkingE2E) tanto en tasa de éxito como en evitación de colisiones.
  • Estudios de Ablación: Eliminar el simulador 3DGS (reemplazándolo por simuladores basados en CAD o mallas) resultó en una caída drástica de la PSR en el mundo real (de 70% a 0% o 45%), confirmando el papel crítico de la fidelidad visual. Eliminar tareas auxiliares o la estrategia de entrenamiento híbrido también degradó significativamente el rendimiento.
• Brecha Sim2Real: La estrecha correlación entre los resultados de simulación y del mundo real (por ejemplo, 70% vs 55% en plazas mecánicas) valida la efectividad del pipeline Real2Sim2Real.

5. Significado y Afirmaciones

El artículo afirma que REAP representa un paso significativo hacia adelante en el aparcamiento autónomo al:

• Resolver Escenarios Extremos: Es uno de los primeros enfoques de aprendizaje por refuerzo de extremo a extremo que navega y aparca con éxito en plazas mecánicas extremadamente estrechas, una tarea donde los métodos tradicionales a menudo fallan.
• Transferencia Eficiente Real2Sim2Real: Al aprovechar 3DGS, los autores demuestran que se puede lograr una simulación visual de alta fidelidad con costos mínimos de recopilación de datos (escaneo portátil) y sin modelado manual, permitiendo que los modelos entrenados en simulación se generalicen directamente al mundo real.
• Seguridad y Eficiencia: La integración de penalizaciones suaves predictivas de colisiones y entrenamiento RL asimétrico aborda los desafíos de seguridad y eficiencia de exploración inherentes al RL basado en visión.

Limitaciones Reconocidas por los Autores:

• Suavidad: El ajuste fino mejora las tasas de éxito pero puede aumentar los cambios de marcha, reduciendo ligeramente la suavidad del movimiento.
• Dependencia del Entrenamiento: El pipeline actual aún depende de la supervisión del planificador basado en reglas para la estabilidad temprana del entrenamiento y la definición de la recompensa de ancla.
• Generalización: La validación está actualmente limitada a entornos estructurados; la generalización a entornos exteriores no vistos u obstáculos altamente dinámicos requiere más estudio.
• Computación: Desplegar modelos de extremo a extremo en dispositivos de borde introduce una sobrecarga computacional, y el diseño de seguridad actual ofrece garantías empíricas en lugar de formales.