Resumen Técnico: ARCANE-PedSynth

Declaración del Problema

Predecir las intenciones de cruce de peatones en la conducción autónoma es una tarea de percepción crítica para la seguridad, particularmente en entornos urbanos complejos. Los conjuntos de datos del mundo real existentes (por ejemplo, JAAD, PIE) sufren de un desequilibrio de clases severo, donde los eventos de cruce constituyen menos del 10% de los fotogramas observados, y carecen de una representación suficiente de casos límite críticos para la seguridad, como el cruce ilegal, las carreras repentinas o las pausas en medio de la carretera. Además, la anotación manual de atributos subjetivos como la intención de cruce es costosa e inconsistente. Si bien la generación de datos sintéticos mediante simuladores como CARLA ofrece una vía hacia un ground truth ilimitado y perfecto en píxeles, el sistema nativo de peatones con IA de CARLA está limitado por su malla de navegación, que trata las superficies de la carretera como obstáculos, lo que resulta en una tasa de cruce base de solo el 9%. Además, las soluciones sintéticas existentes a menudo carecen de sensores multimodales, anotaciones conductuales densas más allá de etiquetas binarias, o la capacidad de controlar las tasas de cruce y simular interacciones entre múltiples peatones de forma dinámica.

Metodología

Los autores presentan ARCANE-PedSynth, un marco de software de código abierto basado en CARLA diseñado para generar conjuntos de datos sintéticos de múltiples peatones con anotaciones conductuales densas. El sistema se orquesta mediante Docker Compose, separando el servidor CARLA sin modificar de los contenedores personalizados de generación y extracción de poses para evitar conflictos de dependencias.

1. Arquitectura de Control Híbrido IA-Manual

Para superar la limitación de la tasa de cruce del 9%, el marco emplea un sistema de control de peatones de doble modo:

• Modo IA: Los peatones siguen las aceras utilizando los controladores de IA nativos de CARLA (go_to_location).
• Modo Manual: El controlador de IA se detiene y los peatones se controlan directamente mediante comandos WalkerControl para ejecutar vectores de cruce específicos, velocidades y pausas.
• Ingeniería de Tasa de Cruce de Cuatro Capas: Una estrategia configurable eleva la tasa de cruce efectiva del 9% al 40–75% mediante:
  1. Asignación de Cruzadores: Asignar el 90% de los peatones generados como potenciales cruzadores.
  2. Asignación de Tipo Conductual: Distribuir comportamientos (50% normal, 25% repentino, 25% cruce ilegal).
  3. Inyección en Medio de la Carretera: Generar "cruzadores ilegales en medio" directamente en los carriles de conducción con desplazamientos laterales.
  4. Formación de Grupos: Sincronizar 2–3 peatones en grupos con una probabilidad del 40%.

2. Máquina de Estados Finitos Conductual (FSM)

Cada peatón es impulsado por una FSM de 12 estados (por ejemplo, Caminando por la acera, Mirando alrededor, Revisando el tráfico, Dudando, Cruzando la carretera, Pausa en medio del cruce, Retroceder) gobernada por un modelo de aceptación de espacio basado en el Tiempo hasta la Colisión (TTC). Las decisiones de cruzar, pausar o retroceder se basan en la proximidad y la velocidad de los vehículos circundantes.

• Arquetipos de Personaje: Cinco arquetipos distintos (persona de negocios, persona casual, persona mayor, persona joven, padre/madre con hijo) definen parámetros base para la velocidad, la duración de la duda, los niveles de atención y la propensión intrínseca al cruce, informados por estudios observacionales.
• Velocidad Situacional: Los peatones cambian dinámicamente entre cuatro perfiles de velocidad (cauteloso, normal, apresurado, distraído) para simular la variabilidad del mundo real.

3. Sensado Multimodal y Anotación

El marco captura datos sincronizados de tres sensores montados en un vehículo ego en movimiento:

• Cámara RGB: 1280×720, 90° de campo de visión, 30 FPS.
• LiDAR: 64 canales, 100 m de alcance, 20 Hz.
• DVS (Sensor de Visión Dinámico): Cámara de eventos que captura cambios de brillo en microsegundos.

Pipeline de Anotación:

• Puerta de Visibilidad: Los peatones se anotan solo si están dentro de los 70 m, en el campo de visión de la cámara y por encima de un tamaño mínimo de caja delimitadora.
• Etiquetas: Incluye etiquetas binarias de cruce validadas por carril (C/NC), estados conductuales, cajas delimitadoras, distancia al ego y marcadores de Tiempo hasta el Evento (TTE).
• Extracción de Pose: En lugar de utilizar el esqueleto 3D interno de CARLA (que requiere una proyección compleja), el marco aplica AlphaPose y OpenPose a los fotogramas RGB renderizados para generar puntos clave 2D en formato COCO-17. Este enfoque asegura la consistencia con las pipelines de procesamiento del mundo real y logra tasas de detección casi perfectas cuando se suministran cajas delimitadoras de ground truth.

4. Reproducibilidad

El sistema es totalmente reproducible mediante parametrización de CLI y contenedorización Docker. Soporta la generación por lotes a través de múltiples condiciones climáticas y ciudades, con un protocolo robusto de limpieza de seis fases para prevenir fugas de memoria durante ejecuciones de simulación extendidas.

Contribuciones Clave

1. Tasas de Cruce Controlables: El primer mecanismo de código abierto en CARLA para configurar tasas objetivo de cruce hasta el 75%, abordando directamente el problema del desequilibrio de clases en los conjuntos de datos del mundo real.
2. Modelado Conductual Denso: Introducción de una FSM de 12 estados con cinco arquetipos de personajes, permitiendo la simulación de comportamientos matizados (duda, retroceso, dinámicas de grupo) ausentes en conjuntos de datos sintéticos anteriores.
3. Sincronización Multimodal: Generación de flujos sincronizados de RGB, LiDAR y DVS con anotaciones por fotograma, facilitando la investigación en fusión de sensores.
4. Conjunto de Datos PedSynth++: El marco se utilizó para generar PedSynth++, un conjunto de datos que comprende 533 clips de múltiples peatones a través de 12 condiciones climáticas y 4 ciudades de CARLA, conteniendo más de 177.000 fotogramas anotados.

Resultados

El artículo demuestra la eficacia del marco a través del modelo PedGT (una arquitectura de transformador de grafos):

• Rendimiento: Entrenado exclusivamente con datos sintéticos de PedSynth++ de Town01 y Town02, PedGT logró una puntuación F1 de 89 en la división de prueba retenida de Town05.
• Ventanas Temporales: Una ventana de entrada de 16 fotogramas produjo un rendimiento óptimo (F1=89), equilibrando el contexto y la dilución de la señal.
• Calidad de la Anotación: El uso de cajas delimitadoras de ground truth generadas por el simulador para la extracción de poses resultó en tasas de detección de poses significativamente más altas en comparación con los conjuntos de datos del mundo real (donde son comunes las articulaciones faltantes), validando la consistencia interna de las anotaciones.
• Sin Normalización Requerida: Las anotaciones geométricamente consistentes preservaron las relaciones espaciales absolutas (por ejemplo, proximidad a los bordes de la carretera), permitiendo que los modelos aprendan eficazmente sin una normalización agresiva de datos.

Significado y Afirmaciones

Los autores afirman que ARCANE-PedSynth llena vacíos críticos en las herramientas existentes al proporcionar una pipeline reproducible y de código abierto que combina tasas de cruce controlables, tráfico dinámico de múltiples peatones, sensado multimodal y anotaciones conductuales densas.

• Habilitación de la Investigación: El marco habilita direcciones de investigación previamente difíciles o imposibles, como el entrenamiento en conjuntos de datos equilibrados de eventos raros, el estudio de la diversidad conductual más allá de las etiquetas binarias y la realización de experimentos rigurosos de fusión de sensores bajo diversas condiciones climáticas.
• Entrenamiento Adversarial: La inclusión de estados de eventos raros (cruce repentino, retroceso, pausa en medio de la carretera) genera casos extremos esenciales para probar la robustez de los vehículos autónomos.
• Limitaciones: Los autores notan modestamente que, aunque los datos se generan sintéticamente y la FSM se basa en reglas, no captura completamente la riqueza de la negociación social del mundo real, la comunicación basada en la mirada o las normas dependientes de la cultura. En consecuencia, aunque el marco demuestra una fuerte aprendibilidad in-domain, la generalización sim-a-real sigue siendo una dirección de investigación activa que requiere técnicas de adaptación de dominio.

El software se publica bajo la licencia MIT, aunque los componentes de terceros para la extracción de poses (OpenPose, SMPL/VPoser) tienen restricciones de licencia separadas.