CoInfra: A Large-Scale Cooperative Infrastructure Perception System and Dataset for Vehicle-Infrastructure Cooperation in Adverse Weather

Resumen Técnico: CoInfra

1. El Problema

La percepción autónoma en entornos urbanos complejos sigue siendo un cuello de botella, especialmente cuando los participantes del tráfico están parcialmente ocluidos, distribuidos en grandes áreas o bajo condiciones climáticas adversas. Aunque la cooperación vehículo-infraestructura (V2I) ofrece una promesa teórica para superar estas limitaciones de perspectiva mediante sensores elevados en la carretera, su valor práctico ha sido difícil de cuantificar debido a tres brechas principales en la investigación actual:

1. Falta de escalabilidad y realismo: La mayoría de los sistemas existentes no abordan la sincronización distribuida bajo retrasos de comunicación estocásticos (reales) como un objeto de estudio explícito.
2. Falta de sistemas completos reproducibles: Pocos trabajos liberan tanto el conjunto de datos como la pila de software completa necesaria para replicar despliegues a gran escala.
3. Evaluación insuficiente: Las métricas actuales se centran en la precisión del detector (AP) y no evalúan si la percepción cooperativa mejora realmente la conciencia situacional en escenarios de conflicto críticos (como rotondas) bajo mal tiempo.

2. Metodología y Sistema Propuesto

El artículo presenta CoInfra, una plataforma de percepción cooperativa desplegable que integra hardware, software y datos.

• Arquitectura del Sistema:

  • Nodos de Infraestructura: 14 nodos de sensores instalados en postes de luz municipales (aprox. 7.5 m de altura) alrededor de una rotonda urbana.
  • Sensores: Cada nodo cuenta con un LiDAR (32 canales) y dos cámaras RGB, procesados localmente en una unidad de borde (NVIDIA Jetson Orin NX).
  • Comunicación: Los nodos se conectan a un servidor en la nube a través de una red 5G comercial.
  • Pipeline de Percepción: Los nodos ejecutan detección y seguimiento localmente y transmiten salidas estructuradas (cajas delimitadoras, no imágenes crudas) para minimizar la latencia y el ancho de banda.

• Sincronización Consciente del Retraso:

  • El sistema aborda el problema de la sincronización bajo latencia estocástica modelando los retrasos de comunicación como distribuciones gaussianas.
  • Implementa una ventana de fusión adaptativa ($\Delta T$) que espera un tiempo óptimo basado en la latencia media y desviación estándar de los nodos ($\max(\hat{\mu}_i + n\hat{\sigma}_i)$).
  • Utiliza predicción de estado (EKF) para compensar los mensajes que llegan tarde, manteniendo la integridad de la fusión sin bloquear la respuesta del sistema.

• Conjunto de Datos (Dataset):

  • CoInfra-I2I: El subconjunto principal con datos de 8 nodos de infraestructura sincronizados bajo cuatro condiciones climáticas: soleado, lluvioso, nevada intensa y lluvia helada. Contiene 294k frames de LiDAR, 589k imágenes y 332k cajas 3D globales.
  • CoInfra-V2I: Un subconjunto más pequeño que incluye datos sincronizados de la infraestructura y un vehículo autónomo (shuttle) operando en la rotonda, diseñado para evaluar la observabilidad desde la perspectiva del vehículo.

3. Contribuciones Clave

1. Plataforma Desplegable y Open-Source: Liberación de una pila de sistema completa (documentación de hardware, herramientas de calibración/sincronización, interfaz de gestión y pipeline ROS compatible con Autoware) junto con un dataset a gran escala.
2. Análisis de Sincronización bajo 5G Real: Formulación del problema de sincronización como un compromiso entre completitud y latencia, demostrando que una ventana adaptativa con predicción de estado reduce la latencia de cola (P99) sin sacrificar la completitud de la fusión.
3. Evaluación Centrada en el Transporte: Introducción de una métrica de observabilidad centrada en el ego (el vehículo). En lugar de solo medir la precisión del detector, evalúa si la infraestructura restaura la visibilidad de participantes críticos (peatones, ciclistas) en momentos de conflicto donde el sensor del vehículo falla.

4. Resultados Principales

• Comunicación 5G:

  • La transmisión de imágenes crudas es inviable (latencia >2s, pérdida de paquetes >60%).
  • La transmisión de salidas de objetos (cajas delimitadoras) es altamente eficiente: latencia media de ~24 ms y pérdida de paquetes 0%.
  • El clima adverso afecta ligeramente la latencia de cola, pero no el promedio.

• Rendimiento de Detección (CoInfra-I2I):

  • La fusión global supera consistentemente a la fusión local, especialmente para objetos pequeños y críticos (VRU: peatones y ciclistas).
  • En zonas de conflicto (rotonda), la fusión global logra una precisión (AP@0.5) casi perfecta para vehículos (>99%), mientras que los métodos locales caen significativamente.
  • La fusión cooperativa aumenta drásticamente la densidad de puntos de LiDAR por objeto, mejorando la detección en condiciones de nieve y lluvia.

• Observabilidad Centrada en el Ego (CoInfra-V2I) - Resultado Crítico:

  • En escenarios de conflicto en la rotonda, la percepción solo del vehículo tiene una completitud de cuadros críticos (donde todos los participantes peligrosos son visibles) de entre 33% y 46%.
  • Al añadir la percepción de la infraestructura (V2I), esta completitud aumenta a 86% - 100%.
  • La infraestructura recupera hasta un 98% de los objetos que el vehículo no ve debido a oclusiones (ej. peatones ocultos por postes o señales).

5. Significado e Impacto

El trabajo de CoInfra demuestra que la percepción cooperativa vehículo-infraestructura no es solo una mejora teórica, sino una necesidad práctica para la seguridad en entornos urbanos complejos.

• Validación de Viabilidad: Demuestra que es posible desplegar sistemas cooperativos a gran escala utilizando redes 5G comerciales y computación en el borde, gestionando eficazmente los retrasos de comunicación.
• Cambio de Paradigma en la Evaluación: Sugiere que el éxito de estos sistemas no debe medirse únicamente por la precisión del detector (AP), sino por su capacidad para garantizar una conciencia situacional completa en los momentos y lugares más críticos para la seguridad vial.
• Reproducibilidad: Al liberar el código, el hardware y los datos, CoInfra elimina las barreras para que otros investigadores repliquen y extiendan la investigación en percepción cooperativa en el mundo real, especialmente bajo condiciones climáticas adversas.

En conclusión, CoInfra establece un nuevo estándar para la investigación en V2I, proporcionando la primera plataforma integral que vincula la infraestructura de sensores, la comunicación 5G real y la evaluación de seguridad en escenarios de tráfico conflictivos y climas extremos.