PoseDriver: A Unified Approach to Multi-Category Skeleton Detection for Autonomous Driving

1. Planteamiento del Problema

En la conducción autónoma, la detección y comprensión de objetos dinámicos (peatones, vehículos, animales) y estáticos (carriles) es crucial. Las representaciones tradicionales, como las cajas delimitadoras (bounding boxes) o las máscaras de segmentación, a menudo carecen de la granularidad necesaria para predecir intenciones (ej. orientación de la cabeza de un peatón) o planificar trayectorias complejas.

Aunque la detección de esqueletos (puntos clave y sus conexiones) ofrece una representación más compacta y expresiva de la estructura y postura, existen dos brechas principales:

• Falta de unificación: No existe una arquitectura unificada capaz de manejar múltiples categorías (peatones, animales, coches, bicicletas) y elementos estáticos (carriles) simultáneamente utilizando solo una imagen de entrada.
• Limitaciones de los modelos existentes: Los enfoques actuales de detección de keypoints multi-categoría suelen depender de detectores de objetos previos, prompts de texto/imagen o múltiples pasadas de inferencia, lo que aumenta la complejidad computacional. Además, la detección de carriles basada en keypoints es un área poco explorada debido a la falta de marcadores semánticos claros.

2. Metodología: PoseDriver

Los autores proponen PoseDriver, un marco unificado de detección de esqueletos "bottom-up" (de abajo hacia arriba) diseñado específicamente para escenarios de conducción.

Arquitectura y Componentes Clave:

• Enfoque Bottom-Up: Inspirado en OpenPifPaf, el modelo detecta todos los puntos clave en la imagen primero y luego los asocia a instancias específicas mediante campos de asociación.
• Campos Compuestos: Utiliza Campos de Intensidad Compuesta (CIF) para la localización de puntos clave y Campos de Asociación Compuesta (CAF) para agrupar los puntos en objetos completos.
• Representación de Carriles como Esqueletos: Una innovación clave es reformular la detección de carriles como un problema de detección de esqueletos. En lugar de usar máscaras o líneas paramétricas, los carriles se representan como un conjunto fijo de puntos clave ordenados (24 puntos por carril). Para resolver la ambigüedad semántica (los puntos de un carril no tienen significado como "ojo" o "nariz"), se interpolan los puntos de anotación para mantener una distancia espacial uniforme, preservando la topología y continuidad del carril.
• Backbones sin Normalización por Lotes (Batch Normalization): Se identificó que la Normalización por Lotes (Batch Norm) en redes como ResNet o ShuffleNet causa un domain shift (desplazamiento de dominio) perjudicial al entrenar con múltiples datasets diversos. Por ello, PoseDriver utiliza arquitecturas modernas diseñadas sin Batch Norm, como ConvNeXt, Swin Transformer y ClipConvNeXt, o reemplaza la Batch Norm por Normalización por Capa (Layer Norm) en ShuffleNet.
• Módulos Específicos por Tarea: Se incorporan bloques de transformadores (Swin blocks) antes de cada "cabeza" de red para refinar la extracción de características para cada categoría específica, equilibrando la generalización y la especialización.
• Mejoras de Entrenamiento: Se emplea Mosaic Augmentation para manejar la variación de escalas de los objetos y una red de pirámide de características (FPN) para fusionar información multi-escala.

3. Contribuciones Clave

1. Detección Unificada Multi-Categoría: El primer marco bottom-up que detecta simultáneamente cinco categorías críticas: coches, peatones, bicicletas, animales y carriles.
2. Detección de Carriles Basada en Esqueletos: Un método novedoso que representa los carriles como puntos clave fijos, logrando un rendimiento de vanguardia (SOTA) y preservando la estructura global y la continuidad local.
3. Nuevo Dataset de Bicicletas: Creación y anotación manual de un nuevo subconjunto de MS COCO con 1,557 imágenes de bicicletas, etiquetadas con 6 puntos clave específicos (ruedas, asiento, manillar), abordando una categoría previamente ignorada en la detección de esqueletos.
4. Análisis de Transferencia: Demostración de que el pre-entrenamiento multi-tarea mejora significativamente el rendimiento en categorías no vistas (como las bicicletas) en comparación con el entrenamiento de una sola tarea.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples datasets (OpenLane, CULane, MS COCO, AnimalPose, ApolloCar3D).

• Detección de Carriles (OpenLane & CULane):
  • En OpenLane, el modelo con backbone Swin-L + FPN alcanzó un puntaje F1 de 71.5%, superando a los métodos anteriores (como CondLSTR-L) por márgenes significativos (hasta +8.1 puntos).
  • En condiciones extremas (noche, clima adverso), el modelo mostró una robustez superior, superando a los SOTA anteriores en más de 10 puntos en algunos escenarios.
  • En CULane, el método logró un F1 de 80.01%, superando a modelos basados en keypoints anteriores y compitiendo con los mejores modelos de la actualidad.
• Detección Multi-Tarea (Peatones, Animales, Coches, Carriles):
  • El uso de backbones modernos (ConvNeXt, Swin) sin Batch Norm eliminó la caída de rendimiento típica en entornos multi-tarea.
  • La combinación de FPN, Mosaic Augmentation y bloques de transformadores mejoró el puntaje medio en todas las tareas. Por ejemplo, en la detección de animales, el rendimiento mejoró drásticamente (de ~41% a ~53.6% con Swin-L) gracias a la fusión de características y la atención específica por tarea.
• Generalización a Bicicletas:
  • Los modelos pre-entrenados en las cuatro tareas principales (peatones, animales, coches, carriles) y luego ajustados (fine-tuned) en el nuevo dataset de bicicletas superaron a los modelos de línea base (entrenados solo en bicicletas) en 5.9 a 8.6 puntos de AP (Precisión Promedio), validando la capacidad de transferencia del marco.

5. Significado e Impacto

PoseDriver representa un avance significativo hacia sistemas de percepción más eficientes y descriptivos para la conducción autónoma. Al unificar la detección de objetos dinámicos y la configuración estática de la carretera (carriles) bajo una sola arquitectura de esqueletos, el sistema:

• Reduce la complejidad computacional al eliminar la necesidad de múltiples detectores o pasadas de inferencia.
• Proporciona una representación estructural rica que facilita tareas posteriores como la estimación de profundidad, la planificación de trayectorias y la toma de decisiones.
• Demuestra que el aprendizaje multi-tarea, cuando se combina con las arquitecturas correctas (sin Batch Norm) y estrategias de aumento de datos, puede superar a los modelos especializados de una sola tarea, incluso en categorías con datos limitados.

En resumen, el trabajo cierra la brecha entre los requisitos de planificación de alto nivel y las capacidades de percepción en tiempo real, ofreciendo una solución robusta, escalable y de vanguardia para la comprensión del entorno en vehículos autónomos.