Resumen Técnico: RSC-GestureNet

Declaración del Problema

Los gestos de la policía de tráfico sirven como señales de percepción críticas para la seguridad en la conducción autónoma, capaces de invalidar semáforos y señales en escenarios complejos como intersecciones congestionadas y zonas de construcción. Sin embargo, el despliegue de un reconocedor robusto para estos comandos presenta tres desafíos específicos que la literatura existente suele pasar por alto:

1. Restricciones Causales: A diferencia del reconocimiento de acciones offline, un sistema orientado al vehículo debe inferir comandos causalmente a partir de flujos de video continuos utilizando únicamente fotogramas pasados, sin acceso a información futura.
2. Fiabilidad de la Pose: Las estimaciones de pose 2D son mediciones inherentemente ruidosas en lugar de verdades fundamentales (ground truth). En escenas viales, factores como la baja iluminación, el desenfoque de movimiento, la oclusión y la distancia corrompen frecuentemente los puntos clave (específicamente muñecas y codos) que portan el significado semántico de los comandos de tráfico.
3. Asimetría de Riesgo: Los comandos de tráfico son asimétricos en cuanto al riesgo; un comando de "Parada" omitido o un comando de "Giro" inestable pueden provocar fallos de planificación catastróficos. Las métricas de precisión estándar a menudo no logran capturar la necesidad de una confianza calibrada y la capacidad de posponer decisiones inciertas en lugar de forzar etiquetas inseguras.

Los benchmarks actuales suelen sufrir de protocolos de evaluación inconsistentes (diferentes divisiones de datos, definiciones de características o configuraciones offline vs. online), lo que dificulta la comparación directa de modelos orientados al despliegue.

Metodología: RSC-GestureNet

Los autores proponen RSC-GestureNet, un reconocedor causal selectivo consciente de la fiabilidad diseñado para abordar las brechas mencionadas. El marco opera sobre una ventana causal de 32 fotogramas e integra los siguientes componentes principales:

1. Razonamiento de Grafo Espacial Consciente de la Fiabilidad

El modelo trata la confianza de la pose como una señal de primer orden.

• Agregación con Compuerta de Confianza: Un MLP ligero estima una puntuación de fiabilidad para cada articulación basada en la confianza del detector, la velocidad y el estado de ausencia de la marca de referencia. Esta puntuación actúa como una compuerta para las características de los nodos antes del paso de mensajes, reduciendo el peso de las articulaciones no fiables (p. ej., muñecas/codos corruptos) para evitar que distorsionen el razonamiento del grafo.
• Topología de Grafo Dinámica: La matriz de adyacencia combina la estructura física del esqueleto, los priors del torso específicos del comando (enfatizando hombros, codos y muñecas) y un término dinámico que aprende la coordinación específica de cada instancia para adaptarse a la oclusión y los cambios de perspectiva.

2. Modelado Temporal Causal

• Convoluciones Causales Dilatadas: El codificador temporal utiliza convoluciones causales dilatadas para agregar evidencia pasada de manera eficiente. El campo receptivo se expande sin violar la causalidad, permitiendo al modelo distinguir entre clases que difieren por fases de movimiento cortas (p. ej., girar vs. esperar) en lugar de poses estáticas.
• Pérdida Consciente del Peligro (Danger-Aware Loss): El objetivo de entrenamiento incluye un término de regularización específico que penaliza las confusiones "peligrosas", específicamente las transiciones de "Parada" a comandos de movimiento (Adelante, Giro Izquierda/Derecha, Cambio de Carril), desplazando la masa de probabilidad lejos de los modos de error de alto riesgo.

3. Fusión Pose–RGB e Inferencia Adaptativa

• Fusión Tardía (Late Fusion): Un descriptor RGB ligero (histograma de 12 dimensiones) se fusiona al nivel de los logits con la rama de la pose. Esto permite que el contexto de la apariencia asista cuando la confianza de la pose se degrada.
• Emisión Selectiva: El sistema emplea un mecanismo de mezcla de probabilidad activado por la fiabilidad. Ajusta dinámicamente los pesos entre la rama de fusión, una rama de solo pose y una rama de solo temporal basándose en las puntuaciones de fiabilidad globales y de las extremidades superiores.
• Salida Calibrada: Las predicciones pasan por una calibración vectorial (ajustada solo en un flujo de entrenamiento interno) y una regla de "K-estabilidad". Se emite un comando solo cuando los últimos $K$ predicciones coinciden y la confianza calibrada supera un umbral; de lo contrario, el sistema se abstiene.

Principales Contribuciones

El artículo realiza cuatro contribuciones primarias:

1. Protocolo Causal Reproducible: Un protocolo de evaluación causal de fotograma completo en la división oficial de CTPGesture v1 (134,424 fotogramas etiquetados, 33,451 ventanas causales) con estadísticas de tres semillas, macro-F1 online, Early@10, Tiempo para el Comando (TTC) y reporte de conjunto de prueba sellado.
2. Modelo RSC-GestureNet: Una arquitectura novedosa que presenta razonamiento de grafo con compuerta de confianza, aprendizaje consciente del peligro, fusión pose–RGB y reglas de inferencia adaptativa.
3. Benchmark CTPGesture-C: Un benchmark de corrupción a nivel de características con siete familias de degradación (p. ej., caída de pose, fluctuación de coordenadas, supresión de extremidades superiores) y un diagnóstico a nivel de RGB que involucra la reextracción de pose mediante MediaPipe bajo condiciones de baja luz y desenfoque de movimiento.
4. Evaluación Controlada: Una comparación rigurosa contra baselines genéricos y reimplementaciones de grafos específicas para tráfico (MD-GCN y HLP-GCN) bajo divisiones de datos y protocolos causales idénticos.

Resultados Experimentales

Evaluado en la división completa oficial de CTPGesture v1, RSC-GestureNet logra el siguiente rendimiento:

• Precisión (Accuracy): 93.33% ± 0.24%
• Macro-F1: 91.71% ± 0.27%
• Online Macro-F1: 91.69% ± 0.29%
• Early@10: 98.80% ± 0.07%
• Tiempo para el Comando (TTC): 0.153 ± 0.013 s
• Robust Macro-F1: 90.97% ± 0.37% (el mejor entre los métodos evaluados)

Rendimiento Comparativo:
Bajo el mismo protocolo causal, RSC-GestureNet supera a los baselines reproducidos específicos de tráfico:

• vs. MD-GCN: +3.23 puntos de macro-F1, +2.15 puntos de online-F1, y es 0.104 s más rápido en TTC (RSC-GestureNet: 0.153s vs. MD-GCN: 0.257s).
• vs. HLP-GCN: +4.11 puntos de macro-F1, +3.07 puntos de online-F1, y es 0.160 s más rápido en TTC (RSC-GestureNet: 0.153s vs. HLP-GCN: 0.313s).

Robustez y Calibración:

• El modelo demuestra una robustez superior a través de las siete familias de corrupción en CTPGesture-C, observándose las mayores ganancias bajo la supresión de características de extremidades superiores y la caída de pose.
• En el diagnóstico de nivel RGB (reextrayendo la pose de fotogramas corruptos), el modelo logra el mejor macro-F1 bajo condiciones de baja luz y se mantiene competitivo bajo desenfoque de movimiento.
• El análisis de calibración muestra que RSC-GestureNet logra el menor riesgo selectivo en niveles de cobertura altos (90%, 95%, 99%) y el menor error de Brier, indicando distribuciones de probabilidad de alta calidad.

Significación y Reivindicaciones

El artículo sostiene que el modelado explícito de la fiabilidad de la pose es un factor crítico para mejorar el reconocimiento de comandos de tráfico temprano, estable y robusto. Los resultados indican que tratar la confianza de la pose como una señal de modelado —en lugar de asumir que todos los puntos detectados son igualmente dignos de confianza— permite al sistema:

1. Mitigar Fallos de Robustez: Al reducir el peso de las articulaciones corruptas, el modelo mantiene el rendimiento bajo estrés visual (desenfoque, oclusión, baja luz).
2. Mejorar la Seguridad mediante la Selectividad: La capacidad de posponer decisiones inciertas evita la emisión de etiquetas potencialmente inseguras, una característica crucial para la planificación de la conducción autónoma.
3. Cerrar la Brecha hacia el Despliegue: Al proporcionar un protocolo causal unificado y una interfaz de comando calibrada y postergable, el estudio ofrece un camino reproducible hacia la integración de la percepción de gestos de la policía de tráfico en sistemas de conducción autónoma orientados a la seguridad.

Los autores conclizan que, si bien persisten errores en gestos de transición visualmente similares (p. ej., girar vs. esperar), el enfoque consciente de la fiabilidad proporciona una mejora medible y estadísticamente significativa sobre los baselines de grafos y temporales de última generación.