⚡ electrical engineering

Traffic-Aware Pedestrian Intention Prediction

Este artículo propone una Red Convolucional de Grafos Espacio-Temporales Consciente del Tráfico (TA-STGCN) que integra estados dinámicos de señales de tráfico y características de cajas delimitadoras para mejorar significativamente la precisión de la predicción de la intención de los peatones para vehículos autónomos, logrando una ganancia del 4,75% sobre los modelos base en el conjunto de datos PIE.

Autores originales: Fahimeh Orvati Nia, Hai Lin

Publicado 2026-07-15

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fahimeh Orvati Nia, Hai Lin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de adivinar qué hará un amigo a continuación. ¿Va a saludar con la mano o está a punto de correr a través de una calle transitada? Para hacer una buena suposición, no solo miras las piernas de tu amigo; miras el panorama completo. Revisas si el semáforo está en rojo o verde, ves qué tan cerca está del bordillo y notas si un coche se aproxima a gran velocidad hacia él. Este es el corazón de un campo llamado "predicción de la intención del peatón". Es una rama de la ciencia dedicada a enseñar a las computadoras, específicamente a los coches autónomos, a comprender el comportamiento humano. El objetivo es simple pero vital para salvar vidas: si un coche puede predecir que una persona tiene la intención de cruzar la calle, puede frenar o detenerse antes de que ocurra un accidente. Durante años, las computadoras han intentado aprender esto observando cómo se mueven las personas, pero a menudo pasaban por alto las pistas más importantes: las señales de tráfico y el contexto desordenado y dinámico de una calle real de la ciudad.

Este artículo presenta una forma nueva y más inteligente para que las computadoras lean estas pistas. Los investigadores, Fahimeh Orvati Nia y Hai Lin, construyeron un modelo que llaman TA-STGCN (Red de Convolución de Grafos Espacio-Temporales Consciente del Tráfico). Piensa en este modelo como un detective superobservador que no solo observa a una persona; observa a la persona y al semáforo y a los coches, todo al mismo tiempo, comprendiendo cómo todos ellos se comunican entre sí a lo largo del tiempo.

El Problema: Computadoras que pierden la visión de conjunto

Durante mucho tiempo, las computadoras que intentaban predecir el comportamiento de los peatones eran un poco como un estudiante que solo estudiaba el libro de texto pero nunca salía al exterior. Los métodos iniciales dependían de matemáticas simples para rastrear dónde estaba una persona y con qué rapidez se movía. Más tarde, los modelos de aprendizaje profundo (como las CNN y las LSTM) mejoraron su capacidad para detectar patrones en video, pero seguían ignorando a menudo la "escena". Podían ver a una persona caminando hacia la calle, pero no necesariamente notarían que el semáforo está actualmente en rojo, o que la persona está parada justo al lado de un paso de peatones.

Los autores argumentan que este es un gran error. En el mundo real, la decisión de un peatón de cruzar está fuertemente influenciada por su entorno. Si la luz es verde para los coches, un peatón suele esperar. Si la luz cambia a rojo para los coches (y verde para ellos), podrían avanzar. Los modelos existentes a menudo perdían estas señales dinámicas, lo que resultaba en suposiciones demasiado lentas o simplemente erróneas.

La Solución: Un detective con un mapa de semáforos

La solución del equipo, TA-STGCN, está diseñada para solucionar esto tratando la escena de la calle como un rompecabezas gigante y vivo donde cada pieza está conectada. Utilizan un "Grafo Espacio-Temporal", que es una forma elegante de decir que dibujan líneas invisibles que conectan al peatón con todo lo demás a su alrededor: los semáforos, los coches y los pasos de peatones.

Así es como funciona el modelo, desglosado en partes sencillas:

Los dos flujos de información: El modelo observa la escena de dos maneras diferentes al mismo tiempo.
- El flujo del "Dónde": Rastrea la ubicación exacta del peatón y cómo cambia el tamaño de su "caja" (el contorno digital que lo rodea). Si la caja se hace más grande, significa que la persona se está acercando al coche.
- El flujo del "Qué": Observa qué son los objetos y en qué estado se encuentran. Crucialmente, esto incluye el estado del semáforo (Rojo, Amarillo o Verde).
La conexión del grafo: Imagina una telaraña conectando al peatón con el semáforo. El modelo utiliza un tipo especial de matemática (Redes Convolucionales de Grafos) para permitir que estas conexiones "hablen" entre sí. Aprende que una "Luz Verde" para los coches suele significar "Esperar", mientras que una "Luz Roja" para los coches podría significar "Pasar".
La máquina del tiempo: El modelo no solo mira una instantánea; observa un clip de video corto (15 fotogramas, o 0.5 segundos). Utiliza una unidad de memoria llamada LSTM (Long Short-Term Memory) para recordar lo que sucedió un instante antes. Esto le ayuda a entender si una persona está vacilando o si ya está bajando del bordillo.

Lo que encontraron: Suposiciones más inteligentes

Los investigadores probaron su nuevo detective contra modelos anteriores utilizando un conjunto de datos llamado PIE, que contiene más de 6 horas de videos reales de conducción en una ciudad. Pidieron a los modelos que predijeran si un peatón cruzaría la calle en los próximos segundos.

Los resultados fueron claros: el nuevo modelo fue mejor para adivinar.

Precisión (Accuracy): El modelo TA-STGCN acertó la respuesta el 84.65% de las veces. Este es un salto significativo comparado con los mejores modelos anteriores, que rondaban el 79.00%.
Precisión y Exhaustividad (Precision y Recall): El modelo fue mejor detectando a las personas que realmente tenían la intención de cruzar (Recall del 88.03%) y era menos propenso a dar falsas alarmas sobre personas que solo estaban paradas (Precision del 86.50%).
Trayectoria: No solo adivinó si la persona cruzaría, sino que también predijo dónde estaría un momento después con menos error que antes (un Error de Desplazamiento Promedio de 0.43).

Los autores demostraron explícitamente que añadir la información del semáforo fue la clave. Cuando compararon su modelo con una versión sin los datos del semáforo, la versión con los semáforos funcionó mejor en cada una de las métricas. Esto demuestra que el modelo no solo está adivinando; realmente está utilizando las señales de tráfico para tomar decisiones más inteligentes.

El inconveniente: Todavía es un trabajo en progreso

Aunque los resultados son prometedores, el artículo tiene cuidado de no afirmar que este es un producto perfecto y terminado listo para cada coche en la carretera hoy mismo. Los autores señalan algunas limitaciones importantes:

El problema del "Ojo": Actualmente, el modelo depende de datos perfectamente etiquetados. Asume que alguien ya ha dibujado las cajas alrededor de los peatones e identificado perfectamente los semáforos. En el mundo real, un coche autónomo tiene que encontrar estas cosas por sí mismo usando sus propias cámaras y sensores. Si los "ojos" del coche cometen un error, el modelo TA-STGCN podría confundirse.
Velocidad: El modelo es inteligente, pero también es un poco pesado. Realiza mucha matemática para conectar todos los puntos del grafo. Ejecutar esto en una computadora pequeña dentro de un coche (un sistema embebido) podría ser lento. Los autores sugieren que el trabajo futuro debe centrarse en hacer el modelo más rápido y ligero para que pueda ejecutarse en tiempo real sin retrasos.
Escenarios faltantes: Los datos que utilizaron no cubrieron todas las situaciones posibles, como paradas de autobús concurridas o espacios compartidos donde la gente se comporta de manera diferente. El modelo podría necesitar más entrenamiento para manejar esos puntos complicados.

La conclusión

Este artículo sugiere que, si queremos que los coches autónomos sean verdaderamente seguros, deben dejar de mirar a los peatones de forma aislada. Deben comprender todo el escenario: los semáforos, los pasos de peatones y el flujo de la ciudad. Al enseñar a la computadora a prestar atención a las señales de tráfico, el modelo TA-STGCN muestra una mejora del 4.75% en la precisión respecto a los mejores métodos anteriores. Es un paso adelante para hacer que los vehículos autónomos no solo sean inteligentes, sino conscientes del contexto, ayudándoles a tomar la decisión correcta cuando un peatón decide si cruzar la calle o no.

Resumen Técnico: Predicción de la Intención de Peatones Consciente del Tráfico (TA-STGCN)

Definición del Problema
La estimación precisa de la intención de los peatones es un componente crítico para la navegación segura de los vehículos autónomos (AV), ya que los peatones representan una parte significativa de las fatalidades del tráfico vial global. Si bien los modelos de aprendizaje profundo existentes han avanzado en el campo al capturar dependencias espaciales y temporales, muchos no logran incorporar adecuadamente la información contextual dinámica, específicamente los estados de las señales de tráfico (Rojo, Amarillo, Verde) y el contexto de la escena. Los enfoques tradicionales que dependen de características diseñadas manualmente o filtros clásicos (por ejemplo, el Filtro de Kalman Extendido) tienen dificultades con la generalización y los comportamientos no lineales. Incluso los modelos recientes de aprendizaje profundo suelen omitir la influencia específica de los semáforos y los pasos de peatones en la toma de decisiones de los peatones, lo que conduce a posibles imprecisiones en entornos urbanos complejos.

Metodología: TA-STGCN
Para abordar estas limitaciones, los autores proponen la Red de Convolución de Grafos Espacio-Temporales Consciente del Tráfico (TA-STGCN). El modelo está diseñado para integrar directamente los estados dinámicos de las señales de tráfico y el contexto de la escena en el proceso de predicción de la intención.

Descripción General de la Arquitectura: El modelo emplea una arquitectura de múltiples flujos que procesa dos flujos de características distintos:
1. Flujo de Clase de Imagen: Combina datos visuales y etiquetas de clase de objetos.
2. Flujo de Clase de Ubicación: Combina coordenadas espaciales (cajas delimitadoras) y etiquetas de clase de objetos.
  Ambos flujos son procesados a través de capas de Grafo Espacio-Temporal (ST-Graph) para codificar las interacciones espaciales y las dependencias temporales de corto plazo. Las salidas se concatenan y se alimentan a un Codificador Temporal compuesto por celdas de Memoria de Largo Corto Plazo (LSTM) para capturar dependencias de largo plazo antes de pasar por una Red Completamente Conectada (FCN) para la clasificación final.
Construcción del Grafo: El sistema modela las interacciones entre peatones y elementos de tráfico (por ejemplo, semáforos, vehículos) utilizando un grafo espacio-temporal $G = (V, E)$ . Los nodos representan peatones y elementos de tráfico, mientras que las aristas representan las interacciones a lo largo del tiempo. La matriz de adyacencia se normaliza para estabilizar el entrenamiento, y una matriz paramétrica aprende la importancia relativa de las diferentes interacciones.
Representación de Características:
- Características del Peatón: Extraídas mediante CNN, incluyendo posición, velocidad, apariencia y el tamaño de la caja delimitadora (bounding box). La inclusión del tamaño de la caja delimitadora es una elección de diseño específica para capturar la proximidad del peatón al vehículo autónomo.
- Características de la Señal de Tráfico: Codificadas como vectores que contienen tipo, estado (Rojo, Amarillo, Verde), clase y posición.
- Datos de Entrada: El modelo utiliza datos de imagen ( $I$ ), datos de ubicación ( $L_f$ ) y datos de clase ( $C_f$ ) derivados de anotaciones de verdad de terreno para aislar el rendimiento de la estimación de la intención de los errores de detección de objetos.
Objetivos: El modelo genera tanto la probabilidad de cruce ( $\hat{y}$ ) como las posiciones futuras del peatón ( $\hat{p}_{t+\Delta t}$ ). Se optimiza minimizando la función de pérdida de entropía cruzada binaria.

Contribuciones Clave

Integración de Señales de Tráfico: A diferencia de los modelos previos que pueden tratar el contexto de la escena de manera general, el TA-STGCN integra explícitamente los estados dinámicos de las señales de tráfico (Rojo, Amarillo, Verde) como características clave, reconociendo su influencia directa en el comportamiento de los peatones.
Tamaño de la Caja Delimitadora como Característica: El modelo introduce el tamaño de la caja delimitadora como una característica crítica para inferir la proximidad del peatón al vehículo, mejorando la capacidad del modelo para detectar la intención de cruce.
Modelado de Grafo Espacio-Temporal: El enfoque utiliza una arquitectura de doble flujo STGCN para modelar conjuntamente las interacciones espaciales (entre peatones y elementos de tráfico) y la evolución temporal (cambios en estas relaciones a lo largo del tiempo).

Resultados y Evaluación
El modelo fue evaluado en el conjunto de datos PIE, que contiene más de 6 horas de videos de conducción urbana anotados. El conjunto de datos se dividió en conjuntos de entrenamiento, validación y prueba, utilizando secuencias de 15 fotogramas (0.5 segundos) como entrada.

Métricas de Rendimiento: El modelo fue evaluado utilizando Precisión (Accuracy), Precisión (Precision), Sensibilidad (Recall), Puntuación F1 (F1-Score), Error de Desplazamiento Promedio (ADE) y Error de Desplazamiento Final (FDE).
Rendimiento Comparativo: El TA-STGCN superó a los métodos tradicionales (SVM, RNN) y a las líneas base de aprendizaje profundo existentes (GCN, Modelo Base de PIE).
- Precisión (Accuracy): El TA-STGCN alcanzó un 84.65%, superando al Modelo Base de PIE y al GCN (ambos con 79.00%) y al RNN (76.89%).
- Mejora: Los autores reportan una precisión un 4.75% mayor en comparación con el modelo base.
- Predicción de Trayectoria: El modelo logró las tasas de error más bajas, con un ADE de 0.43 y un FDE de 0.91, superando al modelo base (ADE 0.47, FDE 0.92).
Análisis de Componentes: Un estudio comparativo entre un STGCN estándar y el propuesto TA-STGCN confirmó que la integración de la información de las señales de tráfico mejoró el rendimiento en todas las métricas, incluyendo un aumento en la Precisión (86.50%) y la Sensibilidad (88.03%).

Significancia y Limitaciones
El artículo afirma que el TA-STGCN demuestra la efectividad de integrar la conciencia de las señales de tráfico dinámicas y el tamaño de la caja delimitadora en la predicción de la intención de los peatones, lo que conduce a un rendimiento más robusto en entornos urbanos complejos. Los resultados sugieren que el modelado explícito del estado de los semáforos mejora significativamente la fiabilidad de los sistemas de seguridad de los AV.

Sin embargo, los autores mantienen una postura modesta respecto al despliegue en el mundo real, reconociendo varias limitaciones:

Dependencia de la Verdad de Terreno (Ground Truth): La evaluación actual depende de conjuntos de datos pre-anotados para la detección y clasificación de objetos. En escenarios del mundo real, el modelo depende de la precisión y velocidad de los módulos externos de detección de objetos, lo que introduce posible ruido y latencia.
Sobrecarga Computacional: La construcción de grafos espacio-temporales y el uso de capas LSTM introducen costos computacionales que pueden desafiar el despliegue en tiempo real en dispositivos embebidos con recursos limitados.
Diversidad del Conjunto de Datos: El conjunto de datos actual carece de cobertura para escenarios críticos específicos, como paradas de autobús y espacios compartidos, lo que puede limitar la generalización del modelo a todos los entornos de tráfico.

Los autores concluyen que, si bien el TA-STGCN mejora significativamente la precisión de la predicción, el trabajo futuro debe centrarse en optimizar la eficiencia computacional para aplicaciones en tiempo real y expandir la diversidad de los conjuntos de datos para asegurar una generalización más amplia.