Resumen Técnico: Inferencia Activa para el Control Adaptativo de Semáforos en Entornos IoT Ruidosos y No Estacionarios

1. Planteamiento del Problema

El control de señales de tráfico urbanas enfrenta desafíos significativos en despliegues del mundo real donde los datos de los sensores suelen ser incompletos, ruidosos y están sujetos a patrones de demanda no estacionarios. Los controladores tradicionales basados en reglas carecen de flexibilidad bajo condiciones impredecibles, mientras que los enfoques de aprendizaje por refuerzo profundo (DRL), aunque potentes, requieren una extensa cantidad de datos de entrenamiento y sufren de problemas de interpretabilidad de "caja negra", lo que dificulta su auditoría. Además, la detección IoT en las intersecciones se ve comprometida por la oclusión de sensores (por ejemplo, por vehículos pesados), la atenuación por clima adverso y las interrupciones estocásticas de la infraestructura (por ejemplo, accidentes). El artículo aborda la necesidad de un controlador de señales de tráfico que siga siendo efectivo bajo estas condiciones de observación parcial y ruidosa, ofreciendo al mismo tiempo un proceso de toma de decisiones trazable.

2. Metodología

Los autores proponen un controlador de Inferencia Activa (AIF) para una intersección semaforizada de cuatro brazos. A diferencia de los paradigmas de control estándar que separan la percepción de la acción, la AIF enmarca ambas como un proceso unificado de minimización de la Energía Libre Esperada (EFE).

Marco Central

El agente opera en pasos de tiempo discretos $t$, manteniendo creencias posteriores aproximadas $q(s_t)$ sobre los estados ocultos $s_t$ (niveles de congestión de tráfico) basadas en las observaciones $o_t$. La política $\pi$ selecciona acciones (fases: verde para Norte-Sur o Este-Oeste) para minimizar la EFE, definida como:
$$G(\pi) \triangleq -[PV(\pi) + \lambda EV(\pi)]$$
Donde:

• Valor Pragmático ($PV$): Recompensa las observaciones que coinciden con las preferencias (por ejemplo, baja congestión, bajas emisiones).
• Valor Epistémico ($EV$): Recompensa las observaciones que reducen la incertidumbre sobre los estados ocultos (exploración).
• $\lambda$: Una constante de ponderación que equilibra ambos valores.

Instanciación del Sistema

• Espacio de Estados: Los estados ocultos se discretizan en seis niveles de congestión (desde "muy bajo" hasta "atasco") para cada dirección (NS y EW).
• Observaciones: Vectores que contienen conteos de vehículos ruidosos, emisiones acumuladas de CO2 y conteos de autobuses. El modelo de observación es una Gaussiana multivariante condicionada al estado.
• Dinámicas de Transición: Dos matrices de transición especificadas manualmente ($T_{red}$ y $T_{green}$) codifican la intuición de que las fases en verde reducen la congestión mientras que las fases en rojo la aumentan.
• Modelado de Ruido: El entorno experimental simula fallos realistas de IoT, incluyendo:
  • Oclusión de Sensores: Vehículos pesados bloqueando la detección.
  • Atenuación por Clima: Reducción de la probabilidad de detección durante el clima adverso.
  • Accidentes Estocásticos: Bloqueos aleatorios que congelan el flujo de tráfico.

Baselines de Comparación

El controlador AIF se evalúa frente a:

1. Heurística Basada en Reglas: Un sistema de puntuación de prioridad con bonificaciones fijas para autobuses y sesgo de vía principal.
2. Red Q Profunda (DQN): Un agente de DRL estándar entrenado con experiencia de repetición (experience replay) y exploración $\epsilon$-greedy, optimizado para el mismo modelo de recompensa (minimizar el tiempo de espera, las emisiones y la carga de autobuses).

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Entorno de Simulación: Diseño de un entorno de simulación basado en SUMO que modela condiciones de detección IoT ruidosas y no estacionarias, incluyendo oclusión de sensores, atenuación climática y accidentes estocásticos.
2. Desarrollo del Controlador AIF: Implementación de un controlador AIF que selecciona dinámicamente las fases semafóricas mediante la minimización de la EFE sobre creencias gaussianas respecto a la congestión, las emisiones y la presencia de transporte público.
3. Evaluación Exhaustiva: Una comparación riguroosa a través de cuatro escenarios de creciente perturbación ambiental (desde datos limpios hasta ruido/accidentes totales) y 100 semillas aleatorias independientes, analizando las compensaciones entre eficiencia, emisiones y estabilidad de la política.

4. Resultados Experimentales

Los experimentos se realizaron durante 3,600 segundos de tiempo de simulación por escenario. Los hallazgos clave incluyen:

• Desempeño en Alta Perturbación (Escenario 4):

  • Tiempo de Espera (Idle Time): La AIF logró el menor tiempo de espera acumulado (56,977 s) en comparación con DQN (71,741 s) y la base de reglas (72,247 s).
  • Emisiones: La AIF produjo las menores emisiones totales de CO2 (29.12 kg) frente a DQN (30.56 kg) y el enfoque basado en reglas (31.53 kg).
  • Robustez: La AIF mantuvo un tiempo de espera medio inferior al de DQN incluso en el escenario más ruidoso, mientras que el desempeño de DQN se degradó significativamente bajo perturbación total.

• Desempeño en Baja Perturbación (Escenarios 1–3):

  • DQN generalmente superó a AIF en los Escenarios 1 y 3 (por ejemplo, 5,305 s frente a 7,287 s de tiempo de espera en el Escenario 3), probablemente debido al preentrenamiento específico del escenario.
  • AIF superó a DQN en el Escenario 2 (7,341 s frente a 8,385 s).
  • En todos los escenarios, tanto AIF como DQN superaron significativamente a la base basada en reglas (reduciendo aproximadamente a la mitad el tiempo de espera acumulado).

• Compensaciones (Trade-offs):

  • Prioridad de Autobuses: La AIF tuvo una tasa de servicio de prioridad de autobús menor (80.5–82.0%) en comparación con DQN (84.6–89.7%) y el sistema basado en reglas. Esto se atribuye a que la función de valor pragmático prioriza la reducción de la congestión general sobre tipos de vehículos específicos, dado que los autobuses constituyen una pequeña fracción del tráfico total.
  • Cambio de Fase: La AIF cambió de fase con mayor frecuencia (261–278 cambios) que DQN (177–266) o el sistema basado en reglas, lo que indica una respuesta más dinámica a la incertidumbre.

• Estabilidad: La AIF demostró una menor varianza (desviación estándar) en el tiempo de espera a través de las semillas en los Escenarios 1 y 2, mientras que DQN mostró distribuciones más ajustadas en los Escenarios 3 y 4.

5. Significado y Reivindicaciones

El artículo afirma que la Inferencia Activa ofrece una alternativa fundamentada al aprendizaje por refuerzo profundo para el control de tráfico adaptativo, particularmente en entornos caracterizados por la observabilidad parcial y la no estacionariedad.

• Generalización Zero-Shot: A diferencia de DQN, que requiere un extenso preentrenamiento para escenarios específicos, el controlador AIF opera sin una fase de preentrenamiento. Su capacidad para igualar o exceder el desempeño de DQN en entornos ruidosos sin entrenamiento específico de escenario sugiere que el término de valor epistémico en el objetivo EFE proporciona una ventaja estructural para manejar la incertidumbre.
• Auditabilidad: Una ventaja significativa destacada es la trazabilidad del flujo de trabajo de la AIF. Cada etapa —desde las creencias posteriores hasta los componentes específicos de la EFE (pragmático vs. epistémico)— es explícita e inspeccionable. Esto aborda los desafíos de verificación de "caja negra" asociados con el DRL, permitiendo a los operadores entender por qué se eligió una fase específica.
• Viabilidad: Los resultados sugieren que la AIF es una alternativa viable al aprendizaje por refuerzo para el control de tráfico adaptativo, capaz de equilibrar múltiples objetivos (retraso, emisiones, transporte público) mientras se mantiene robusta ante la degradación de sensores y las interrupciones estocásticas.

Los autores concluyen que, si bien la AIF sacrifica algo de prioridad de autobuses e incrementa la frecuencia de cambio de fase, su robustez en entornos IoT ruidosos y no estacionarios y su interpretabilidad la convierten en un enfoque convincente para los sistemas de tráfico inteligente de próxima generación. Se propone como trabajo futuro extender el marco a redes de múltiples intersecciones y despliegues de hardware-in-the-loop.