Resumen Técnico: Conducción en Platoon de Vehículos Conectados, Autónomos y Conducidos por Humanos mediante Aprendizaje por Refuerzo Profundo

1. Planteamiento del Problema

Las estrategias existentes de formación de pelotones (platooning) de vehículos están diseñadas predominantemente para entornos homogéneos compuestos únicamente por Vehículos Autónomos Conectados (CAV) o Vehículos Conducidos por Humanos Conectados (CHV). Estos enfoques suelen excluir a los vehículos no conectados, como los Vehículos Autónomos (AV) o los Vehículos Conducidos por Humanos (HV), por lo que no logran reflejar con precisión las condiciones actuales y cercanas del tráfico mixto.

Si bien las estrategias "híbridas" recientes intentan incorporar vehículos no conectados en los pelotones aprovechando los CAV como relevos de información, a menudo sufren una limitación crítica: la integración no regulada de HV/AV puede desencadenar una expansión rápida del pelotón. Este crecimiento descontrolado amplifica el riesgo de propagación de perturbaciones dentro del flujo de tráfico, exacerbando el conflicto inherente entre maximizar la capacidad de tráfico y mantener la estabilidad del flujo. Además, las restricciones convencionales sobre la longitud máxima del pelotón, diseñadas para flotas homogéneas, son insuficientes para estos escenarios heterogéneos emergentes. El desafío central es desarrollar una estrategia de control que permita la inclusión flexible de vehículos no conectados mientras se equilibra dinámicamente la capacidad de tráfico frente a la estabilidad y la seguridad del flujo.

2. Metodología

El estudio propone una estrategia de control de pelotones híbridos basada en Aprendizaje por Refuerzo Profundo (DRL) diseñada para operar dentro de un marco de Proceso de Decisión de Markov Parcialmente Observable (POMDP).

2.1. Patrón de Pelotón Híbrido

Los autores introducen un "patrón de pelotón híbrido" (Esquema PS2) que permite condicionalmente que vehículos no conectados (HV/AV) se unan a los pelotones.

• Mecanismo: Los CAV utilizan la percepción de sensores a bordo (LiDAR, radar, cámaras) para detectar los estados de los vehículos no conectados adyacentes. Esta información se transmite mediante comunicación de Vehículo-a-Todo (V2X) a otros miembros conectados, haciendo que los estados de los vehículos no conectados sean observables dentro del pelotón.
• Restricciones: Para garantizar la integridad del pelotón, se prohíbe que los HV/AV actúen como líderes o vehículos de cola del pelotón. Un pelotón solo puede formarse si el estado de cada vehículo es observable para los miembros conectados. Esto limita el número máximo de vehículos no conectados consecutivos dentro de un pelotón a dos (por ejemplo, CAV–HV–HV–CAV).
• Comparación: Esto se contrasta con el Esquema PS1, donde solo los CHV/CAV forman pelotones y los vehículos no conectados quedan excluidos.

2.2. Marco de DRL

La estrategia de control emplea una arquitectura de Entrenamiento Centralizado con Ejecución Descentralizada (CTDE) utilizando el algoritmo de Optimización de Política Próxima (PPO).

• Espacio de Estados: La representación del estado integra datos multimodales, incluyendo la dinámica del vehículo propio (tipo, posición en el pelotón, tiempo de seguimiento) y los estados del entorno circundante (tipos y posiciones de los dos vehículos inmediatamente precedentes y siguientes). Este diseño captura la topología local sin sucumbir a la maldición de la dimensionalidad.
• Espacio de Acciones: Las acciones discretas incluyen unirse a un pelotón, abandonar un pelotón o mantener la conducción independiente.
• Función de Recompensa: Se formula una función de recompensa multiobjetivo para equilibrar tres componentes:
  1. Eficiencia de Tráfico ($r_{capacity}$): Basada en el porcentaje de aumento en la capacidad del carril con respecto a una línea base.
  2. Estabilidad de Tráfico ($r_{stability}$): Basada en la mejora de un discriminante de estabilidad de flujo de tráfico híbrido ($G_h$), derivado de las derivadas del modelo de seguimiento de vehículos.
  3. Penalización ($r_{penalty}$): Una penalización por restricción aplicada si la capacidad del carril cae significativamente por debajo de la línea base, evitando que el agente sacrifique la eficiencia en favor de una estabilidad excesiva.
• Entrenamiento: La red de política aprende a ajustar dinámicamente las estructuras de los pelotones (tamaño y distribución) para optimizar el compromiso entre capacidad y estabilidad.

3. Contribuciones Clave

• Patrón de Pelotón Híbrido: El artículo define un mecanismo factible para integrar vehículos no conectados en los pelotones mediante la propagación de información mediada por CAV, abordando las limitaciones de escalabilidad de las flotas estrictamente conectadas.
• Estrategia de Control Basada en DRL: Desarrolla una novedosa estrategia de DRL que va más allá de las reglas de formación fijas. En lugar de asumir una composición de pelotón estática, la estrategia aprende a optimizar dinámicamente las estructuras de los pelotones en tiempo real para gestionar el compromiso entre capacidad y estabilidad.
• Representación de Estado de Múltiples Niveles: El estudio integra la dinámica del vehículo, la topología del pelotón y los estados del flujo de tráfico en una representación de estado unificada, permitiendo que los agentes tomen decisiones descentralizadas basadas en observaciones locales mientras consideran los objetivos de estabilidad global.
• Evaluación Exhaustiva: El enfoque se evalúa rigurosamente frente al pelotón conectado tradicional (PS1) y el pelotón híbrido no regulado (PS2) a través de cuatro dimensiones: capacidad de generalización, estabilidad del flujo de tráfico, seguridad e impacto ambiental.

4. Resultados Experimentales

Se realizaron simulaciones numéricas en una carretera de un solo carril con 1,000 vehículos bajo diversas tasas de penetración de CAV ($P_{CAV}$).

• Rendimiento de Entrenamiento: La estrategia DRL convergió con éxito, logrando una mejora del 27.9% en el discriminante de estabilidad de tráfico ($G_h$) en comparación con la estrategia híbrida base (PS2). Logró esto reduciendo la longitud máxima del pelotón en un 28.3% (a ~24 vehículos) y aumentando el número total de pelotones en un 19.3%, distribuyendo eficazmente la densidad del tráfico.
• Generalización: La estrategia demostró una robusta capacidad de generalización en valores de $P_{CAV}$ de 0.1 a 0.5. Cuando $P_{CAV} > 0.1$, la estrategia DRL mejoró el discriminante de estabilidad en un 51.08% tanto respecto a PS1 como a PS2. A diferencia de las estrategias fijas, que sufren un crecimiento exponencial en el tamaño de los pelotones ante mayores tasas de penetración, la estrategia DRL mantuvo las longitudes promedio de los pelotones en aproximadamente 35 vehículos.
• Propagación de Perturbaciones: En escenarios que involucran una perturbación de deceleración del vehículo líder, la estrategia DRL suprimió significativamente las oscilaciones de velocidad. Redujo el pico del inverso del Tiempo de Colisión (TTCI) promedio en un 52.95% en comparación con el pelotón convencional (PS1) bajo una baja penetración de CAV ($P_{CAV}=0.1$).
• Seguridad y Eficiencia: La estrategia redujo la desviación estándar máxima de la velocidad hasta en un 38.60% en comparación con PS1. En términos de impacto ambiental, bajo una baja penetción de CAV, la estrategia DRL redujo el consumo de combustible pico en un 1.90%, las emisiones de CO2 en más de un 1.2% y las emisiones de NOx hasta en un 7.1% en comparación con las estrategias convencionales.

5. Significado y Reivindicaciones

Los autores afirman que el enfoque propuesto basado en DRL resuelve eficazmente el conflicto entre el rendimiento del tráfico y la estabilidad en entornos de tráfico mixto. Al optimizar dinámicamente las estructuras de los pelotones en lugar de adherirse a reglas de formación rígidas, la estrategia suprime la propagación de perturbaciones de velocidad y mejora la seguridad de los flujos de tráfico mixto.

El estudio enfatiza que, mientras las estrategias híbridas tradicionales (PS2) maximizan la capacidad al permitir pelotones grandes y no regulados, comprometen la estabilidad. Por el contrario, la estrategia DRL logra un "equilibrio no lineal", aceptando una reducción marginal en la capacidad máxima (aprox. 4.6% comparado con PS2 en el entrenamiento) para lograr ganancias sustanciales en estabilidad y seguridad. El artículo concluye que este enfoque ofrece una solución robusta para el período de transición del tráfico mixto, donde los vehículos no conectados siguen siendo prevalentes, y sugiere que el trabajo futuro debería abordar las interacciones de múltiples carriles, fallos de comunicación y la división dinámica de pelotones.