A Bayesian latent class reinforcement learning framework to capture adaptive, feedback-driven travel behaviour

Resumen Técnico: Un Marco de Aprendizaje por Refuerzo de Clases Latentes Bayesiano

Planteamiento del Problema
La investigación tradicional sobre el comportamiento de los viajes depende en gran medida de los Modelos de Elección Discreta (DCM, por sus siglas en inglés) que tratan las preferencias como constructos fijos. Sin embargo, las decisiones de viaje en el mundo real suelen implicar un aprendizaje adaptativo donde los individuos revisan sus expectativas basándose en la retroalimentación (por ejemplo, retrasos, nuevas rutas). Si bien los modelos de Aprendizaje por Refuerzo (RL) de la psicología matemática capturan eficazmente este aprendizaje impulsado por la retroalimentación, las aplicaciones existentes en el transporte suelen asumir una única distribución continua de parámetros de aprendizaje (por ejemplo, modelos bayesianos jerárquicos con prioris unimodales). Este enfoque no logra capturar tipos de aprendizaje discretos y distintos dentro de una población (por ejemplo, exploradores persistentes frente a explotadores rápidos). Promediar a través de comportamientos tan divergentes puede conducir a inferencias erróneas y a intervenciones de políticas mal dirigidas. Además, las encuestas de viajes convencionales suelen carecer de los datos longitudinales necesarios para capturar la retroalimentación experimentada requerida para modelar el aprendizaje dinámico.

Metodología
El artículo propone un marco de Aprendizaje por Refuerzo de Clases Latentes (LCRL) que integra Modelos de Elección de Clases Latentes (LCCM) con la dinámica de Aprendizaje por Refuerzo específica de cada clase. El modelo se estima mediante Inferencia Variacional (VB) dentro de un marco plenamente bayesiano para manejar espacios de parámetros de alta dimensión y variables latentes.

1. Núcleo de Aprendizaje por Refuerzo: El modelo utiliza la regla de aprendizaje de Rescorla-Wagner.
   • Error de Predicción: Las expectativas ($Q$) para una alternativa se actualizan ensayo a ensayo basadas en la diferencia entre el resultado real ($r$) y la expectativa previa, escalada por una tasa de aprendizaje ($\alpha$).
   • Regla de Elección: Las expectativas actualizadas alimentan un marco de Maximización de la Utilidad Aleatoria (RUM, Multinomial Logit), donde la utilidad depende del resultado esperado y de un parámetro de sensibilidad ($\beta$) que rige el equilibrio entre exploración y explotación.
2. Integración de Clases Latentes: El modelo asume que la población consta de $K$ clases discretas latentes.
   • Pertenencia a la Clase: La probabilidad de que un individuo pertenezca a una clase se modela mediante una función logit multinomial de atributos socio-demográficos y contextuales.
   • Dinámicas Específicas de Clase: Cada clase $k$ posee su propio conjunto de parámetros de RL: tasas de aprendizaje ($\alpha_k$), sensibilidades de exploración-explotación ($\beta_k$), parámetros de sesgo ($\gamma_{ik}$) e expectativas iniciales ($Q_{i,0,k}$).
3. Estimación: Debido a la intratabilidad de la distribución posterior, los autores emplean Inferencia Variacional. Aproximan la verdadera distribución posterior con una distribución tratable utilizando un supuesto de campo medio (mean-field) y optimizan la cota inferior de evidencia (ELBO) mediante el descenso de gradiente estocástico (optimizador Adam).

Contribuciones Clave

• Marco Novedoso: Es la primera aplicación que modela conjuntamente la heterogeneidad conductual discreta y el aprendizaje por refuerzo dinámico utilizando un enfoque variacional plenamente bayesiano. Une los modelos de elección discreta econométricos con la psicología matemática.
• Gestión de la Heterogeneidad: A diferencia de los modelos de RL jerárquicos estándar que asumen una variación continua alrededor de un proceso común, el LCRL identifica explícitamente tipos de aprendizaje distintos (multimodalidad), evitando el promedio de comportamientos divergentes.
• Estimación Escalable: El uso de la Inferencia Variacional permite la estimación escalable de modelos dinámicos complejos de alta dimensionalidad, proporcionando distribuciones posteriores completas sobre los parámetros.
• Adaptación Contextual: El modelo se adapta para manejar entornos de datos mixtos (simulador de conducción frente a preferencias declaradas), permitiendo parámetros de sesgo y sensibilidad específicos de la clase que cambian entre contextos experimentales.

Resultos
El modelo se aplicó a un conjunto de datos de 83 participantes que completaron 20 tareas de elección de ruta (10 en un simulador de conducción y 10 en una encuesta de preferencias declaradas) que implicaban la elección entre una ruta fiable (fija en 5 min) y una ruta no fiable (variable de 2 a 7 min).

• Ajuste del Modelo: Se seleccionó un modelo LCRL de tres clases basado en el Criterio de Información Bayesiano (BIC), superando significativamente a un modelo de referencia de una sola clase en términos de Log-Verosimilitud, AIC y BIC.
• Clases Identificadas:
  1. Clase 1 (Explotadores Dependientes del Contexto, ~22%): Principalmente participantes que comenzaron con tareas de Preferencia Declarada (SP). Exhiben una fuerte preferencia dependiente del contexto: explotan la ruta fiable en escenarios hipotéticos de SP, pero cambian a la explotación de la ruta no fiable en el simulador de conducción (DS) físico. Son aprendices lentos (bajo $\alpha$).
  2. Clase 2 (Explotadores Persistentes, ~49%): Dominada por hombres con ingresos más bajos que comenzaron con tareas de DS. Muestran una preferencia fuerte y persistente por la ruta no fiable en ambos contextos. Son aprendices moderados y exhiben altas tendencias de explotación (significativo $\beta$).
  3. Clase 3 (Exploradores Dependientes del Contexto, ~29%): Más propensos a ser mujeres y de mayores ingresos. Muestran una preferencia por la ruta fiable en las tareas de DS, pero revierten esto en los escenarios de SP. Exhiben las mayores tendencias de exploración (bajo $\beta$) y las tasas de aprendizaje más altas, aunque sus expectativas evolucionan gradualmente.
• Perspectivas Conductuales: Los resultados resaltan que los individuos difieren no solo en sus preferencias estáticas, sino en cómo aprenden (tasas de aprendizaje), cómo actualizan sus expectativas y cómo equilibran la exploración frente a la explotación. El modelo captura con éxito la discrepancia entre las elecciones declaradas y las experimentadas, atribuyéndola a cambios en el sesgo y la dinámica de aprendizaje dependientes del contexto.

Significancia y Reivindicaciones
El artículo afirma que el marco LCRL proporciona una caracterización más rica del comportamiento de viaje al capturar tanto el aprendizaje basado en la experiencia como las formas discretas de heterogeneidad.

• Teórica: Ofrece una comprensión más completa de cómo las preferencias de decisión evolucionan dinámicamente con el tiempo, abordando un vacío donde los modelos tradicionales pasan por alto los mecanismos de emergencia de la preferencia inicial.
• Práctica: Los hallazgos sugieren que las intervenciones de política (por ejemplo, estrategias de información) deben adaptarse a tipos de aprendizaje específicos, ya que las estrategias que benefician a los exploradores pueden perjudicar a los explotadores.
• Metodológica: La integración de modelos de elección econométricos con RL e inferencia bayesiana se presenta como una tecnología de modelado emergente. Los autores sugieren su relevancia potencial para:
  • Vehículos Autónomos (AV): Diseñar algoritmos de enrutamiento que anticipen el aprendizaje humano y la formación de expectativas en sistemas de autonomía mixta.
  • Movilidad como Servicio (MaaS): Identificar segmentos propensos a explorar nuevos modos y comprender cómo los incentivos aceleran la adopción.
  • Planificación de Transporte: Anticipar las respuestas conductuales ante interrupciones en la red (por ejemplo, cierres o falta de fiabilidad) y evaluar cómo diferentes grupos aprenden a utilizar la nueva infraestructura.

Los autores mantienen un tono modesto respecto a futuras aplicaciones, señalando que, aunque el enfoque empírico es la elección de ruta humana, el marco ofrece una herramienta para diseñar estrategias de información que reconozcan el comportamiento adaptativo en lugar de asumir preferencias estáticas. También sugieren que trabajos futuros podrían explorar la heterogeneidad dentro de la clase permitiendo que los parámetros de RL sean específicos de cada individuo.