📈 economics

A Bayesian latent class reinforcement learning framework to capture adaptive, feedback-driven travel behaviour

Cet article propose un cadre d'apprentissage par renforcement à classes latentes bayésiennes pour modéliser des comportements de déplacement hétérogènes et adaptatifs, identifiant trois classes distinctes de voyageurs dotées d'évolutions de préférences et de stratégies d'exploration-exploitation uniques à travers l'analyse de données de simulateur de conduite.

Auteurs originaux : Georges Sfeir, Stephane Hess, Thomas O. Hancock, Filipe Rodrigues, Jamal Amani Rad, Michiel Bliemer, Matthew Beck, Fayyaz Khan

Publié 2026-08-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Georges Sfeir, Stephane Hess, Thomas O. Hancock, Filipe Rodrigues, Jamal Amani Rad, Michiel Bliemer, Matthew Beck, Fayyaz Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre la meilleure façon de vous rendre à l'école. Parfois, vous empruntez le même itinéraire chaque jour parce qu'il est rapide et fiable. D'autres fois, vous essayez une nouvelle rue juste pour voir si elle est plus rapide, même si elle pourrait vous faire arriver plus tard. C'est le cœur de la manière dont les humains prennent des décisions : nous équilibrons le fait de s'en tenir à ce que nous connaissons (l'exploitation) avec le fait d'essayer de nouvelles choses pour en apprendre davantage (l'exploration). Pendant longtemps, les scientifiques étudiant la façon dont les gens voyagent ont utilisé des modèles qui supposent que tout le monde apprend de la même manière ou que nos préférences sont fixes comme le granit. Mais dans la réalité, les gens sont désordonnés. Nous apprenons à des vitesses différentes, nous sommes confus par les nouvelles informations, et nous pouvons agir de manière totalement différente lorsque nous sommes réellement en train de conduire par rapport au moment où nous imaginons simplement un trajet. Cet article plonge dans cette réalité désordonnée, utilisant un mélange de psychologie et de mathématiques pour comprendre non seulement ce que les gens choisissent, mais aussi comment ils apprennent à faire ces choix au fil du temps.

Les chercheurs derrière cette étude, dirigés par Georges Sfeir et ses collègues, ont décidé de construire un nouveau type de modèle de « cerveau de voyage » appelé un cadre de Reinforcement Learning à Classes Latentes (LCRL - Apprentissage par renforcement à classes latentes). Voyez cela comme une histoire de détective où les détectives essaient de comprendre pourquoi différents conducteurs agissent si différemment. Au lieu de supposer que tout le monde est identique, ils ont utilisé un simulateur de conduite pour observer 83 personnes prendre 20 choix d'itinéraires chacune. La moitié du temps, les participants conduisaient réellement les itinéraires et ressentaient le passage du temps (retour d'expérience vécu) ; l'autre moitié, ils se contentaient de cliquer sur des boutons sur un écran avec des temps hypothétiques (préférence déclarée). L'équipe a ensuite injecté ces données dans leur nouveau modèle sophistiqué, qui agit comme une machine de tri. Il ne se contente pas de dire « cette personne aime les itinéraires rapides » ; il demande : « Est-ce une personne qui apprend lentement et s'en tient aux vieilles habitudes ? Un casseur de codes qui tente tout ? Ou quelqu'un qui change d'avis selon qu'il est réellement en train de conduire ou qu'il est simplement en train de réfléchir à un trajet ? »

Le modèle a révélé que le groupe de conducteurs n'était pas un bloc monolithique de personnes, mais plutôt trois « types » d'apprenants distincts, chacun ayant sa propre personnalité. Environ 22 % des personnes étaient les « Caméléons de Contexte ». Ces gens agissaient d'une certaine manière lorsqu'ils imaginaient simplement un trajet sur un écran d'ordinateur (préférant l'itinéraire sûr et fiable), mais changeaient complètement de comportement lorsqu'ils étaient réellement au volant du simulateur, aspirant soudainement à l'itinéraire risqué et imprévisible. Ils apprenaient lentement, prenant leur temps pour mettre à jour leurs croyances basées sur de nouvelles expériences.

Ensuite, il y avait le groupe le plus important, représentant près de la moitié des participants (49 %), qui étaient les « Exploiteurs Persistants ». Ces conducteurs étaient ceux qui adoraient l'itinéraire risqué et peu fiable, peu importe la situation. Qu'ils soient en train de conduire ou de simplement cliquer sur des boutons, ils continuaient à choisir le chemin incertain, même quand cela leur prenait parfois plus de temps. Ils étaient les exploitants les plus têtus, s'en tenant à leur choix risqué et s'adaptant quelque peu plus vite au feedback que le groupe le plus lent, bien qu'ils s'appuient considérablement sur leurs expériences passées.

Enfin, il y avait le troisième groupe, environ 29 % de l'échantillon, qui étaient les « Changeurs Adaptatifs ». Ces conducteurs étaient plus susceptibles d'être des femmes et d'avoir des revenus plus élevés. Ils commençaient par aimer l'itinéraire sûr lorsqu'ils conduisaient réellement, mais lorsqu'ils répondaient simplement à des questions sur un écran, ils devenaient soudainement plus aventureux et choisissaient l'itinéraire risqué. Ils affichaient les tendances exploratoires les plus marquées, passant d'une option sûre à une option risquée et vice versa. Bien qu'ils aient eu l'estimation du taux d'apprentissage la plus élevée des trois groupes, celle-ci était statistiquement insignifiante, suggérant qu'ils maintenaient des attentes stables qui évoluaient graduellement au fil du temps plutôt que de réagir par des changements rapides et volatils.

L'article suggère qu'en ignorant ces différents « profils d'apprentissage », nous pourrions commettre des erreurs dans la conception de nos systèmes de transport ou dans la prédiction de la façon dont les gens réagiront à de nouvelles routes. Si vous traitez un « Caméléon de Contexte » comme un « Exploiteur Persistant », vos conseils de circulation pourraient échouer complètement. Les chercheurs n'ont pas seulement supposé que ces groupes existaient ; ils ont utilisé une technique mathématique sophistiquée appelée l'Inférence Bayésienne Variationnelle pour prouver que diviser les gens en ces trois classes correspondait bien mieux aux données que de supposer que tout le monde apprend de la même manière. Ils ont même réalisé des simulations pour montrer comment chaque groupe réagirait si on lui imposait de recevoir sans cesse le même mauvais trafic ou le même bon trafic, confirmant que leurs « personnalités » modifiaient réellement leur façon d'apprendre.

En résumé, cet article soutient que pour comprendre le voyage, nous ne pouvons pas nous contenter de regarder la carte ; nous devons regarder l'esprit du conducteur. Nous devons savoir s'ils sont du genre à s'en tenir au familier, du genre à poursuivre la nouveauté, ou du genre à changer d'avis selon la situation. En construisant un modèle capable de capturer ces différences, les auteurs espèrent aider les villes et les urbanistes à concevoir de meilleurs systèmes qui fonctionnent pour tous les types d'apprenants, et pas seulement pour la moyenne.

Résumé Technique : Un cadre de Reinforcement Learning à classes latentes bayésiennes

Énoncé du Problème
La recherche traditionnelle sur les comportements de déplacement repose largement sur les modèles de choix discrets (DCM) qui traitent les préférences comme des construits fixes. Cependant, les décisions de déplacement en conditions réelles impliquent souvent un apprentissage adaptatif où les individus révisent leurs attentes en fonction du feedback (ex. : retards, nouveaux itinéraires). Bien que les modèles de Reinforcement Learning (RL) issus de la psychologie mathématique capturent efficacement cet apprentissage piloté par le feedback, les applications existantes dans les transports supposent souvent une distribution unique et continue des paramètres d'apprentissage (ex. : modèles bayésiens hiérarchiques avec des priors unimodaux). Cette approche ne parvient pas à capturer des types d'apprentissage discrets et distincts au sein d'une population (ex. : explorateurs persistants vs exploitants rapides). Faire la moyenne de comportements aussi divergents peut conduire à des inférences erronées et à des interventions politiques mal ciblées. De plus, les enquêtes de transport conventionnelles manquent souvent des données longitudinales nécessaires pour capturer le feedback expérimenté requis pour la modélisation de l'apprentissage dynamique.

Méthodologie
Le papier propose un cadre de Latent Class Reinforcement Learning (LCRL) qui intègre les modèles de choix à classes latentes (LCCM) avec des dynamiques de Reinforcement Learning spécifiques à chaque classe. Le modèle est estimé via la méthode de l'inférence variationnelle (VB) au sein d'un cadre entièrement bayésien pour gérer les espaces paramétriques de haute dimension et les variables latentes.

Cœur de Reinforcement Learning : Le modèle utilise la règle d'apprentissage de Rescorla-Wagner.
- Erreur de prédiction : Les attentes ( $Q$ ) pour une alternative sont mises à jour essai après essai en fonction de la différence entre le résultat réel ( $r$ ) et l'attente préalable, pondérée par un taux d'apprentissage ( $\alpha$ ).
- Règle de choix : Les attentes mises à jour alimentent un cadre de maximisation de l'utilité aléatoire (RUM - Multinomial Logit), où l'utilité dépend de l'attente du résultat et d'un paramètre de sensibilité ( $\beta$ ) régissant le compromis exploration-exploitation.
Intégration des classes latentes : Le modèle suppose que la population est composée de $K$ $K$ classes latentes discrètes.
- Appartenance à une classe : La probabilité qu'un individu appartienne à une classe est modélisée via une fonction logit multinomiale des attributs sociodémographiques et contextuels.
- Dynamiques spécifiques à la classe : Chaque classe $k$ possède son propre ensemble de paramètres de RL : taux d'apprentissage ( $\alpha_k$ ), sensibilités à l'exploration-exploitation ( $\beta_k$ ), paramètres de biais ( $\gamma_{ik}$ ) et attentes initiales ( $Q_{i,0,k}$ ).
Estimation : En raison de l'intractabilité de la distribution a posteriori, les auteurs emploient l'inférence variationnelle. Ils approchent la distribution a posteriori réelle par une distribution traitable en utilisant une hypothèse de champ moyen (mean-field) et optimisent la borne inférieure de l'évidence (ELBO) via la descente de gradient stochastique (optimiseur Adam).

Contributions Clés

Cadre Novateur : C'est la première application qui modélise conjointement l'hétérogénéité comportementale discrète et le reinforcement learning dynamique en utilisant une approche variationnelle entièrement bayésienne. Cela fait le pont entre les modèles de choix discrets économétriques et la psychologie mathématique.
Gestion de l'Hétérogénéité : Contrairement aux modèles de RL hiérarchiques standards qui supposent une variation continue autour d'un processus commun, le LCRL identifie explicitement des types d'apprentissage distincts (multimodalité), évitant ainsi de faire la moyenne de comportements divergents.
Estimation Scalable : L'utilisation de l'inférence variationnelle permet une estimation scalable de modèles dynamiques complexes à haute dimension, fournissant des distributions a posteriori complètes sur les paramètres.
Adaptation Contextuelle : Le modèle est adapté pour gérer des environnements de données mixtes (simulateur de conduite vs préférences déclarées), permettant des paramètres de sensibilité et de biais spécifiques à la classe qui varient selon le contexte expérimental.

Résultats
Le modèle a été appliqué à un ensemble de données de 83 participants complétant 20 tâches de choix d'itinéraire (10 dans un simulateur de conduite et 10 dans une enquête de préférences déclarées) impliquant un choix entre un itinéraire fiable (fixe à 5 min) et un itinéraire peu fiable (variable entre 2 et 7 min).

Ajustement du Modèle : Un modèle LCRL à trois classes a été sélectionné sur la base du critère d'information bayésien (BIC), surpassant significativement un modèle RL à classe unique en termes de Log-Vraisemblance, AIC et BIC.
Classes Identifiées :
1. Classe 1 (Exploitants dépendants du contexte, ~22 %) : Principalement des participants ayant commencé par les tâches de Préférences Déclarées (SP). Ils présentent une forte préférence dépendante du contexte : ils exploitent l'itinéraire fiable dans les scénarios hypothétiques SP mais passent à l'exploitation de l'itinéraire peu fiable dans le simulateur de conduite (DS) physique. Ce sont des apprenants lents (faible $\alpha$ ).
2. Classe 2 (Exploitants persistants, ~49 %) : Dominée par des hommes aux revenus plus faibles ayant commencé par les tâches DS. Ils affichent une préférence forte et persistante pour l'itinéraire peu fiable à travers les deux contextes. Ce sont des apprenants modérés et présentent de fortes tendances à l'exploitation ( $\beta$ significatif).
3. Classe 3 (Explorateurs dépendants du contexte, ~29 %) : Plus susceptibles d'être des femmes et de revenus plus élevés. Ils montrent une préférence pour l'itinéraire fiable dans les tâches DS mais l'inversent dans les scénarios SP. Ils présentent les plus fortes tendances à l'exploration (faible $\beta$ ) et les taux d'apprentissage les plus élevés, bien que leurs attentes évoluent graduellement.
Aperçus Comportementaux : Les résultats soulignent que les individus diffèrent non seulement par leurs préférences statiques, mais aussi par la manière dont ils apprennent (taux d'apprentissage), la manière dont ils mettent à jour leurs attentes et la manière dont ils équilibrent l'exploration versus l'exploitation. Le modèle capture avec succès la divergence entre les choix déclarés et les choix expérimentés, l'attribuant à des changements de biais et de dynamique d'apprentissage dépendants du contexte.

Signification et Revendications
Le papier affirme que le cadre LCRL fournit une caractérisation plus riche des comportements de déplacement en capturant à la fois l'apprentissage basé sur l'expérience et les formes discrètes d'hétérogénéité.

Théorique : Il offre une compréhension plus complète de la manière dont les préférences de décision évoluent dynamiquement au fil du temps, comblant une lacune où les modèles traditionnels négligent les mécanismes de l'émergence des préférences initiales.
Pratique : Les conclusions suggèrent que les interventions politiques (ex. : stratégies d'information) doivent être adaptées à des types d'apprentissage spécifiques, car les stratégies bénéfiques pour les explorateurs peuvent nuire aux exploitants.
Méthodologique : L'intégration des modèles de choix économétriques avec le RL et l'inférence bayésienne est présentée comme une technologie de modélisation émergente. Les auteurs suggèrent son potentiel de pertinence pour :
- Véhicules Autonomes (VA) : Concevoir des algorithmes de routage qui anticipent l'apprentissage humain et la formation des attentes dans les systèmes de conduite mixte.
- Mobilité en tant que Service (MaaS) : Identifier les segments susceptibles d'explorer de nouveaux modes et comprendre comment les incitations accélèrent l'adoption.
- Planification des Transports : Anticiper les réponses comportementales aux perturbations du réseau (ex. : fermetures, manque de fiabilité) et évaluer comment différents groupes apprennent à utiliser de nouvelles infrastructures.

Les auteurs maintiennent un ton modeste concernant les applications futures, notant que bien que l'accent empirique soit mis sur le choix d'itinéraire humain, le cadre offre un outil pour concevoir des stratégies d'information qui reconnaissent le comportement adaptatif plutôt que de supposer des préférences statiques. Ils suggèrent également que des travaux futurs pourraient explorer l'hétérogénéité intra-classe en permettant aux paramètres de RL d'être spécifiques à l'individu.

Résumé Technique : Un cadre de Reinforcement Learning à classes latentes bayésiennes

Articles similaires