🤖 machine learning

Fine-tuning LLMs for Tourist Trajectory Prediction using Field Experiment Data

Cet article démontre que l'ajustement fin de modèles de langage de grande taille sur des données d'expérimentation de terrain provenant du parc du château de Wakayama permet une prédiction précise et contextuelle des trajectoires touristiques, y compris dans des scénarios sous-échantillonnés comme les jours de pluie, établissant ainsi une base robuste pour l'évaluation des interventions de mobilité par l'analyse contrefactuelle.

Auteurs originaux : Tatsuya Amano, Hirozumi Yamaguchi

Publié 2026-08-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tatsuya Amano, Hirozumi Yamaguchi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez-vous debout au bord d'un vaste parc animé, observant des centaines de personnes se faufiler entre les sentiers, s'arrêter devant des jardins et errer vers des châteaux. Pour les urbanistes et les responsables du tourisme, comprendre pourquoi ces visiteurs choisissent tel ou tel chemin n'est pas seulement une question de curiosité ; c'est un outil critique pour gérer les foules, protéger les sites fragiles et s'assurer que l'argent coule vers les bons endroits. Lorsqu'une destination tente d'introduire une nouvelle navette électrique ou un système de partage de vélos pour aider les gens à se déplacer entre des attractions dispersées, elle est confrontée à une question difficile : ce nouveau service changera-t-il réellement la façon dont les gens explorent, ou les visiteurs l'utiliseront-ils simplement pour atteindre les mêmes endroits bondés plus rapidement ? Les modèles informatiques traditionnels peinent à répondre à cela car ils traitent souvent le mouvement humain comme une simple série d'étapes, ignorant les facteurs réels et complexes qui influencent nos choix, tels qu'une averse soudaine, un enfant fatigué ou le simple désir de trouver un banc tranquille. Ces anciens systèmes nécessitent de vastes quantités de données historiques pour apprendre des modèles, et lorsqu'ils sont confrontés à une situation nouvelle qu'ils n'ont jamais vue, ils échouent souvent à deviner correctement.

Une équipe de chercheurs de l'Université d'Osaka et du centre RIKEN pour les sciences computationnelles a adopté une approche différente en se tournant vers un type d'intelligence artificielle connu sous le nom de grand modèle de langage. Ce sont les mêmes systèmes informatiques puissants qui peuvent écrire des histoires, répondre à des questions complexes et tenir des conversations, entraînés sur de vastes bibliothèques de textes humains. Les chercheurs ont réalisé que ces modèles possèdent déjà une compréhension profonde et intuitive du comportement humain. Ils « savent » que les gens chercheent un abri lorsqu'il pleut, que les familles ont besoin de pauses fréquentes et que l'heure du déjeuner signifie généralement une recherche de nourriture. Au lieu de construire un nouveau modèle à partir de zéro, l'équipe a décidé d'enseigner à ce système existant et instruit comment naviguer dans un lieu spécifique. Ils ont concentré leur étude sur le parc du château de Wakayama au Japon, une destination tentaculaire comprenant une tour de château historique, des jardins, un zoo et de nombreuses zones de repos. Lors d'un programme pilote en décembre 2023, les chercheurs ont collecté des enregistrements de mouvements détaillés de 566 touristes, suivant où ils sont allés, quand ils sont arrivés et ce qu'ils ont fait, tout en notant la météo et l'heure de la journée.

Pour enseigner à l'ordinateur, les chercheurs ont traduit ces enregistrements de mouvements bruts en un format que le modèle de langage pouvait comprendre : une histoire simple et structurée. Ils ont décrit chaque visiteur comme un personnage possédant des traits spécifiques, tels que l'âge ou le type de groupe, et ont planté le décor avec la météo actuelle. Ensuite, ils ont listé le voyage du visiteur étape par étape, notant l'heure, l'action et le lieu spécifique visité, un peu comme l'écriture d'une entrée de journal intime pour une journée au parc. Ils ont ensuite demandé à l'ordinateur de lire ces histoires et d'apprendre les modèles de la façon dont les gens se sont réellement déplacés dans le parc. L'objectif était de voir si le modèle pouvait examiner l'historique d'un visiteur jusqu'à un certain point et prédire avec précision où il irait ensuite. Ce processus, appelé ajustement fin (fine-tuning), a permis au modèle de combiner sa connaissance générale de la nature humaine avec la configuration et les habitudes spécifiques du parc du château de Wakayama.

Les résultats furent frappants. Lorsqu'ils ont été testés sur de nouveaux visiteurs que le modèle n'avait jamais vus, le modèle a prédit correctement le prochain lieu spécifique qu'un touriste visiterait environ 49 pour cent du temps. C'était une amélioration significative par rapport aux méthodes statistiques traditionnelles, qui ne parvenaient à deviner correctement que 9 à 15 pour cent du temps. Les anciennes méthodes échouaient souvent car elles ne pouvaient pas rendre compte du contexte ; elles ne comprenaient pas qu'une journée pluvieuse inciterait un visiteur à sauter les jardins ouverts pour se diriger directement vers le musée intérieur. Le modèle de langage, cependant, utilisait son bon sens intrinsèque pour effectuer ces ajustements. Même dans des situations difficiles où les données étaient rares, comme lors de journées pluvieuses où seuls quelques visiteurs étaient enregistrés, le modèle maintenait un haut niveau de précision, prédisant correctement que les gens chercheraient un abri à l'intérieur. Il a également réussi à générer des itinéraires complets de la journée qui semblaient réalistes, commençant par des visites matinales de sites emblématiques, passant par le déjeuner et se terminant par un repos l'après-midi, le tout sans être explicitement programmé avec ces règles.

Les chercheurs ont constaté que la capacité du modèle à comprendre le « pourquoi » derrière une décision était tout aussi importante que sa capacité à deviner le « où ». Bien qu'il soit légèrement moins précis pour prédire le nom spécifique d'une boutique ou d'un jardin, il était très bon pour prédire le type de lieu qu'un visiteur choisirait, comme un restaurant ou un site historique. Cela suggère que le modèle avait appris les intentions générales des touristes. Curieusement, l'équipe a également testé une version du modèle qui avait été spécifiquement entraînée sur la langue et la culture japonaises, mais la version multilingue générale a obtenu de meilleurs résultats. Cela indique que pour comprendre comment les gens se déplacent et prennent des décisions, la connaissance large et diversifiée du comportement humain présente dans un modèle général est plus précieuse qu'un entraînement linguistique spécialisé.

Ce travail ne prétend pas avoir résolu parfaitement le problème de la prédiction du comportement humain, ni prouver que ces modèles peuvent prédire exactement comment une nouvelle politique changera l'avenir. Les chercheurs notent prudemment que leur modèle est un outil puissant pour prévoir ce que les gens feront dans les conditions actuelles, mais que l'utilisation de ce dernier pour simuler les effets d'une nouvelle intervention, comme une nouvelle navette, nécessite des tests supplémentaires. Cependant, l'étude démontre que ces grands modèles de langage peuvent servir de miroirs hautement précis du comportement humain, capables de comprendre les décisions subtiles et dépendantes du contexte qui définissent une journée au parc. En capturant la logique de pourquoi un parent fatigué choisit un banc plutôt qu'une longue marche, ou pourquoi un groupe évite une colline par temps chaud, cette technologie offre une nouvelle façon pour les gestionnaires de destinations de planifier l'avenir, allant au-delà des simples statistiques pour une compréhension plus profonde des personnes qui visitent leurs terres.

Résumé Technique : Fine-tuning de LLM pour la prédiction des trajectoires touristiques à partir de données d'expérimentation de terrain

Énoncé du Problème
Les destinations touristiques régionales sont confrontées à des défis importants en matière de gestion de la répartition inégale des visiteurs, où les sites emblématiques deviennent surpeuplés tandis que des sites culturels proches restent sous-utilisés. Pour remédier à cela, des interventions de mobilité efficaces (ex. : navettes électriques, vélos en libre-service) sont nécessaires, mais prédire comment ces interventions modifient le comportement des touristes est difficile. Les méthodes de prédiction traditionnelles échouent dans ce domaine pour trois raisons principales :

Ignorance du Contexte : Les modèles comme les chaînes de Markov supposent des transitions sans mémoire, ne parvenant pas à rendre compte de la manière dont les expériences accumulées, la météo ou la fatigue façonnent les décisions.
Rareté des Données : Les approches d'apprentissage profond nécessitent des ensembles de données massifs, rarement disponibles pour des destinations individuelles, et peinent à intégrer des informations contextuelles hétérogènes (ex. : météo, événements spéciaux).
Manque de Sens Commun : Les modèles existants ne peuvent pas exploiter les connaissances intuitives humaines (ex. : la pluie entraîne des activités en intérieur) pour généraliser à des scénarios non observés ou à de nouvelles options de mobilité.

Méthodologie
Les auteurs proposent un cadre combinant l'apprentissage spécifique à une destination avec des connaissances comportementales pré-entraînées en effectuant le fine-tuning de Large Language Models (LLM).

Collecte de Données : L'étude a utilisé une expérimentation de terrain au parc du château de Wakayama, au Japon, collectant 566 trajectoires de touristes. Les sources de données comprenaient 87 participants suivis par GPS (intervalles de 1 seconde) et 479 participants à un rallye de tampons par codes QR. Le jeu de données couvre 68 points d'intérêt (POI) et inclut des attributs contextuels riches : persona du touriste (âge, genre, type de groupe), conditions environnementales (météo, heure) et historique de visite. Les attributs démographiques manquants (18 % des échantillons) ont été déduits via GPT-4o.
Représentation Textuelle : Les trajectoires ont été encodées sous forme de séquences textuelles structurées. Chaque visite était représentée par une ligne contenant l'horodatage, l'action, la zone, la catégorie et le nom du POI, entourés de tokens spéciaux (ex. : <PERSONA>, <ENV>, <time>, <POI>). Ce format permet au modèle de traiter l'information contextuelle naturellement sans ingénierie de caractéristiques manuelle.
Architecture du Modèle : Les auteurs ont effectué le fine-tuning de Llama-3.1-8B. Le vocabulaire a été étendu avec des tokens spéciaux pour tous les POI, zones et catégories. L'initialisation des embeddings de tokens a été faite en moyennant les sous-mots constitutifs du tokenizer original.
Stratégie d'Entraînement : Le modèle a été entraîné via QLoRA (Quantized Low-Rank Adaptation) avec un rang $r=32$ et un facteur d'échelle $\alpha=64$ . Crucialement, les adaptateurs ont été appliqués non seulement aux couches de projection d'attention (Query, Key, Value, Output), mais aussi aux couches d'embedding et de sortie (lm head) pour apprendre efficacement les représentations des nouveaux tokens de POI. L'objectif d'entraînement était le fine-tuning supervisé avec une perte d'entropie croisée pour générer des trajectoires complètes étant donné le persona et l'environnement, ou pour prédire le prochain POI étant donné l'historique de visite.
Configuration Expérimentale : Le jeu de données a été divisé en 80 % d'entraînement (453 touristes) et 20 % de test (113 touristes) avec une séparation au niveau du touriste pour éviter les fuites de données. Les modèles de référence incluaient des modèles de Markov d'ordre 1 et 5, un modèle de Markov caché à 2 états, GPT-4o en zero-shot et fine-tuné, ainsi que Llama-3-Swallow-8B (une variante spécialisée pour le japonais).

Résultats Clés

Précision de Prédiction : Le Llama-3.1-8B fine-tuné a atteint 49,1 % de précision pour la prédiction du prochain POI et 55,4 % pour la prédiction de la catégorie. Cela surpasse substantiellement tous les modèles de référence, y compris le GPT-4o fine-tuné (35,2 %) et le Llama-3-Swallow spécialisé pour le japonais (39,8 %).
Généralisation : Le modèle a démontré une performance robuste sur les scénarios sous-échantillonnés. Sur 12 échantillons de test par temps de pluie, le LLM a maintenu une précision de 41,7 % (prédisant correctement les lieux intérieurs), tandis que les modèles de Markov sont tombés à 8,3 %.
Qualité des Séquences : Les trajectoires générées présentent des motifs temporels réalistes (ex. : visites des attractions majeures le matin, repas à la mi-journée) avec une longueur moyenne de 7,2 POI, correspondant étroitement à la moyenne des données réelles de 7,7. Les métriques de séquence incluent un chevauchement de 4-gram de 31,2 % et un score BLEU de 25,8 %.
Comparaison de Modèles : La sous-performance du modèle Swallow spécialisé pour le japonais par rapport au Llama-3.1 multilingue suggère que l'échelle et la diversité des corpus de pré-entraînement généraux apportent plus de valeur pour le raisonnement sur les modèles de mouvement physique que la spécialisation linguistique.

Signification et Revendications
Cet article établit la faisabilité de l'utilisation de LLM fine-tunés comme modèles de comportement à haute fidélité pour la prédiction touristique dépendante du contexte. En exploitant le raisonnement de sens commun pré-entraîné (ex. : comprendre l'impact de la météo ou de la fatigue) et en l'adaptant à la configuration spécifique de la destination via le fine-tuning, cette approche permet la prédiction dans des scénarios où les données sont rares ou les conditions inédites.

Les auteurs précisent explicitement que, bien que ce travail valide la précision prédictive, il ne valide pas encore les affirmations causales. Le modèle sert de fondation nécessaire pour de futures analyses contrefactuelles, où les planificateurs pourront simuler des interventions de mobilité (ex. : « que se passerait-il si un service de navette était ajouté ? ») en modifiant les conditions d'entrée. Ce travail constitue le socle d'outils de gestion de destination capables d'évaluer et d'optimiser les interventions de mobilité, passant d'une planification statique à une simulation dynamique et sensible au contexte.

Limites
Les auteurs notent plusieurs limites :

Données Inférées : 18 % des attributs de persona ont été déduits via GPT-4o, bien qu'une vérification manuelle ait suggéré un impact minimal.
Contraintes de Nouveauté : Le modèle ne peut pas prédire le comportement auprès de POI entièrement nouveaux sans description, ni raisonner sur des changements d'infrastructure majeurs non présents dans le contexte d'entraînement.
Écart Causal : Prédire le comportement sous les conditions actuelles diffère de l'estimation des changements comportementaux sous des interventions hypothétiques ; les travaux futurs nécessiteront des tests A/B ou des essais randomisés pour valider les affirmations causales.

Résumé Technique : Fine-tuning de LLM pour la prédiction des trajectoires touristiques à partir de données d'expérimentation de terrain

Articles similaires