Résumé Technique : ProfiLLM

1. Formulation du Problème

L'article traite du défi de l'intégration des modèles de langage de grande taille (LLM) dans les systèmes de répartition de VTC (ride-hailing) industriels afin d'améliorer l'appariement entre commandes et chauffeurs. Les pipelines de production actuels reposent fortement sur des caractéristiques numériques structurées (ex. : distance, prix) pour prédire les comportements (acceptation, annulation, complétion) pour les paires commande-chauffeur (OD) candidates. Cependant, les signaux comportementaux décisifs — tels que l'aversion habituelle d'un chauffeur pour certaines régions ou la sensibilité au temps d'un passager — sont intrinsèquement contextuels et sémantiques, ce qui les rend difficiles à capturer avec des caractéristiques numériques conçues à la main.

Bien que les LLM puissent distiller des trajectoires comportementales complexes en profils sémantiques, le déploiement d'un répartiteur en direct avec une latence de l'ordre de la milliseconde fait face à trois contraintes entrelacées :

1. Échelle des données vs Limites de contexte : Les journaux à l'échelle de la plateforme (ex. : 44,3 millions d'enregistrements dans une seule ville sur 38 jours) dépassent les fenêtres de contexte de n'importe quel LLM.
2. Distribution de données à longue traîne : La majorité des utilisateurs (96 % des passagers de l'étude) sont à faible fréquence, manquant d'un historique d'interaction suffisant pour un profilage par utilisateur fiable.
3. Désalignement de l'utilité : Les profils fluides et superficiels générés par les LLM n'améliorent pas nécessairement l'utilité de prédiction en aval ; dans certains cas, des profils LLM naïfs dégradent la performance du modèle (ex. : chute de l'AUC allant jusqu'à -7,57 %).

Le problème central est d'opérationnaliser un profilage d'utilisateur aligné sur l'utilité, capable de passer à l'échelle pour des millions d'utilisateurs, de gérer les données éparses et de s'intégrer dans un contrat hors ligne-en ligne strict où l'inférence en ligne ajoute une surcharge sub-milliseconde avec zéro appel de LLM en ligne.

2. Méthodologie : ProfiLLM

ProfiLLM est un pipeline de données agentique basé sur les LLM, conçu pour combler le fossé entre le profilage sémantique et la répartition en temps réel. Il impose une séparation stricte : tout le raisonnement du LLM se déroule hors ligne, tandis que le système en ligne ne sert que des plongements (embeddings) de profils par grappes (clusters) pré-calculés. Le cadre se compose de deux modules principaux :

2.1 Extraction de Connaissances Globales Augmentée par Outils (Hors Ligne)

Pour répondre aux défis d'échelle et de fondement, un agent LLM est équipé d'une boîte à outils de 27 outils analytiques (classés en outils statistiques, spatio-temporels, contextuels et causaux). L'agent suit un paradigme Explorer $\rightarrow$ Approfondir $\rightarrow$ Valider $\rightarrow$ Synthétiser pour traiter des journaux historiques massifs :

• Explorer : Calcule les métriques au niveau de la plateforme et identifie les modèles préliminaires.
• Approfondir : Mène des analyses ciblées sur les modèles temporels, l'hétérogénéité spatiale et la segmentation des utilisateurs.
• Valider : Applique des tests d'hypothèses statistiques et des analyses causales pour ne conserver que les résultats significatifs.
• Synthétiser : Produit trois artefacts réutilisables :
  1. Connaissance Globale ($K$) : Références de la plateforme, régularités temporelles et relations causales.
  2. Règles de Clustering d'Utilisateurs Adaptatives ($A$) : Classificateurs interprétables et basés sur des règles qui regroupent les utilisateurs par similitude comportementale (ex. : heures d'activité, régions fréquentes). Cela répond au problème de la longue traîne en agrégeant les données au niveau du cluster plutôt qu'au niveau individuel.
  3. Priors Régionaux ($R$) : Statistiques d'offre et de demande par grille.

2.2 Exploration de Profils Alignée sur l'Utilité (Hors Ligne)

Pour chaque cluster d'utilisateurs, le système génère et affine des profils basés sur la connaissance globale extraite :

• Génération de Candidats : Le LLM génère $K$ profils candidats diversifiés par cluster, structurés en Analyse (modèles comportementaux), Profil (description sémantique) et Logique (règles de décision booléennes exécutables).
• Évaluation de l'Utilité : Au lieu d'entraîner des modèles de prédiction complets pour chaque candidat, le système utilise le composant Logique comme un proxy léger. Il mélange les prédictions du modèle de base avec les prédictions basées sur des règles pour calculer un AUC fusionné. Cela permet d'identifier les profils qui capturent des signaux invisibles pour les caractéristiques structurées.
• Affinement Itératif : Les meilleurs candidats sont affinés de manière itérative en fonction du feedback d'erreur de prédiction.
• Fine-Tuning DPO : Des paires de préférences sont construites en comparant les profils ayant des gains d'utilité différents. Une étape de fine-tuning par Optimisation de Préférence Directe (DPO) aligne le générateur LLM avec l'utilité de prédiction en aval, permettant à un modèle compact (ex. : Qwen3-8B) de surpasser des modèles de base plus grands et non alignés.

2.3 Service en Ligne

Le répartiteur en ligne fonctionne sans inférence de LLM :

1. Assignation au Cluster : Une évaluation de règle déterministe assigne un utilisateur à un cluster.
2. Recherche d'Embedding : Le système récupère l'embedding de dimension $d$ pré-calculé du profil du cluster.
3. Prédiction : L'embedding est concaténé avec les caractéristiques structurées et injecté dans le modèle de prédiction multi-tâches existant.
4. Appariement : Les poids sont calculés, et l'algorithme de Kuhn-Munkres résout l'assignation.
   La surcharge totale est sub-milliseconde (< 0,01 ms par paire).

3. Contributions Clés

• Premier Pipeline de Profilage LLM Déployé : ProfiLLM est le premier système à déployer un profilage d'utilisateur basé sur les LLM dans un répartiteur de VTC de production, respectant des contraintes de latence strictes via une stratégie de découplage hors ligne-en ligne.
• Extraction de Connaissances Augmentée par Outils : Un module novateur où un agent LLM compose de manière autonome des chaînes de 27 outils analytiques pour extraire des connaissances globales et des règles de clustering à partir de volumes de données dépassant la fenêtre de contexte des LLM.
• Exploration Alignée sur l'Utilité : Un mécanisme qui traite l'utilité de prédiction comme un signal d'optimisation de premier rang. Il utilise un proxy léger basé sur la logique et le fine-tuning DPO pour garantir que les profils générés améliorent la prédiction en aval plutôt que d'être simplement fluides sur le plan linguistique.
• Gestion Évolutive de la Longue Traîne : En passant d'un profilage par utilisateur à un profilage par cluster, le système profile efficacement les utilisateurs à faible fréquence qui manquent d'un historique individuel suffisant.

4. Résultats Expérimentaux

Le système a été évalué sur les données de production de DiDi dans trois villes brésiliennes (Ville A, B, C) et déployé lors d'un test A/B en ligne de 14 jours dans la Ville A.

• Performance de Prédiction : ProfiLLM a obtenu une amélioration relative de l'AUC allant jusqu'à +6,14 % dans la prédiction des résultats (spécifiquement pour l'annulation des passagers) par rapport aux bases de référence uniquement structurées. Les bases de référence LLM naïves ont souvent dégradé la performance, soulignant la nécessité du mécanisme d'alignement de l'utilité.
• Résultats de Simulation : Dans les simulations de répartition, ProfiLLM a généré un gain de GMV (Volume d'Affaires Brut) allant jusqu'à +4,35 % et des améliorations significatives des taux de complétion.
• Test A/B en Ligne (Ville A) : Sur 14 jours, le système a démontré des améliorations réelles constantes :
  • +0,47 % de GMV.
  • +0,33 % de Taux de Complétion.
  • -0,82 % de taux d'annulation avant acceptation.
  • Réductions des annulations post-acceptation tant pour les chauffeurs que pour les passagers.
• Efficacité des Coûts : La stratégie de rafraîchissement basée sur le DPO a réduit les coûts hors ligne de 10,6× par rapport aux exécutions d'exploration initiales. Le chemin en ligne ajoute un coût négligeable, plaçant ProfiLLM-DPO sur la frontière de Pareto des compromis coût-qualité par rapport aux modèles de base LLM plus larges.

5. Signification et Revendications

L'article affirme que ProfiLLM parvient à opérationnaliser les LLM pour la prise de décision industrielle en résolvant le trilemme « fenêtre de contexte », « longue traîne » et « alignement de l'utilité ». Sa signification réside dans la démonstration que :

1. Le Profilage Sémantique est Viable à l'Échelle : Les profils générés par LLM peuvent capturer des signaux comportementaux (comme l'aversion régionale) que les caractéristiques structurées manquent, à condition qu'ils soient ancrés dans une connaissance globale et agrégés au niveau des clusters.
2. L'Alignement de l'Utilité est Critique : La fluidité de surface n'est pas un indicatep de l'utilité ; optimiser les profils directement pour les métriques de prédiction en aval (via des proxies logiques et le DPO) est essentiel pour éviter la dégradation des performances.
3. Le Découplage Hors Ligne-En Ligne est Nécessaire : Les applications industrielles en temps réel peuvent tirer parti du raisonnement complexe des LLM uniquement si l'inférence est strictement confinée au traitement par lots hors ligne, en ne servant que des embeddings légers en ligne.

Les auteurs positionnent ProfiLLM non pas comme une simple amélioration théorique, mais comme une solution pratique déployée qui améliore les revenus et l'expérience utilisateur dans un environnement à enjeux élevés et à faible latence, sans modifier les algorithmes de répartition de base.