💬 NLP

Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance

Cette étude introduit le cadre LENS pour mesurer les décalages de distribution naturels dans les invites d'utilisateurs et révèle que même des changements modérés entraînent une baisse drastique de la performance des LLM déployés, soulignant ainsi la nécessité d'une surveillance axée sur les données pour garantir leur fiabilité.

Auteurs originaux : Parker Seegmiller, Sarah Masud Preum

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Parker Seegmiller, Sarah Masud Preum

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : Le "Choc Culturel" des Robots

Imaginez que vous embauchez un excellent cuisinier (c'est notre Intelligence Artificielle ou LLM). Pour le former, vous lui donnez des milliers de recettes et de commandes provenant d'un quartier très spécifique, disons, un quartier de Paris en 2023. Il apprend à perfectionner ses plats pour ce public précis.

Le problème, c'est que le monde ne s'arrête pas de tourner.

Le temps passe : En 2024, les gens aiment des plats plus épicés ou des présentations différentes.
Les gens changent : De nouveaux clients arrivent, venant de Tokyo ou de New York, avec des habitudes alimentaires et des langages totalement différents.
Le résultat : Si vous continuez à servir les mêmes plats préparés pour les Parisiens de 2023 à ces nouveaux clients, ils seront déçus. Le cuisinier ne comprend plus ce qu'on lui demande.

C'est exactement ce que les auteurs de cette étude ont découvert : les modèles d'IA perdent leur efficacité quand les gens qui les utilisent changent de comportement, de lieu ou de moment.

🔍 L'Expérience : Le Framework "LENS"

Les chercheurs ont créé un outil appelé LENS (qui signifie "Lentille" en anglais, pour bien voir les choses). Ils ont voulu mesurer ce "choc" entre ce que l'IA a appris et ce qu'elle rencontre réellement.

Ils ont utilisé une immense base de données de conversations réelles (WildChat) pour simuler des situations où :

Le temps change : On entraîne l'IA sur les demandes de janvier, et on la teste sur celles de décembre.
Les groupes changent : On entraîne l'IA sur les demandes des "vieux habitués" et on la teste sur les "nouveaux venus".
La géographie change : On entraîne l'IA sur les demandes de Californie et on la teste sur celles de Paris ou Tokyo.

📉 Les Résultats Choc : Une Chute Libre

Les résultats sont assez alarmants, comme une voiture qui freine brusquement sur une route glissante :

Le décalage est énorme : Même des changements "modérés" dans la façon dont les gens parlent à l'IA entraînent une chute de performance de 73 % en moyenne.
Le pire scénario : Quand l'IA rencontre des utilisateurs d'une autre région ou d'un autre groupe d'âge, elle perd jusqu'à 88 % de sa capacité à bien répondre. C'est comme si elle oubliait presque tout ce qu'elle savait.
Le temps joue contre elle : Plus le temps passe entre l'entraînement et l'utilisation réelle, plus l'IA devient "bête" face aux nouvelles demandes.

🧐 Pourquoi ça arrive ? (Les Analogies)

Les chercheurs ont observé pourquoi ça se passe :

L'Évolution du Langage (Le Temps) :
- Avant : Les gens demandaient des choses simples et spontanées ("Fais-moi une phrase avec ce mot").
- Maintenant : Les gens sont devenus des "ingénieurs de prompts". Ils donnent des instructions ultra-précises, avec des formats stricts, comme des chefs d'orchestre ("Crée une image pour Midjourney avec ce style, cette structure, et ces contraintes"). L'IA entraînée sur l'ancien style ne suit plus le nouveau chef d'orchestre.
Les Différences Culturelles (La Géographie) :
- Un utilisateur de Paris ne demande pas la même chose qu'un utilisateur de Tokyo, même en anglais. Il y a des nuances culturelles, des façons de structurer la pensée, et parfois un mélange de langues. L'IA, formée sur un seul "dialecte" culturel, se perd dès qu'elle change de continent.
Les Habitudes des Utilisateurs (Les Groupes) :
- Les "gros utilisateurs" (ceux qui parlent beaucoup à l'IA) utilisent des modèles répétitifs, comme des scripts pour leur travail. Les "petits utilisateurs" sont plus créatifs et erratiques. L'IA ne sait pas passer d'un mode "robotique" à un mode "créatif" si elle n'a pas été entraînée sur les deux.

💡 La Conclusion : Pourquoi c'est important ?

Cette étude nous dit une chose cruciale : Entraîner une IA une seule fois ne suffit pas.

C'est comme si vous formiez un policier uniquement sur les crimes commis en 2010, puis vous le mettiez en patrouille en 2025 face à des cybercriminels. Il ne sera pas efficace.

La leçon pour le futur :
Pour que les intelligences artificielles restent fiables et utiles, il faut les surveiller en permanence. Il faut les "ré-entraîner" régulièrement avec les nouvelles façons dont les gens parlent, changent de lieu et d'habitudes. Sans cette surveillance continue, l'IA risque de devenir de moins en moins utile, voire dangereuse, pour les utilisateurs réels.

En résumé : L'IA est un miroir de l'humanité. Si l'humanité change, le miroir doit changer avec elle, sinon il ne reflète plus la réalité.

1. Problématique

Les modèles de langage larges (LLM) sont de plus en plus déployés dans des environnements dynamiques et réels. Cependant, la distribution des invites (prompts) soumises par les utilisateurs évolue naturellement au fil du temps, en fonction des groupes d'utilisateurs et des régions géographiques. Ce phénomène, appelé décalage de distribution naturel des invites (natural prompt distribution shift), pose un défi majeur pour la fiabilité des modèles.

Bien que la robustesse hors distribution (OOD - Out-of-Distribution) soit un sujet étudié, il existe peu de travaux mesurant spécifiquement ce décalage naturel (non artificiel) dans les déploiements réels et son impact sur les performances des modèles après leur instruction fine-tuning (SFT). Les auteurs s'interrogent sur deux questions de recherche principales :

RQ1 : Quelle ampleur de décalage de distribution des invites peut-on observer dans la nature ?
RQ2 : Comment ces décalages naturels affectent-ils les performances des LLM pré-entraînés et affinés ?

2. Méthodologie : Le Framework LENS

Pour répondre à ces questions, les auteurs introduisent LENS (LLM Evaluation under Natural prompt Shift), une approche centrée sur les données pour quantifier le décalage et évaluer son impact.

A. Collecte et Construction des Données

Source de données : Utilisation de WildChat, un ensemble de données contenant 1 million d'interactions réelles avec des modèles OpenAI, incluant des métadonnées temporelles (horodatage), des adresses IP (pour les groupes d'utilisateurs) et des localisations géographiques.
Création de scénarios {ID, OOD} : Les auteurs ont construit 192 scénarios de décalage réalistes en divisant les données selon trois axes :
1. Temps : Comparaison de modèles entraînés sur des données passées (ID) et évalués sur des données futures (OOD) avec différents retards temporels.
2. Groupes d'utilisateurs : Segmentation basée sur le stade d'adoption (précoce, moyen, tardif) et le volume de requêtes (faible, moyen, élevé).
3. Géographie : Comparaison entre différentes régions (ex: Californie, Paris, Tokyo).
Configuration expérimentale : Pour chaque scénario, un modèle "ID" est entraîné sur des données d'une distribution spécifique, tandis qu'un modèle "Oracle" est entraîné sur les mêmes données que celles utilisées pour l'évaluation OOD (assurant une performance optimale de référence).

B. Modèles et Entraînement

Modèles testés : Trois modèles de base de tailles et familles différentes : Qwen2.5-7B, Qwen2.5-14B et Llama3-8B.
Total : 81 modèles entraînés au total (3 modèles × 27 jeux de données ID uniques).
Volume : Entraînement sur 4,68 millions d'invites et évaluation sur 57 600 invites.
Méthode d'évaluation : Comparaison des réponses du modèle ID et du modèle Oracle sur 100 invites OOD par scénario, jugées par GPT-4o (approche LLM-as-a-Judge). La métrique principale est le taux de perte (loss rate) du modèle ID par rapport à l'Oracle.

C. Mesures de Décalage de Distribution

Pour quantifier le décalage sans étiquettes de vérité terrain, LENS utilise quatre mesures non supervisées :

MAUVE : Mesure basée sur les embeddings pour estimer la divergence entre deux distributions de texte (plus le score est bas, plus le décalage est grand).
$\Delta$ -score (Delta-score) : Mesure de profondeur statistique pour évaluer la représentativité d'un texte par rapport à une distribution.
Perplexité : Utilise le modèle lui-même pour mesurer la surprise face aux données OOD.
BLEU : Mesure le chevauchement n-gramme (similarité lexicale de surface).

3. Résultats Clés

A. Existence et Ampleur du Décalage (RQ1)

Les mesures montrent que les distributions d'invites changent significativement :

Géographie : C'est l'axe présentant le décalage le plus fort (MAUVE moyen de 0,05 contre 0,96 pour une base aléatoire), indiquant des différences comportementales et culturelles marquées.
Temps : Décalage important (MAUVE moyen de 0,54), les invites devenant plus structurées et spécifiques avec le temps.
Groupes d'utilisateurs : Décalage mesurable (MAUVE moyen de 0,61), bien que légèrement inférieur aux autres axes. Les utilisateurs à fort volume utilisent des invites plus templatisées, tandis que les nouveaux utilisateurs sont plus exploratoires.

B. Impact sur les Performances (RQ2)

Il existe une corrélation forte entre le décalage de distribution et la dégradation des performances :

Perte de performance massive : Les modèles entraînés sur des données ID subissent une perte de performance moyenne de 73 % par rapport aux modèles Oracle dans des scénarios OOD naturels.
Dégradation par axe :
- Géographie : Taux de perte moyen de 88 %.
- Groupes d'utilisateurs : Taux de perte moyen de 88 %.
- Temps : Taux de perte moyen de 44 % (la dégradation augmente avec le délai temporel).
Généralisation : Cette dégradation est cohérente quelle que soit la taille ou la famille du modèle (Llama, Qwen), suggérant que l'aptitude à suivre les instructions apprise sur des données réelles ne se transfère pas naturellement dans des environnements dynamiques.

C. Analyse Qualitative

L'analyse des invites révèle des tendances spécifiques :

Évolution temporelle : Les invites deviennent plus complexes, avec des contraintes de formatage explicites.
Différences culturelles : Les invites géographiques montrent des variations linguistiques (dialectes, code-switching) et des références culturelles distinctes.
Comportement utilisateur : Les utilisateurs réguliers adoptent des workflows automatisés (prompts templatisés), créant un fossé avec les utilisateurs occasionnels.

4. Contributions Principales

Framework LENS : Première approche systématique pour mesurer le décalage de distribution naturel des invites et son impact sur les LLM déployés.
Évaluation à grande échelle : Analyse de 192 scénarios réalistes, 81 modèles et des millions de points de données, offrant une vue d'ensemble inédite.
Preuve de fragilité : Démonstration que les modèles LLM actuels sont extrêmement sensibles aux changements naturels de comportement des utilisateurs, avec des pertes de performance drastiques (jusqu'à 88 %).
Métriques et Données : Fourniture de mesures quantitatives (MAUVE, $\Delta$ -score, etc.) et d'un jeu de données structuré pour la recherche future sur la robustesse des LLM.

5. Signification et Implications

Les résultats de cette étude soulignent un problème critique pour le déploiement industriel des LLM : la stabilité des performances n'est pas garantie dans le temps.

Surveillance des données : Il est impératif de mettre en place une surveillance centrée sur les données (data-centric monitoring) pour détecter les dérives de distribution avant qu'elles ne nent gravement l'expérience utilisateur.
Adaptation continue : Les stratégies d'entraînement statique (fine-tuning sur un jeu de données figé) sont insuffisantes. Les modèles devront probablement être mis à jour continuellement ou adaptés dynamiquement pour suivre l'évolution des utilisateurs.
Robustesse : La communauté de recherche doit se concentrer sur des méthodes de robustesse qui ne se limitent pas à des tests statiques, mais qui prennent en compte l'évolution naturelle des interactions humaines avec l'IA.

En conclusion, l'article démontre que l'évolution naturelle des invites utilisateurs est une menace majeure pour la fiabilité des LLM, nécessitant une refonte des approches d'évaluation et de déploiement pour garantir des performances stables face à un public en constante mutation.