💬 NLP

Emergence of Context Characteristics Sensitivity in Large Language Models

Cet article étudie comment la sensibilité des grands modèles de langage aux caractéristiques du contexte évolue à travers les étapes de réglage fin supervisé, d'optimisation des préférences directes et d'apprentissage par renforcement, révélant que ces préférences sont activement remodelées à chaque phase et soulignant l'importance critique de jeux de données de réglage fin d'instructions équilibrés pour une utilisation robuste du contexte.

Auteurs originaux : Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un élève très intelligent assis dans une salle de classe. Cet élève a une immense bibliothèque de faits mémorisés dans sa tête (connaissance paramétrique), mais l'enseignant lui remet également une page de manuel spécifique (le contexte) pour chaque question. Le but est que l'élève lise cette page et réponde à la question en se basant uniquement sur ce qu'il vient de lire, en ignorant ce qu'il sait déjà.

Cet article étudie comment cet élève apprend à utiliser le manuel lors de trois « camps d'entraînement » spécifiques (étapes d'ajustement fin par instruction) : SFT, DPO et RLVR. Les chercheurs voulaient savoir : L'élève apprend-il à lire le livre attentivement, ou commence-t-il à prendre des raccourcis basés sur l'apparence du livre ?

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. Les trois camps d'entraînement

Considérez l'éducation de l'élève comme se déroulant en trois phases :

Phase 1 : SFT (Ajustement fin supervisé) : C'est comme si l'élève faisait ses devoirs avec un corrigé. On lui montre de nombreux exemples de « Question + Page du manuel = Réponse correcte ».
** Phase 2 : DPO (Optimisation de préférence directe) :** C'est comme un club de débat. On montre à l'élève deux réponses différentes à la même question. Un enseignant dit : « Je préfère la Réponse A à la Réponse B ». L'élève apprend à imiter la réponse « appréciée ».
Phase 3 : RLVR (Apprentissage par renforcement avec récompenses vérifiables) : C'est comme un examen final où l'élève reçoit des points uniquement s'il obtient la réponse exactement juste. (L'article note que cette phase est très coûteuse à exécuter, ils ont donc principalement étudié les deux premières).

2. Les « raccourcis » appris lors de la Phase 1 (SFT)

Lors du premier camp d'entraînement (SFT), l'élève acquiert une habitude très spécifique et quelque peu paresseuse. Il commence à juger s'il doit faire confiance à la page du manuel en fonction de sa facilité de lecture, plutôt que de vérifier si l'information est réellement vraie.

Les chercheurs ont découvert que l'élève commence à favoriser :

Le texte long : Il se dit : « Si le texte est long, il doit être important. » (En réalité, ils préfèrent souvent les textes courts car ils sont plus faciles à digérer, mais l'article note une relation complexe ici ; généralement, ils préfèrent les textes faciles à traiter).
Les mots familiers : Si la page du manuel utilise exactement les mêmes mots que la question, l'élève pense : « Aha ! C'est la bonne page ! », même si le sens est erroné.
La fluidité : Si le texte est écrit avec une grammaire fluide et parfaite, l'élève lui fait confiance. Si le texte est maladroit ou contient des fautes de frappe, l'élève l'ignore, même si le texte maladroit contient les faits corrects.

La métaphore : Imaginez que l'élève soit un juge dans un concours. Au lieu de juger le contenu du discours, il juge la taille de la police et la fluidité de la voix. Si le discours est fort et clair, il vote « Oui ». S'il est faible ou hésitant, il vote « Non », peu importe la vérité.

3. La « correction » en Phase 2 (DPO)

Dans le deuxième camp (DPO), les chercheurs ont tenté de corriger ces mauvaises habitudes. Ils s'attendaient à ce que l'élève désapprenne les raccourcis et commence à lire le contenu attentivement.

Le rebondissement : Le résultat dépendait entièrement de ce que l'enseignant enseignait.

Si l'enseignant donnait à l'élève des exemples où les « bonnes » réponses se trouvaient être longues et fluides, et les « mauvaises » réponses courtes et maladroites, l'élève renforçait ses mauvaises habitudes. Il a appris que « Long et Fluide = Bon ».
Cependant, si l'enseignant équilibrait soigneusement les exemples — en s'assurant que les « bonnes » et les « mauvaises » réponses se ressemblaient (même longueur, même fluidité) — l'élève désapprenait les raccourcis. Il a cessé de se fier à l'apparence du texte pour se fier au contenu réel.

La métaphore : C'est comme un entraîneur enseignant à un athlète. Si l'entraîneur ne félicite que les athlètes qui portent des chaussures rouges, l'athlète pensera que les chaussures rouges le rendent plus rapide. Si l'entraîneur veut que l'athlète se concentre sur la technique de course, il doit féliciter les athlètes portant des chaussures tant rouges que bleues de manière égale. Si l'entraîneur est négligent, l'athlète continuera de se concentrer sur les chaussures au lieu de la course.

4. La grande conclusion

L'article conclut que la capacité d'un modèle à utiliser le contexte n'est pas un trait fixe ; elle est activement façonnée à chaque étape de l'entraînement.

Le SFT enseigne naturellement aux modèles à prendre des raccourcis basés sur l'aspect « facile » du texte (fluidité, chevauchement de mots).
Le DPO peut soit aggraver cela, soit le corriger, selon la façon dont les données d'entraînement sont organisées.

La leçon : Si vous voulez un modèle qui utilise de manière fiable l'information que vous lui donnez (et qui ne se laisse pas distraire par la beauté du texte), vous ne pouvez pas simplement injecter des données dans le processus d'entraînement. Vous devez méticuleusement organiser vos ensembles de données pour garantir que les exemples « bons » et « mauvais » sont équilibrés en termes de longueur, de fluidité et de choix de mots. Sinon, le modèle se contentera de juger le livre à sa couverture.

Résumé technique : Émergence de la sensibilité aux caractéristiques du contexte dans les grands modèles de langage

Problématique

Les grands modèles de langage (LLM) possèdent la capacité d'utiliser le contexte fourni pour répondre aux requêtes, un trait essentiel pour des applications telles que la génération augmentée par récupération (RAG) et l'utilisation d'outils. Cependant, cet usage est souvent fragile ; les modèles peuvent ignorer le contexte au profit de leurs connaissances paramétriques ou être distraits par des informations non pertinentes. Bien que des recherches antérieures aient établi des corrélations entre des caractéristiques de contexte spécifiques (ex. : longueur, fluidité, similitude) et l'utilisation du contexte lors de l'inférence, les mécanismes par lesquels les modèles acquièrent ces sensibilités durant l'entraînement restent inexplorés. Plus précisément, il n'est pas clair comment les étapes d'ajustement fin par instructions (IFT) façonnent la dépendance d'un modèle à ces caractéristiques.

Méthodologie

Les auteurs étudient l'évolution de la « sensibilité aux caractéristiques du contexte » — définie comme le degré auquel la valeur d'une caractéristique influence l'utilisation du contexte par un modèle — à travers trois étapes distinctes de l'IFT : le réglage fin supervisé (SFT), l'optimisation de préférence directe (DPO) et l'apprentissage par renforcement avec récompenses vérifiables (RLVR).

Configuration expérimentale

Modèles : L'étude évalue quatre modèles : Llama-3.1-8B, Llama-3.2-1B, OLMo-2-1B et OLMo-2-7B. Pour l'analyse étape par étape (suivi des changements au sein d'une même étape), Llama-3.2-1B est ajusté sur les mêmes jeux de données que ceux utilisés pour OLMo-2-1B.
Jeux de données : Trois jeux de données sont utilisés pour assurer la diversité des formats de tâches et des relations contexte-connaissance :
- ConflictQA et Context-Reliance : Tâches de QA (questions-réponses) ouvertes avec des contextes contrefactuels, garantissant que la précision reflète l'utilisation pure du contexte.
- DRUID : Une tâche de vérification de prétention reflétant des interactions réalistes entre contexte et connaissance.
Caractéristiques du contexte : Trois familles de caractéristiques sont extraites et mesurées :
1. Similitude : Similitude de Jaccard (chevauchement de jetons) et chevauchement requête-entité.
2. Fluidité : Score de facilité de lecture de Flesch et perplexité.
3. Longueur : Nombre brut de caractères pour le contexte et la requête.
Métrique d'évaluation : La sensibilité est quantifiée à l'aide de la courbe de l'aire sous le récepteur de la caractéristique opérationnelle (AUROC). Cela mesure la capacité d'une valeur spécifique de caractéristique à classer les exemples précis (où le modèle a correctement utilisé le contexte) au-dessus des exemples imprécis (où il ne l'a pas fait). Une AUROC > 0,5 indique qu'une valeur plus élevée de la caractéristique est corrélée à une utilisation correcte du contexte.

Résultats clés

1. Formation de la sensibilité durant le SFT

L'étude démontre que le SFT instaure systématiquement un ensemble spécifique de sensibilités dans tous les modèles et jeux de données. Pendant le SFT, les modèles développent une préférence marquée pour les contextes « faciles à comprendre » :

Similitude : L'AUROC pour la similitude de Jaccard entre le contexte et la requête augmente, indiquant que les modèles s'appuient davantage sur le chevauchement lexical.
Fluidité : L'AUROC pour la perplexité diminue (signifiant qu'une perplexité plus faible est corrélée à la précision), montrant que les modèles préfèrent les textes fluides et naturels.
Longueur : L'AUROC pour la longueur du contexte diminue, suggérant que les modèles favorisent les contextes courts, probablement parce qu'ils sont plus faciles à intégrer.

Crucialement, les auteurs notent que bien que ces sensibilités augmentent durant le SFT, elles ne se traduisent pas par une amélioration de la précision. Cela suggère que les modèles exploitent ces caractéristiques comme des raccourcis pour signaler l'utilisation du contexte plutôt que pour évaluer réellement la pertinence ou la véracité du contenu.

2. DPO et caractéristiques des jeux de données

L'impact du DPO n'est pas uniforme ; il dépend fortement des caractéristiques du jeu de données de préférence (la différence entre les réponses « choisies » et « rejetées »).

Résolution vs Renforcement : Dans certains cas (ex. : Llama-3.2-1B), le DPO résout les sensibilités apprises lors du SFT, les ramenant vers les niveaux pré-SFT.
Déséquilibre des données : Dans d'autres cas (ex. : Llama-3.1-8B), le DPO amplifie les sensibilités existantes. Les auteurs attribuent cela aux différences statistiques ( $\Delta$ ) dans les caractéristiques lexicales des réponses choisies par rapport aux réponses rejetées dans les données d'entraînement. Si les réponses choisies dans le jeu de données de préférence diffèrent significativement des réponses rejetées en termes de longueur ou de fluidité, le DPO renforce le biais du modèle envers ces caractéristiques spécifiques.
Dépendance à la tâche : L'effet du DPO semble moins constant sur la tâche de vérification de prétention DRUID par rapport aux tâches de QA ouvertes.

3. Tendances du RLVR

Bien que le RLVR n'ait pas été analysé étape par étape en raison des coûts de calcul, les résultats indiquent que le RLVR préserve largement la direction des effets établis par le DPO, ce qui est cohérent avec leurs objectifs partagés de régularisation KL.

Signification et contributions

La principale contribution de l'article est la démonstration que l'utilisation du contexte n'est pas une propriété statique du modèle mais qu'elle est activement remodelée à chaque étape de l'IFT.

Le SFT comme apprenant de raccourcis : Les auteurs révèlent que le SFT enseigne aux modèles à exploiter des caractéristiques superficielles (fluidité, longueur, chevauchement) comme des substituts de la pertinence, plutôt que de favoriser une évaluation robuste du contexte.
Impératif de curation des données : Les conclusions soulignent que la conception du jeu de données de préférence en DPO est critique. Pour contrer les biais formés lors du SFT et assurer une utilisation robuste du contexte, les réponses choisies et rejetées dans le jeu de données de préférence doivent être soigneusement sélectionnées afin de partager des caractéristiques de contexte similaires. Les déséquilibres dans ces jeux de données peuvent involontairement renforcer des comportements non robustes.

Limites

Les auteurs reconnaissent que l'étude est limitée à deux familles de modèles (Llama et OLMo) avec deux échelles chacune. Bien que appropriée pour analyser la dynamique d'entraînement, une couverture plus large à travers différentes architectures reste un domaine ouvert pour de futurs travaux. De plus, l'étude se concentre sur trois familles de caractéristiques bien fondées (similitude, fluidité, longueur), bien que d'autres facteurs influençant l'utilisation du contexte puissent exister.