🤖 machine learning

When Context Returns: Toward Robust Internalization in On-Policy Distillation

Cet article identifie et traite la « dégradation induite par le contexte », un phénomène où la réintroduction d'un contexte privilégié dans un modèle étudiant distillé nuit à ses performances, en proposant un régularisateur de cohérence léger qui assure une internalisation robuste et une supprimabilité du contexte à travers divers domaines.

Auteurs originaux : Xun Wang, Ruishuo Chen, Zhuoran Li, Yu Chen, Longbo Huang

Publié 2026-06-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xun Wang, Ruishuo Chen, Zhuoran Li, Yu Chen, Longbo Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formez un étudiant pour qu'il devienne un chef étoilé.

L'Ancienne Méthode (Le Problème) :
Habituellement, vous enseignez à l'étudiant en le faisant regarder cuisiner pendant que vous lisez un « Livre de Recettes Secret » (le contexte privilégié). Ce livre vous indique exactement comment manipuler les ingrédients délicats ou quel profil de saveur viser. L'étudiant regarde, apprend, et finit par mémoriser les plats si parfaitement qu'il peut les cuisiner sans le livre.

Cependant, les chercheurs de cet article ont découvert un bug étrange. Une fois que l'étudiant a mémorisé les recettes, si vous lui redonnez le « Livre de Recettes Secret » pendant qu'il cuisine, il est soudainement confus. Il commence à trop réfléchir, commet des erreurs qu'il n'aurait pas faites s'il avait simplement cuisiné de mémoire, et finit par écrire une fiche de recette beaucoup plus longue et bavarde que nécessaire.

Les chercheurs appellent cela la « Dégradation Induite par le Contexte ». C'est comme un étudiant qui a tellement bien mémorisé un manuel que, si on le laisse ouvrir le livre pendant un examen, il panique et oublie tout parce que l'information est désormais redondante et déroutante.

La Nouvelle Solution (NCA) :
Les auteurs proposent une solution simple appelée No-Context Anchoring (NCA) (Ancrage Sans Contexte).

Voyez cela comme ceci : Pendant l'entraînement, le professeur dit à l'étudiant : « Cuisine ce plat sans le livre d'abord. Note exactement ce que tu fais. C'est ton Ancre ».

Ensuite, le professeur dit : « Maintenant, cuisine le même plat avec le livre ». Mais voici la règle : ton résultat avec le livre doit être exactement le même que ton résultat sans le livre.

Si l'étudiant commence à dériver ou à être confus par le livre, le professeur le ramène doucement vers l'« Ancre » (la version sans le livre). Le professeur dit essentiellement : « Le livre fait maintenant partie de ton cerveau ; tu n'as pas besoin de le regarder pour savoir quoi faire. Si tu regardes le livre et que tu changes d'avis, c'est que tu te trompes. »

Qu'est-ce qui s'est passé quand ils ont essayé ?
Les chercheurs ont testé cela sur 12 scénarios différents, allant de la réponse à des questions médicales au jeu d'aventure textuel. Voici ce qu'ils ont découvert :

Stopper la panique : Dans presque tous les cas, la « panique » (dégradation) s'est arrêtée. Lorsque le contexte (le livre) était réintroduit, les modèles ne devenaient pas moins performants ; ils restaient stables.
Meilleure mémoire : Étonnamment, forcer le modèle à ignorer le livre pendant l'entraînement l'a rendu meilleur aussi pour cuisiner sans le livre. Il semble qu'en empêchant le modèle d'être distrait par le livre, il a appris la tâche fondamentale plus profondément.
Réponses plus courtes : Auparavant, lorsque les modèles voyaient le livre, ils avaient tendance à écrire des réponses longues et confuses. Avec cette nouvelle méthode, ils ont cessé d'enfler leurs réponses et sont allés droit au but.
Le test du « Cerveau » : Les chercheurs ont regardé à l'intérieur du « cerveau » du modèle (ses couches cachées). Ils ont découvert qu'avec la nouvelle méthode, l'état interne du cerveau était presque identique, que le livre soit présent ou non. L'information avait été véritablement absorbée dans la structure du modèle, rendant le livre externe inutile.

Les Trois Types d'Étudiants :
L'article a également remarqué trois types de réactions lors de la réintroduction du livre :

Type A (Le Confus) : L'étudiant était excellent sans le livre, mais le livre le rendait moins bon. (C'était le problème le plus courant, et la nouvelle méthode l'a corrigé).
Type B (L'Apprenant) : L'étudiant avait encore besoin du livre pour réussir, ce qui signifie qu'il n'avait pas encore pleinement appris la leçon.
Type C (Le Maître) : L'étudiant était déjà si bon que le livre n'avait aucune importance de toute façon.

L'Essentiel :
Cet article montre que simplement apprendre à un modèle à copier un professeur qui utilise une « feuille de triche » ne suffit pas. Pour rendre le modèle vraiment robuste, il faut lui apprendre que la feuille de triche fait désormais partie de son propre esprit. Si l'on réintroduit la feuille de triche plus tard, le comportement du modèle ne devrait pas changer. La nouvelle méthode est une règle légère et facile à ajouter qui garantit que le modèle reste calme et cohérent, que la « feuille de triche » soit là ou non.

Résumé Technique : Vers une Internalisation Robuste dans la Distillation On-Policy

1. Énoncé du Problème

Les avancées récentes de la distillation on-policy (OPD) ont permis aux modèles étudiants d'internaliser un contexte privilégié (ex: prompts système, indices de tâche ou descriptions d'état de jeu) dans leurs paramètres, leur permettant de bien performer sans ce contexte lors de l'inférence. Cependant, cet article identifie un phénomène jusqu'alors inexploré nommé dégradation induite par le contexte.

Contrairement à l'intuition selon laquelle la connaissance internalisée devrait rendre le contexte redondant (une opération idempotente), les auteurs observent que la réintroduction du contexte privilégié à un étudiant distillé dégrade souvent ses performances et gonfle la longueur des réponses, même sur des instances que le modèle résolvait correctement sans contexte. Cela se produit car l'OPD standard optimise exclusivement la fidélité privilégiée (correspondre à la sortie du professeur conditionnée par le contexte) mais n'impose aucune contrainte sur le comportement de l'étudiant lorsque le contexte est présent. Par conséquent, l'étudiant ne parvient pas à atteindre la supprimabilité du contexte (context removability) : la propriété où la sortie du modèle reste stable, que le contexte privilégié soit fourni ou non.

Les auteurs catégorisent les interactions post-distillation en trois régimes :

Régime A : L'étudiant performe bien sans contexte, mais la réintroduction du contexte provoque des chutes d'exactitude significatives et des taux de préjudice ("harm rates") élevés (inversion de prédictions correctes en incorrectes). C'est le régime le plus répandu dans leurs expériences.
Régime B : Le contexte agit encore comme un échafaudage utile, indiquant une internalisation incomplète.
Régime C : L'étudiant a réussi à internaliser le contexte, et la performance est stable avec ou sans celui-ci.

2. Méthodologie : Ancrage Sans Contexte (NCA)

Pour remédier à la dégradation induite par le contexte, les auteurs proposent l'Ancrage Sans Contexte (NCA), un régularisateur de cohérence léger. L'idée centrale est d'imposer que la sortie de l'étudiant conditionnée par le contexte ( $q_c$ ) reste cohérente avec sa sortie sans contexte ( $q_x$ ), en traitant cette dernière comme un ancre.

Fonction Objective

L'OPD standard minimise la divergence KL entre la sortie sans contexte de l'étudiant et la distribution conditionnée par le contexte du professeur :
$\mathcal{L}_{OPD} = \mathbb{E}_{x \sim D} [\text{KL}(q_x \parallel f(y \mid x, c))]$

Le NCA augmente cela avec un terme de cohérence :
$\mathcal{L} = \mathcal{L}_{OPD} + \beta \cdot \mathcal{L}_{NCA}$
où $\mathcal{L}_{NCA}$ est défini par :
$\mathcal{L}_{NCA} \triangleq \text{KL}(\text{sg}[g_\theta(\cdot \mid x)] \parallel g_\theta(\cdot \mid x, c))$

Choix de Conception Clés

Ancrage par Stop-Gradient : La vue sans contexte $q_x$ passe par un opérateur de stop-gradient (sg). Cela garantit que $q_x$ reçoit des gradients uniquement de la perte OPD primaire, tandis que $q_c$ reçoit des gradients uniquement de la perte NCA. Cela élimine la compétition de gradient entre les deux objectifs.
Divergence KL Directe : Les auteurs choisissent $\text{KL}(q_x \parallel q_c)$ (KL directe) plutôt que la KL inverse. Ce choix est "couvrant de mode" (mode-covering), empêchant $q_c$ de faire s'effondrer les modes de $q_x$ . De plus, l'espérance est sous $q_x$ , permettant la réutilisation des échantillons on-policy générés pour l'OPD sans nécessiter un nouveau passage (rollout) séparé de $q_c$ .
Efficacité Computationnelle : Le NCA nécessite seulement un passage direct supplémentaire par étape d'entraînement (pour calculer $q_c$ ). Les logits de $q_x$ sont détachés du graphe de calcul, et les séquences on-policy sont réutilisées, rendant le surcoût négligeable.

3. Configuration Expérimentale

Les auteurs ont évalué le NCA à travers 12 configurations couvrant :

Domaines : QA de prompt système (MedMCQA, jeux de données de sécurité) et jeux textuels (Sokoban, FrozenLake).
Modèles : Divers modèles Llama-3 et Qwen (allant de 1,7B à 8B de paramètres), incluant des scénarios d'auto-distillation et de distillation inter-modèles.
Métriques : Exactitude/Taux de victoire avec et sans contexte, Taux de préjudice (probabilité que le contexte inverse une réponse correcte), Taux "Both-Correct/Both-Won", et changements relatifs de longueur de réponse.

4. Résultats Clés

À travers les 12 réglages, le NCA a démontré les effets suivants :

Atténuation de la Dégradation Induite par le Contexte : Le NCA a réduit le préjudice induit par le contexte dans 11 cas sur 12. Dans les réglages du Régime A (où la dégradation était sévère), le NCA a considérablement réduit la chute d'exactitude lors de la réintroduction du contexte.
Amélioration de la Stabilité : Le NCA a systématiquement augmenté les taux "BothCorrect" ou "BothWon", indiquant que le modèle maintient un comportement correct sous les deux vues.
Élimination de l'Inflation de la Longueur de Réponse : L'OPD standard provoque souvent une génération de réponses nettement plus longues lorsque le contexte est réintroduit (jusqu'à +39,5 % d'augmentation de longueur). Le NCA a efficacement éliminé cette inflation dans la plupart des réglages, ramenant souvent le changement de longueur proche de zéro.
Amélioration de la Performance Sans Contexte : Dans 7 cas sur 12, le NCA a amélioré l'objectif d'entraînement primaire (exactitude sans contexte) de 0,6 à 3,6 points de pourcentage. Les auteurs attribuent cela au fait que la contrainte de cohérence agit comme un régulariseur empêchant les mises à jour de paramètres d'accommoder des comportements conflictuels entre les vues.
Cas Limites : Dans un réglage du Régime B (FrozenLake, inter-modèle), le NCA a légèrement augmenté le préjudice, suggérant que lorsque le contexte porte encore une information unique et non internalisée, forcer une stricte supprimabilité peut sacrifier une partie de la performance conditionnée par le contexte au profit de la stabilité.

5. Analyse Mécaniste

L'article fournit une étude de cas mécaniste sur la tâche Sokoban pour expliquer comment le NCA atteint la supprimabilité du contexte :

Niveau de Représentation : L'analyse des états cachés a révélé que si l'OPD standard réduisait la divergence entre les vues avec et sans contexte, un écart notable subsistait dans les couches moyennes et tardives. Le NCA, cependant, a maintenu une similitude cosinus quasi parfaite ( $\ge 0,997$ ) à travers toutes les couches, confirmant que la supprimabilité du contexte est atteinte au niveau de la représentation.
Alignement des Gradients : Dans l'OPD standard, les gradients de l'objectif de distillation et de la vue conditionnée par le contexte étaient presque orthogonaux. Le NCA introduit une nouvelle direction de gradient qui équilibre activement les forces de l'exploitation du contexte pour la distillation et de l'invariance à celui-ci.
Mises à Jour de Paramètres : L'OPD et le NCA concentrent les mises à jour de paramètres dans les couches peu profondes (particulièrement $k\_proj$ et $q\_proj$ ). Cependant, les mises à jour spécifiques pilotées par le NCA sont distinctes de celles de l'OPD, suggérant que la supprimabilité du contexte est principalement obtenue via des modifications des représentations de connaissances des couches peu profondes que l'OPD seul ne produit pas.

6. Signification et Revendications

Les auteurs affirment que leur travail déplace le paradigme d'évaluation pour la distillation de contexte privilégié. Ils soutiennent qu'une internalisation robuste nécessite non seulement de correspondre au comportement du professeur (fidélité privilégiée) mais aussi de garantir la supprimabilité du contexte.

Nouveauté : C'est la première étude identifiant et traitant le phénomène où la réintroduction d'un contexte internalisé dégrade la performance du modèle.
Praticité : La méthode proposée (NCA) est simple, ne nécessitant qu'un seul passage direct et un régularisateur de cohérence standard, tout en résolvant efficacement le problème de dégradation sans sacrifier les objectifs primaires de distillation.
Généralisabilité : La méthode améliore les performances à travers diverses familles de modèles, tâches et réglages de distillation (auto et inter-modèles).

L'article conclut en exhortant la communauté à évaluer les modèles distillés non seulement par leur performance sans contexte, mais aussi par leur robustesse à la réintroduction du contexte, afin de s'assurer que la connaissance internalisée ne devienne pas un handicap lorsqu'elle est accidentellement ou intentionnellement fournie.