Résumé Technique : Effondrement de la Représentation lors du Post-Entraînement Séquentiel des Grands Modèles de Langage

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) contemporains sont rarement adaptés par une seule passe de réglage d'instructions (instruction-tuning). Au contraire, ils subissent des chaînes séquentielles d'étapes de post-entraînement, incluant le réglage d'instructions large, l'optimisation de préférence, l'alignement de sécurité, la spécialisation de domaine (mathématiques/code) et le réglage de la chaîne de pensée longue (Long CoT). Alors que les pratiques d'évaluation actuelles se concentrent sur les résultats comportementaux (ex: scores de benchmarks, taux de refus), cet article soutient qu'une telle vision est incomplète.

Le problème central étudié est l'effondrement de la représentation : l'hypothèse selon laquelle le post-entraînement séquentiel comprime progressivement l'espace des caractéristiques internes du modèle en des variétés (manifolds) de bas rang, anisotropes et homogènes. Les auteurs postulent que si des étapes individuelles peuvent améliorer la performance sur des tâches spécifiques, une concentration excessive des représentations peut dégrader la « plasticité » du modèle, rendant sa future adaptation à de nouveaux domaines difficile. Cet effondrement se caractérise par :

• La perte de rang effectif de la covariance des états cachés.
• L'alignement des échantillons sur quelques directions dominantes (anisotropie).
• Une réduction de la séparabilité entre les domaines et les types de tokens.
• Des logits surconfiants et une calibration réduite.
• La réutilisation des mêmes sous-espaces de bas rang pour les mises à jour d'adaptateurs (ex: LoRA) à travers différentes étapes.

L'article présente cela non pas comme une perte totale de capacité, mais comme un « mode de défaillance silencieux » où un modèle devient meilleur pour sa tâche cible la plus récente, mais moins capable d'apprendre des tâches ultérieures en raison d'un rétrécissement géométrique.

2. Méthodologie

Configuration Expérimentale

L'étude utilise un benchmark de post-entraînement séquentiel contrôlé utilisant des modèles à poids ouverts de petite et moyenne taille (Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B, et un contrôle d'échelle à 7B). Les expériences utilisent LoRA (rang 16, alpha 32) comme principal mécanisme d'adaptation, avec un réglage fin complet (full fine-tuning) sur les modèles de 1B pour vérifier que les effets ne sont pas des artefacts de l'adaptation de bas rang elle-même.

Le pipeline d'entraînement implique des séquences distinctes d'étapes, telles que :

• Chaîne de Spécialisation : SFT Général $\to$ SFT Math $\to$ SFT Code $\to$ SFT Sécurité/Refus.
• Raisonnement et Préférence : SFT Général $\to$ SFT Long-CoT $\to$ Optimisation de Préférence de type DPO.
• Sécurité d'Abord : SFT Sécurité/Refus $\to$ SFT Général $\to$ Spécialisation de Domaine.

Suite de Mesures

Un corpus de sondage fixe ($X_{probe}$) de 12 000 textes de paires prompt-réponse (équilibrés entre les domaines) est appliqué à chaque checkpoint pour garantir que les changements géométriques ne sont pas confondus par des changements de distribution d'évaluation. L'article définit une suite de mesures complète couvrant :

1. Métriques Spectrales :
   • Rang Effectif & Ratio de Participation : Mesure la concentration de la covariance des états cachés.
   • Variance Top-k : Visualise la concentration dans les dimensions dominantes.
2. Métriques Géométriques :
   • Anisotropie : Similitude cosinus moyenne par paire (centrée et non centrée).
   • Dérive CKA : Alignement de noyau centré (Centered Kernel Alignment) comparant les checkpoints au modèle de base et aux étapes précédentes.
   • Séparabilité de Domaine : Scores de silhouette et ratios de covariance pour la séparation des domaines.
3. Dynamique des Tokens :
   • Analyse du rang et de la diversité à travers des segments spécifiques : prompts, début de réponses, fin de réponses, segments CoT et segments de refus.
4. Métriques Fonctionnelles :
   • Espace des Logits : Entropie, taille du support du vocabulaire, marges des deux meilleurs (top-two), et Erreur de Calibration Attendue (ECE).
5. Métriques de Mise à Jour :
   • Chevauchement LoRA : Chevauchement de l'angle principal entre les bases de vecteurs singuliers des mises à jour LoRA à travers différentes étapes.

Stratégie d'Évaluation

L'évaluation est basée sur la trajectoire plutôt que sur le point final. Après chaque étape, le modèle est évalué sur :

• Performance Cible : Gain immédiat sur le domaine entraîné.
• Rétention/OOD : Performance sur des tâches maintenues et des données hors distribution (Out-Of-Distribution).
• Apprentissage Futur : Un test critique où chaque checkpoint subit une adaptation à budget fixe à un nouveau domaine de tâche non vu. L'efficacité de l'échantillonnage et le score final de cette adaptation future servent de proxy pour la plasticité.

3. Résultats Clés

Résultats Empiriques

1. Le Post-Entraînement Séquentiel est une Trajectoire : L'effondrement n'est pas uniforme ; il se concentre dans des couches spécifiques (souvent les blocs transformeurs intermédiaires et tardifs) et varie selon l'étape. Par exemple, le réglage mathématique réduit le rang dans des bandes spécifiques, tandis que le réglage de sécurité concentre les représentations de fin de réponse.
2. Signatures d'Effondrement Dépendantes de l'Objectif :
   • Réglage de Sécurité/Refus : Produit des directions de modèles de réponse fortes et des logits plus tranchants.
   • Réglage Long-CoT : Crée une direction de format de raisonnement affectant les jetons générés tardivement.
   • Optimisation de Préférence (DPO) : Amplifie l'anisotropie en augmentant les marges de préférence relatives.
   • Math/Code : Plus nuancé ; ils spécialisent certaines couches tout en préservant la séparabilité des domaines ailleurs.
3. L'Effondrement Prédit la Plasticité Future : Il existe une corrélation négative directe entre la santé de la représentation (rang effectif, anisotropie) et la performance de l'apprentissage futur. À mesure que le rang effectif diminue et que l'anisotropie augmente au cours de la séquence, l'efficacité de l'échantillonnage et le score final de l'adaptation à une nouvelle tâche se dégradent, même si la performance de la tâche cible immédiate s'améliore.
4. Dépendance au Chemin (Path Dependence) : L'ordre des étapes compte. Par exemple, un réglage de sécurité suivi d'une instruction générale produit des métriques d'effondrement différentes d'une instruction générale suivie d'une sécurité.

Stratégies de Mitigation

L'article teste des interventions légères pour préserver la capacité d'apprentissage futur sans sacrifier les gains de la tâche cible :

• Rejeu de Domaines Mixtes (Mixed-Domain Replay) : Mélange d'une petite fraction (5–20 %) de données de domaine général dans les étapes spécialisées.
• Rafraîchissement de Caractéristiques (Feature Refresh) : Insertion de courtes étapes d'instruction générale après les étapes à fort effondrement.
• Régularisation de la Diversité de Représentation : Pénalisation de l'alignement des états cachés au niveau du batch ($L_{cos}$).
• Décorrélation de la Mise à Jour LoRA : Pénalisation du chevauchement entre les bases de mise à jour LoRA actuelles et antérieures ($L_{decorr}$).

Les résultats indiquent que ces méthodes peuvent améliorer la frontière de Pareto, permettant une meilleure adaptation future tout en maintenant la performance cible, bien qu'elles n'éliminent pas entièrement l'effondrement.

4. Contributions

L'article apporte trois contributions principales :

1. Un Protocole de Mesure par Couche : Une suite de diagnostics (spectraux, géométriques, par token, fonctionnels et de l'espace de mise à jour) spécifiquement conçue pour détecter l'effondrement de la représentation lors du post-entraînement séquentiel.
2. Un Benchmark Séquentiel Contrôlé : Une matrice expérimentale standardisée couvrant l'instruction générale, les mathématiques, le code, la sécurité, le CoT et les données de préférence avec des budgets de tokens correspondants et un corpus de sondage fixe.
3. Validation Prédictive : La preuve que les métriques d'effondrement (mesurées avant l'adaptation future) prédisent la difficulté d'apprendre de nouvelles tâches, et que les interventions préservant la diversité peuvent atténuer cette perte de plasticité.

5. Signification et Revendications

L'article affirme que l'effondrement de la représentation n'est pas seulement une curiosité géométrique mais un diagnostic pratique pour la capacité d'apprentissage futur. Les auteurs soutiennent que l'accent actuel mis sur les benchmarks comportementaux occulte un mode de défaillance critique : un modèle peut devenir comportementalement compétent sur une tâche spécifique tout en devenant géométriquement fragile pour une adaptation future.

La signification réside dans le recadrage de l'alignement et de la spécialisation comme des problèmes d'apprentissage continu. La suite de mesures proposée permet aux praticiens de distinguer la spécialisation bénéfique de l'étroitesse fragile. L'article conclut que, bien que le post-entraînement ne doive pas maximiser la diversité à tout prix (car une certaine spécialisation est nécessaire), préserver suffisamment de degrés de liberté représentationnels est essentiel pour maintenir la capacité du modèle à s'adapter à des exigences futures et imprévues.

Limites notées par les auteurs :

• Les expériences sont menées sur des modèles de 1B–7B ; le comportement à l'échelle des modèles de pointe (frontier-scale) peut différer.
• DPO est utilisé comme un proxy pour le RLHF/RLAIF de production.
• Les mesures sont sensibles au choix du corpus de sondage et aux segments de tokens, bien que l'étude contrôle cela via de multiples types de sondage.
• Les affirmations causales sont soutenues par des preuves d'intervention (mitigations) plutôt que par une dérivation purement théorique.