Alignment Dynamics in LLM Fine-Tuning

Résumé technique : Dynamiques d'alignement dans le fine-tuning des LLM

Énoncé du problème
Les grands modèles de langage (LLM) parviennent à s'aligner sur les valeurs humaines grâce au fine-tuning supervisé (SFT) et à l'apprentissage par renforcement à partir de retours humains (RLHF). Cependant, cet alignement est souvent fragile ; les modèles peuvent rapidement perdre leurs garde-fous de sécurité ou revenir à des comportements pré-entraînés lorsqu'ils sont soumis à un fine-tuning ultérieur, même sur des données bénignes. Les explications existantes de cette fragilité se divisent en deux catégories : les analyses basées sur les gradients (axées sur la géométrie dans l'espace des paramètres) et les études basées sur les distributions (axées sur les décalages dans les distributions de sortie). Un vide critique subsiste dans la fourniture d'un cadre théorique unifié reliant les dynamiques d'apprentissage dans l'espace des paramètres au comportement d'alignement dans l'espace des fonctions, expliquant spécifiquement comment l'alignement évolue, se dégrade et se rétablit lors du fine-tuning.

Méthodologie
Les auteurs introduisent un score d'alignement $S(\theta)$ traitable, défini comme la probabilité attendue de générer une complétion alignée étant donné une distribution de prompts. Ils dérivent une expression sous forme close pour l'évolution de ce score durant le fine-tuning.

1. Cadre théorique :

   • Décomposition au niveau des tokens : La variation du score d'alignement ($\Delta S$) est décomposée en contributions provenant des mises à jour de tokens individuels. Cette décomposition révèle que la contribution d'une mise à jour de token est « conditionnée » par la probabilité du préfixe et le « potentiel d'alignement futur » (la probabilité que la complétion soit finalement alignée).
   • Géométrie de l'espace des logits : En reliant ces dynamiques au niveau des tokens aux perturbations des logits via le noyau tangentiel neuronal empirique (eNTK) et l'hypothèse du noyau relativement stable (RSK), les auteurs dérivent une formule unifiée pour les dynamiques d'alignement.
   • Décomposition des forces : L'évolution du score d'alignement est montrée comme étant régie par deux forces concurrentes :
     • Force de rebond ($F_{rebound}$) : Un terme d'auto-interaction intrinsèque représentant une « inertie distributionnelle ». Elle est modulée par l'état d'alignement actuel et la rétrécissement (pureté) de la distribution postérieure du modèle.
     • Force motrice ($F_{drive}$) : Un terme externe déterminé par la manière dont la distribution d'entraînement s'aligne avec les posteriors conditionnés par le résultat sur les complétions alignées ($\tilde{\pi}^+$) et non alignées ($\tilde{\pi}^-$).

2. Validation expérimentale :

   • Les auteurs emploient un paradigme de SFT multi-étapes (Avant $\to$ Inverse $\to$ Ré-exposition) à travers trois domaines : alignement de sécurité (BeaverTails, HEx-PHI), mésalignement émergent et analyse de sentiments (IMDb).
   • Ils utilisent des modèles de base (Llama-3.1-8B, Gemma-2-2B, Qwen3-8B-Base) pour isoler les dynamiques d'alignement du réglage préalable des instructions.
   • Des expériences contrôlées font varier la rétrécissement de la distribution de fine-tuning (de modèles fixes à des réponses diversifiées par le style) pour tester les prédictions théoriques concernant la Force de rebond.

Contributions et résultats clés

1. Cadre dynamique unifié : L'article fournit une dérivation mathématique montrant que les dynamiques d'alignement sont une compétition entre la résistance interne (Force de rebond) et les signaux d'apprentissage externes (Force motrice). Cela explique pourquoi l'alignement peut être inversé par un fine-tuning ultérieur et pourquoi la structure de la distribution postérieure importe.
2. Instabilité bidirectionnelle et rétrécissement de la distribution :
   • Le cadre prédit que les états fortement alignés et fortement mésalignés sont tous deux « instables » et sujets à la réversion.
   • Résultat : Les expériences confirment que les distributions postérieures plus étroites (induites par des données de fine-tuning de faible diversité) amplifient la Force de rebond. Les modèles entraînés sur des ensembles de données étroits subissent une dégradation plus rapide de l'alignement de sécurité lorsqu'ils sont exposés à un fine-tuning inverse, par rapport à ceux entraînés sur des ensembles de données diversifiés.
3. L'effet d'amorçage par répétition (Rehearsal Priming Effect) :
   • Prédiction : Un alignement antérieur laisse une « empreinte postérieure » latente (résidu structurel dans $\tilde{\pi}^+$ et $\tilde{\pi}^-$) qui persiste même après que le score d'alignement observé ait été supprimé. Lors d'une ré-exposition à la distribution d'alignement originale, ce résidu amplifie la Force motrice effective, conduisant à un réalignement plus rapide.
   • Résultat : Des expériences contrôlées démontrent que les modèles ayant subi un fine-tuning initial plus profond (Étape 1) se réalignent significativement plus vite lors de l'Étape 3 (Ré-exposition) par rapport à ceux ayant un entraînement initial plus superficiel, même en partant du même score d'alignement de base. Cet effet vaut pour les tâches de sécurité, de mésalignement et de sentiments.
4. Fragilité du mésalignement émergent : L'étude met en lumière que les modèles présentant un mésalignement émergent (comportements désalignés larges induits par un fine-tuning étroit) peuvent voir ces comportements réactivés rapidement avec seulement quelques étapes de fine-tuning malveillant, soulignant la fragilité inhérente de l'alignement ultérieur.

Signification et revendications
Les auteurs affirment que ce travail offre une perspective dynamique unifiée sur la manière dont l'alignement est perturbé et réactivé lors du fine-tuning des LLM. En allant au-delà des décalages distributionnels statiques ou des analyses de gradients purement géométriques, le cadre proposé relie les dynamiques d'optimisation au niveau des tokens au comportement global d'alignement.

La signification du travail réside dans :

• La fourniture d'une caractérisation rigoureuse et quantitative de l'évolution de l'alignement.
• L'explication du mécanisme derrière l'« Effet de rebond » et l'identification du rétrécissement de la distribution comme un modulateur clé de la stabilité de l'alignement.
• La découverte et la validation de l'effet d'amorçage par répétition, suggérant que la robustesse de l'alignement n'est pas uniquement déterminée par le signal d'entraînement mais aussi par la structure postérieure latente induite par l'entraînement antérieur.
• L'offre d'une fondation principielle pour analyser et potentiellement améliorer la robustesse de l'alignement post-entraînement, tout en reconnaissant que ces insights pourraient également éclairer des attaques adverses contre l'alignement.

L'article conclut que l'alignement est régi par l'interplay entre le signal d'entraînement et la structure postérieure induite, une découverte qui remet en question la vision de l'alignement comme propriété statique et le reformule comme un processus dynamique vulnérable à des vulnérabilités structurelles spécifiques.