A Gravitational Interpretation of Fine-Tuning Reversion

Résumé Technique : Une Interprétation Gravitationnelle de la Réversion de l'Ajustement Fin

Énoncé du Problème
L'article traite du phénomène où l'ajustement fin (fine-tuning) de grands modèles de langage (LLM) sur des données bénignes et inoffensives peut partiellement annuler les comportements de sécurité acquis lors des phases d'entraînement antérieures. Cette « érosion de la sécurité » se manifeste par la réémergence de capacités nuisibles, le transfert de traits latents via une supervision sans rapport, et une fragilité dans les contextes génératifs dépassant le cadre standard du texte-vers-texte. Alors que la littérature existante établit que l'alignement de sécurité occupe un sous-espace de faible rang et de faible dimension, et que les modèles ne restent sûrs que dans des bassins locaux limités, il manque une explication mécaniste unifiée pour expliquer pourquoi les mises à jour bénignes post-alignement produisent si fréquemment ces effets de réversion dans différents contextes. Les auteurs s'opposent à la vision selon laquelle il s'agirait simplement de nouveaux comportements acquis entrant en conflit avec les anciens, proposant plutôt qu'ils représentent un retour vers des régions comportementales antérieures dominantes.

Méthodologie
Les auteurs proposent une « interprétation gravitationnelle » de la réversion de l'ajustement fin, fondée sur l'asymétrie géométrique de l'historique d'entraînement. Note : Le terme « gravitationnel » est utilisé ici comme une métaphore géométrique et d'optimisation décrivant un biais induit par l'historique, et non comme une loi physique dynamique littérale. L'hypothèse centrale est que les phases d'entraînement initiales massives (pré-entraînement, ajustement utile large) créent des variétés comportementales dominantes, tandis que les phases ultérieures d'alignement ou de spécialisation agissent comme des déplacements superficiels de ces variétés. L'ajustement fin bénin subséquent est supposé hériter d'une « composante de réversion » persistante pointant vers la région dominante antérieure.

Pour opérationnaliser cela, l'article définit des objets spécifiques dans l'espace d'activation :

1. Direction de Réversion Définie par Témoin ($v_{rev}$) : Au lieu d'observer directement la variété latente, les auteurs construisent des « témoins exclusivement utiles » ($\theta_H$). Ce sont des points de contrôle dérivés du modèle de base via de courtes phases d'ajustement fin uniquement utiles. Le vecteur $v_{rev}$ est défini comme le déplacement dans l'espace d'activation du modèle initial aligné sur la sécurité ($\theta_S$) vers un témoin utile ($\theta_H$).
2. Décomposition de Trajectoire : Les auteurs supposent que le gradient d'un objectif bénin se décompose en une composante de tâche ($g_{task}$) et une composante de réversion ($g_{rev}$) alignée avec $v_{rev}$.
3. Configuration Expérimentale :
   • Modèles : Les expériences principales utilisent Llama-3.1-8B ; les tests de support utilisent Llama-3.2-3B et Qwen2.5-3B.
   • Sondes : Un ensemble fixe de 16 prompts AdvBench sert de famille de sondes pour mesurer les déplacements dans l'espace d'activation.
   • Ajustement fin : L'ajustement fin bénin est effectué sur Alpaca (instructions), HumanEvalPack (code) et GSM8K (mathématiques) en utilisant à la fois LoRA et l'ajustement fin complet (full fine-tuning).
   • Intervention : Les auteurs introduisent une perte auxiliaire lors de l'ajustement fin bénin pour bloquer ou amplifier sélectivement le mouvement le long de $v_{rev}$, testant ainsi la pertinence causale de cette direction.

Comment Ils L'ont Évalué

1. Émergence Directionnelle : Dans le cadre principal de 8B, l'alignement entre la trajectoire d'ajustement fin et $v_{rev}$ augmente rapidement. La similitude cosinus passe de $0,429 \pm 0,052$ après la première mise à jour à $0,647 \pm 0,021$ à l'étape 20. Cet alignement est statistiquement significatif, dépassant le $p_{99}$ d'une nulle isotrope de l'espace d'activation dans chaque paire de pas de course observée.
2. Stabilité et Convergence : La direction $v_{rev}$ est stable à travers différentes constructions de témoins exclusivement utiles (LoRA et ajustement fin complet avec plusieurs graines/seeds). De plus, des tâches bénignes distinctes (tâches bénignes distinctes (par exemple, code vs mathématiques) qui induisent des mises à jour de poids presque orthogonales convergent vers des décalages hautement alignés dans l'espace d'activation le long de l'axe $v_{rev}$ (similitude cosinus moyenne par paire $\approx 0,82$).
3. Couplage Comportemental : Dans les exécutions de référence, la croissance de l'alignement avec $v_{rev}$ co-évolue avec la dérive dangereuse. L'alignement géométrique prédit la dégradation en aval avec une corrélation de Spearman de $r = 0,877$. Par exemple, l'ajustement fin complet sur Alpaca conduit à un taux de nocivité de $19,0\% \pm 4,0\%$ à l'étape 100, tandis que les mises à jour LoRA montrent une variance dépendante de la tâche.
4. Intervention Causale : Bloquer sélectivement le mouvement le long de $v_{rev}$ pendant l'ajustement fin bénin modifie de manière significative les résultats. Dans le cadre 8B, bloquer $v_{rev}$ réduit la nocivité de $19,0\% \pm 4,0\%$ (référence) à $8,5\% \pm 1,5\%$ à l'étape 100, tout en maintenant la performance de la tâche (la perplexité reste stable). Inversement, pousser le long de $v_{rev}$ augmente la nocivité à $59,0\%$. Les contrôles de direction aléatoire ne reproduisent pas cet effet, confirmant la spécificité de $v_{rev}$.
5. Généralisation : La direction de réversion persiste même lorsque le point de départ est déplacé par une spécialisation non liée à la sécurité (par exemple, des modèles spécialisés en code), suggérant que le phénomène est piloté par l'asymétrie de l'historique d'entraînement plutôt que d'être unique à l'alignement de sécurité.

Signification et Revendications
L'article prétend fournir une lentille mécaniste unifiée pour comprendre la fragilité post-alignement. Ses principales contributions sont :

• Recadrage : Il pose que la dégradation de la sécurité n'est pas seulement un mode de défaillance étroit, mais un exemple d'un phénomène de réversion plus large, dépendant de l'historique, où l'optimisation suit naturellement un chemin de retour vers des régions comportementales antérieures dominantes.
• Identification d'un Médiateur Causal : Il identifie une direction concrète, définie par l'historique ($v_{rev}$), que l'ajustement fin ultérieur suit naturellement. Crucialement, l'article démontre que la manipulation de cette direction change causalement les résultats de sécurité en aval.
• Validité Opérationnelle : Les auteurs déclarent explicitement qu'ils ne prétendent pas observer directement la variété dominante, ni affirmer que $v_{rev}$ est l'unique direction de sécurité. Ils identifient plutôt une direction robuste, définie par témoin, qui explique et contrôle partiellement la dynamique de réversion précoce.

L'article conclut que le biais « gravitationnel » induit par des historiques d'entraînement inégaux (phases initiales massives vs phases ultérieures superficielles) est une conséquence structurelle qui doit être adressée dans les stratégies d'alignement, car les simples corrections superficielles peuvent s'avérer insuffisantes pour contrer la composante de réversion persistante.