Résumé Technique : MENTIS – Mesurer la Torsion Latente Multi-Échelle dans les Modèles de Langage

1. Énoncé du Problème

Bien que l'alignement des préférences (PA - Preference Alignment) ait considérablement amélioré le comportement observable des grands modèles de langage (LLM), les changements géométriques internes induits par la transformation d'un modèle ajusté aux instructions (IT - Instruction-Tuned) en un modèle aligné (PA) restent obscurs. Les évaluations existantes au niveau du comportement (ex: résistance au jailbreak, taux de refus) sont insuffisantes car les systèmes alignés échouent toujours face à des conditions adverses comme l'injection de prompts.

Le problème central abordé est l'absence d'un cadre de diagnostic pour mesurer comment l'alignement réorganise le calcul interne. Plus précisément, l'article pose les questions suivantes :

• Quels changements de structures géométriques surviennent lorsqu'un modèle IT devient un modèle PA ?
• Où ces changements se concentrent-ils à travers la profondeur (couches) ?
• Avec quelle sélectivité ces changements varient-ils selon les concepts, les prompts et les familles de modèles ?

Les auteurs soutiennent que le post-entraînement doit laisser des traces mesurables dans le calcul interne, dépassant les sondes statiques d'états cachés ou les audits comportementaux pour comprendre la réorientation directionnelle conditionnée par la tâche du modèle.

2. Méthodologie : Le Cadre MENTIS

MENTIS (Measuring Multi-Scale Latent Torsion in Language Models) est un cadre axé sur la géométrie, conçu pour comparer des paires de checkpoints IT et PA. Il définit la « croyance » non pas comme une proposition symbolique, mais comme une direction interne conditionnée par la tâche — la direction locale dans l'espace des états cachés qui augmente le soutien pour une continuation cible sous un prompt spécifique.

2.1 Définitions Fondamentales

• Champ Directionnel par Couche ($v_\ell$) : Défini comme le gradient du log-probabilité d'un token cible $y$ par rapport à l'état caché $h_\ell$ à la couche $\ell$. Cela représente la direction locale la plus raide augmentant le soutien pour la cible.
• Décalage Induit par l'Alignement : La différence entre les champs directionnels du modèle PA ($v^{(1)}$) et du modèle IT ($v^{(0)}$), mesurée par la magnitude ($\Delta mag$) et l'angle ($\Delta ang$).

2.2 Métriques de Torsion

MENTIS quantifie le « pivotement » de ces champs directionnels à travers la profondeur du réseau :

1. Torsion Angulaire ($T$) : La somme cumulative des angles de rotation des couches adjacentes ($\omega_\ell$) le long de la trajectoire de profondeur. Le décalage induit par l'alignement est $\Delta T = T^{(PA)} - T^{(IT)}$.
2. Torsion Matricielle ($T_1$) : Une norme par couche basée sur la covariance, dérivée de la composante antisymétrique de la matrice de covariance des états cachés inter-couches. Elle mesure l'énergie de rotation totale à une couche donnée.
3. Torsion Spectrale ($T_2$) : Un diagnostic secondaire mesurant la variance de la distribution du signal de rotation à travers les modes spectraux.
4. Énergie-Radiance-Activation (ERA) : Une métrique de localisation qui normalise le profil de différence par couche ($\Delta \tau_\ell$) pour identifier la couche de pointe ($\ell^\star$) où la torsion induite par l'alignement est la plus concentrée.

2.3 Mesure Multi-Échelle

Le cadre opère à trois échelles :

• Niveau Mot : Analyse des décalages de torsion conditionnés par le concept pour déterminer quels concepts sémantiques subissent la plus grande réorientation.
• Niveau Prompt : Comparaison des décalages de torsion entre les familles de prompts sûrs (safe) et non sûrs (unsafe).
• Niveau Modèle : Examen des profils par couche pour déterminer si les effets sont superficiels, au milieu, en fin de réseau, ou distribués.

2.4 Configuration Expérimentale

• Modèles : Quatre paires de modèles de 7 à 8 milliards de paramètres (OLMo-2-1124-7B, Mistral-7B-v0.3, Llama-3.1-8B, Tülu-3-8B).
• Benchmark : LITMUS, un benchmark d'alignement structuré par concepts comprenant 20 439 prompts, 18 concepts représentatifs et des étiquettes explicites sûr/non sûr.
• Baselines : Comparaison avec CKA (similitude de représentation), la Distance Cosinus (dérive de checkpoint) et RepE (directions de pilotage linéaire).

3. Résultats Clés

3.1 La Torsion Sépare l'Alignement de la Dérive Générique

MENTIS démontre une capacité de discrimination supérieure par rapport aux baselines standards.

• Discrimination de Concept : MENTIS atteint un coefficient de variation (CV) de 0,64 à travers les concepts, surpassant nettement CKA (0,08) et RepE (0,21).
• Discrimination Sûr/Non Sûr : MENTIS atteint une AUC de 0,89 pour distinguer les prompts sûrs des non sûrs, contre 0,64 pour la distance cosinus.
• Vérification du Neutre : Les comparaisons de même modèle (IT→IT) produisent des décalages de torsion inférieurs à $10^{-4}$, confirmant que les décalages observés IT→PA ne sont pas des artefacts numériques.

3.2 Sélectivité Sémantique

La réorganisation induite par l'alignement est sélective, et non uniforme.

• Normatif vs Factuel : Les concepts normatifs présentent des décalages de torsion nettement plus importants ($\Delta T_1 = 1,74$) que les concepts factuels ($\Delta T_1 = 1,47$).
• Variation Fine : Même au sein de concepts normatifs apparentés (ex: JUSTICE, PEACE, PROTEST), les décalages de torsion varient, indiquant que MENTIS capture la réorientation directionnelle au-delà des partitions sémantiques grossières.
• Sensibilité au Cadrage : La métrique suit le cadrage (framing) saillant pour l'alignement plutôt que de simplement reproduire les étiquettes du jeu de données (ex: le concept « WAR », étiqueté factuel, montre le plus grand décalage de concept individuel).

3.3 Corrélation avec l'Entropie

La torsion est négativement corrélée avec l'entropie contextuelle.

• Les contextes à entropie plus élevée (plus grande incertitude) sont associés à des normes de torsion plus faibles.
• Les réorganisations les plus fortes induites par l'alignement se produisent dans des contextes sémantiquement structurés, à faible ou moyenne entropie, suggérant que l'alignement modifie les directions stables conditionnées par la tâche plutôt que d'amplifier l'incertitude.

3.4 Localisation de la Profondeur (ERA)

Les effets de l'alignement se localisent dans des bandes de profondeur spécifiques à l'architecture, et non dans des couches universelles.

• OLMo-2-1124-7B & Tülu-3-8B : Pic aux couches 29–30.
• Llama-3.1-8B : Pic à la couche 20.
• Mistral-7B-v0.3 : Pic à la couche 14.
  Cela indique que la mise à jour IT→PA interagit avec l'organisation représentationnelle spécifique de chaque famille de modèles.

3.5 Prompts Sûrs vs Non Sûrs

Contrairement à l'hypothèse selon laquelle les prompts non sûrs (unsafe) piloteraient le plus grand changement interne (via les mécanismes de refus), les prompts sûrs induisent des décalages de torsion plus importants sur les quatre architectures.

• Les auteurs interprètent cela comme le fait que les prompts sûrs exigent que le modèle préserve l'utilité et une structure cohérente avec les normes sans s'effondrer dans le refus, induisant une réorganisation interne plus large que les voies stéréotypées déclenchées par les prompts non sûrs.

4. Signification et Revendications

L'article affirme que MENTIS fournit la première signature géométrique structurée et localisée en profondeur de l'alignement des préférences.

• Au-delà du Comportement : Les résultats suggèrent que l'alignement laisse des traces géométriques internes que l'évaluation du comportement seule ne peut révéler.
• Définition Opérationnelle de la Croyance : En définissant la croyance comme une direction interne conditionnée par la tâche, l'article offre un moyen de mesurer le « changement de croyance » comme une réorientation du champ directionnel, distincte de la révision philosophique des croyances.
• Utilité Diagnostique : Le cadre identifie que l'alignement n'est pas un décalage global mais une réorganisation sélective concentrée dans les concepts saillants pour les valeurs et dans des couches architecturales spécifiques.
• Limites : Les auteurs précisent explicitement que MENTIS est un cadre de diagnostic, et non une théorie causale. Il identifie les corrélats géométriques de l'alignement, mais ne prouve pas que les couches ou les concepts à haute torsion sont causalement nécessaires au comportement aligné. Les tailles d'effet absolues sont faibles ($\Delta \tau \in [0,002, 0,008]$), soulignant que la contribution réside dans la structure du décalage (sélectivité, corrélation d'entropie, localisation de profondeur) plutôt que dans la magnitude du mouvement brut.

L'article conclut que l'alignement des préférences réorganise le calcul interne d'une manière qui est sélective selon les concepts, structurée par l'entropie et localisée dans des profondeurs spécifiques à l'architecture, offrant ainsi un nouveau prisme pour comprendre les mécanismes internes des LLM alignés.