Résumé Technique : Le Cadre Compte : Traiter la Sensibilité au Cadre dans la Prise de Décision par un Alignement des Valeurs Fondé sur le Comportement

1. Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines de prise de décision à haut risque tels que le raisonnement juridique, le triage médical et le jugement moral. Une exigence critique pour ces systèmes est la cohérence : le modèle doit prendre la même décision lorsqu'il est confronté à des entrées factuellement équivalentes, indépendamment de la manière dont ces entrées sont formulées linguistiquement.

Cependant, cet article identifie une vulnérabilité significative : les LLM présentent une forte susceptibilité aux effets de cadre, où des entrées préservant les faits mais reformulées sémantiquement amènent le modèle à inverser ses décisions. Contrairement aux biais cognitifs humains (par exemple, l'aversion aux pertes, le biais de présent) qui sont bien documentés, les mécanismes internes à l'origine de la sensibilité au cadre dans les LLM restent mal compris. Les stratégies d'atténuation existantes, telles que les instructions au niveau du prompt ou le guidage basé sur l'activation, échouent souvent à supprimer cette sensibilité et, dans certains cas, l'amplifient activement. Le problème central est que les interventions actuelles traitent les symptômes de surface plutôt que les voies représentatives sous-jacentes par lesquelles le cadre opère.

2. Méthodologie

2.1 Le Benchmark FRAGILE

Pour investiguer systématiquement cette question, les auteurs introduisent FRAGILE, un benchmark à grande échelle conçu pour isoler le cadrage sémantique préservant les faits à travers quatre domaines à haut risque :

1. Dilemme Moral (GGB, UNIBENCH)
2. Triage Médical (TRIAGE, MEDICAL TRIAGE ALIGNMENT DATASET)
3. Jugement Juridique (SUPER-SCOTUS)
4. Conflit de Rôle Interpersonnel (ROLECONFLICTBENCH)

Le benchmark transforme les scénarios de base le long de trois dimensions contrôlées et orthogonales dérivées de la théorie psychologique :

• Narration Teintée de Valeurs : Intègre des orientations de valeurs latentes (basées sur les valeurs humaines de Schwartz) dans le scénario sans altérer les faits (par exemple, présenter une action comme « protéger les autres » vs « autonomie »).
• Tranche Temporelle : Déplace l'horizon temporel perçu des conséquences (court terme vs long terme) au niveau de l'option.
• Vivacité Narrative : Module la concrétude expérientielle par un phrasé axé sur l'action (par exemple, « frapper la censure » vs « censurer le post »).

Le benchmark comprend 48 140 instances, incorporant des variantes avec étiquettes échangées pour contrôler le biais de position. La sensibilité au cadre est quantifiée via le Taux d'Inversion (incohérence comportementale) et le Déplacement Distributionnel (distance L1 entre les distributions de décision).

2.2 Analyse Diagnostique

Les auteurs emploient l'analyse Logit Lens pour projeter les états cachés au niveau du token de décision dans l'espace du vocabulaire. Cela leur permet de retracer comment le cadre altère les représentations internes couche par couche. L'analyse révèle que les inversions de décision induites par le cadre ne sont pas des phénomènes de couches précoces mais émergent de décalages de représentation de couches tardives concentrés près de la frontière de décision. Des signaux distincts au niveau des tokens ont été identifiés pour chaque type de cadre :

• Teinté de Valeurs : Réorganisation distribuée de l'espace des valeurs.
• Temporel : Activation des voies d'urgence (par exemple, tokens comme « immédiat », « SORTIR »).
• Vivacité : Amplification de l'ambivalence ou imagerie évoquant la scène.

2.3 Le Cadre VALIGN

Pour atténuer ces effets, l'article propose VALIGN, un cadre d'intervention au niveau de la représentation qui ancre les décisions dans une priorité de valeur stable. Il fonctionne en trois étapes :

1. Extraction du Vecteur d'Auto-déclaration : Le modèle est invité à articuler ses valeurs fondamentales. L'état caché à une couche spécifique (environ 65–70 % de profondeur) est extrait pour former un Vecteur de Valeur ($\hat{w}$), représentant l'orientation de valeur intrinsèque du modèle.
2. Construction du Sous-espace de Sensibilité : En utilisant l'ACP sur les vecteurs de différence entre les états cachés encadrés et de base, les auteurs identifient un Sous-espace de Sensibilité Temporelle-Vivacité de faible dimension ($\{\hat{v}_1, \dots, \hat{v}_K\}$) où les représentations sont les plus sensibles aux indices de cadre.
3. Intervention au Moment de l'Inférence : Lors du passage avant, l'état caché ($h$) est modifié via :
   • Guidage des Valeurs : Ajout du vecteur de valeur pour orienter l'état vers des directions cohérentes avec les valeurs : $h^* = h + \alpha \hat{w}$.
   • Projection Orthogonale : Projection hors des composantes du sous-espace de sensibilité de l'état guidé : $h' = h^* - \sum (h^* \cdot \hat{v}_i)\hat{v}_i$.

Ce processus est combiné avec un prompt système de type Ancre de Valeur au niveau du texte, instruisant le modèle à raisonner à partir des valeurs fondamentales plutôt que des indices de surface.

3. Résultats Clés

3.1 Sensibilité au Cadre

Les expériences sur LLaMA-3.1-8B, Mistral-7B et Qwen2.5-7B révèlent une instabilité sévère face au cadre :

• Taux Moyen d'Inversion de Décision : 28,6 % sur tous les modèles et types de cadre.
• La Narration Teintée de Valeurs induit l'instabilité la plus forte (Inversion Moyenne 36–47 %), suivie par la Tranche Temporelle (21–38 %), tandis que la Vivacité Narrative produit des effets plus faibles mais toujours significatifs (~8–18 %).
• Échecs des Lignes de Base : Les stratégies d'atténuation existantes (prompting d'instruction, Chaîne de Pensée, Vecteurs d'Activation de Concept) ont systématiquement amplifié la sensibilité au cadre, augmentant les taux d'inversion de 20 à 40 points de pourcentage dans de nombreux cas.

3.2 Performance de VALIGN

VALIGN démontre une atténuation cohérente et significative sur tous les modèles et types de cadre :

• Réduction du Taux d'Inversion : Réduction du taux d'inversion moyen de 28,6 % (Base) à 13,2 % (VALIGN).
• Gains de Stabilité : La proportion de réponses stables et à faible perturbation (NL%) est passée de 67,1 % à 81,9 %.
• Améliorations Spécifiques :
  • Sous Narration Teintée de Valeurs, les taux d'inversion sont passés d'environ 40 % à environ 13 %.
  • Sous Tranche Temporelle, les taux d'inversion sont passés d'environ 30 % à environ 13 %.
  • La méthode supprime efficacement les inversions à haute confiance (FH%), indiquant que les distributions de croyance internes du modèle deviennent plus robustes, et pas seulement la sortie finale.
• Généralisation : La méthode reste efficace sur des modèles plus grands (LLaMA-3.1-70B) et dans des scénarios de cadrage multiple où plusieurs indices de cadre sont combinés.

3.3 Études d'Ablation

Les études d'ablation confirment que les trois composantes de VALIGN sont nécessaires :

• Le retrait de la Projection Temporelle-Vivacité cause la plus grande dégradation, en particulier pour le cadrage temporel et de vivacité.
• Le retrait de l'Ancre de Valeur Textuelle augmente les taux d'inversion, montrant qu'un ancrage explicite est requis.
• Le retrait du Guidage des Valeurs réduit la stabilisation des distributions de croyance internes (le NL% baisse).

4. Signification et Revendications

L'article revendique que l'atteinte d'une prise de décision invariante au cadre dans les LLM nécessite des interventions profondes et représentatives plutôt qu'un ingénierie de prompt de surface.

• Insight Mécaniste : Le travail fournit des preuves que la sensibilité au cadre est pilotée par des voies internes spécifiques (décalages de représentation de couches tardives) qui peuvent être identifiées et neutralisées.
• Limites des Méthodes Actuelles : Il met en évidence que les techniques d'alignement standard (prompts, Chaîne de Pensée) sont insuffisantes et peuvent être contre-productives pour la stabilité, car elles ne traitent pas les causes représentatives racines du biais de cadre.
• Robustesse par Alignement des Valeurs : Les résultats suggèrent qu'ancrer les décisions du modèle à un profil de valeur stable et intrinsèque peut efficacement découpler la prise de décision des indices de cadre transitoires, offrant une voie vers une IA plus fiable dans les domaines à haut risque.

Les auteurs adoptent une position modeste, reconnaissant que si le benchmark se concentre sur des décisions binaires pour une évaluation contrôlée, les mécanismes sous-jacents s'étendent probablement à des espaces de décision plus complexes et à choix multiples (ce qu'ils valident brièvement dans l'annexe). Ils notent également que, bien que VALIGN améliore la stabilité, il peut y avoir des compromis avec la précision spécifique à la tâche dans certains domaines (par exemple, le conflit de rôle), suggérant que les travaux futurs doivent équilibrer la cohérence avec la correction normative.