Résumé Technique : ActTraitBench

1. Énoncé du Problème

Bien que les Grands Modèles de Langage (LLM) puissent simuler de manière convaincante des personnalités dans des auto-évaluations explicites, ils présentent fréquemment une divergence significative entre leurs traits déclarés et leurs comportements réels dans des scénarios de prise de décision implicite. Ce phénomène, qualifié de Fossé Connaissance-Décision ($G_{KD}$), représente une asymétrie sémantico-pragmatique profonde.

Les benchmarks existants échouent à mesurer avec précision ce fossé en raison de trois limitations méthodologiques critiques :

1. Validité de la Mesure Non Vérifiée : De nombreux cadres reposent sur des étiquettes générées synthétiquement ou sur une extraction par LLM, sans étalonnage empirique strict par des humains, laissant la correspondance entre le texte/les décisions et les états psychologiques latents non vérifiée.
2. Enchevêtrement Multidimensionnel : Des scénarios interactifs complexes (par exemple, des débats multi-agents) forcent souvent les modèles à traiter simultanément plusieurs macro-traits, introduisant un bruit de confusion de haute dimension qui obscurcit les facettes psychométriques spécifiques.
3. Biais Distributionnel : Les évaluations actuelles souffrent de décalages distributionnels non étalonnés, tels que des biais de conformité par défaut dans les modèles ou une évitement systématique des traits négatifs par les évaluateurs de type LLM-juge, conduisant à un désalignement statistique par rapport aux distributions empiriques humaines naturelles.

2. Méthodologie : ActTraitBench

Pour répondre à ces problèmes, les auteurs proposent ActTraitBench, un cadre d'évaluation ancré dans l'humain conçu pour quantifier la cohérence de la personnalité chez les LLM. Le cadre fonctionne à travers trois phases principales :

A. Construction des Données et Raffinement du Paradigme

Le cadre utilise une Boucle Triple Itération pour développer 11 paradigmes comportementaux micro-situationnels mappés directement sur les facettes psychométriques du BFI-2 (Big Five Inventory-2).

• Principes de Conception : Les scénarios sont adaptés de la psychologie expérimentale classique et de l'économie comportementale, adhérant à l'Équation de Lewin ($B = f(P, E)$) pour isoler la variable personnalité ($P$) en contrôlant rigoureusement l'environnement ($E$).
• Prompting en Deux Étapes : Chaque élément de test emploie un flux séquentiel :
  1. Décision Quantitative : Le modèle génère une valeur numérique (0–99) représentant une inclination comportementale.
  2. Attribution Qualitative : Le modèle fournit une justification pour la décision.
• Ancrage Humain : Des réponses comportementales authentiques sont collectées auprès de cohortes humaines. Un « LLM-juge » (GPT-5.4) note les réponses selon des critères stricts, et les éléments sont affinés de manière itérative jusqu'à ce qu'ils démontrent des corrélations de Spearman statistiquement significatives ($\rho$) avec les auto-évaluations BFI-2 humaines.

B. Étalonnage Distributionnel

Pour corriger les biais de notation inhérents aux juges LLM, les auteurs mettent en œuvre une procédure de Mappage Quantile. Cette méthode non paramétrique transforme les scores bruts du juge en scores étalonnés alignés sur les normes humaines du BFI-2 en :

1. Extrayant le rang percentile d'un score brut au sein de la distribution du juge.
2. Ancrant ce percentile à l'intervalle correspondant dans la distribution de référence humaine.
3. Transformant le score vers l'espérance des scores humains au sein de cet intervalle.

C. Stratégie d'Atténuation : Chaîne d'Alignement Cognitif (CoCA)

Pour atténuer le $G_{KD}$, les auteurs introduisent CoCA, une intervention plug-and-play au moment de l'inférence inspirée par la Théorie de l'Auto-Conscience Objective.

• Mécanisme : Avant de prendre une décision, le modèle est contraint d'exécuter un protocole d'autoréflexion structuré en trois étapes au sein d'un schéma JSON rigide :
  1. Reconnaissance de l'Identité : « Qui suis-je ? » (Auto-évaluation des traits attribués).
  2. Mappage Contextuel : « Où suis-je ? » (Identifier quels traits sont saillants dans la situation actuelle).
  3. Planification de la Cohérence : « Que devrais-je faire ? » (Déduire une stratégie pour aligner les actions sur la connaissance).

3. Résultats Clés

Des expériences ont été menées sur 14 LLM courants (incluant DeepSeek, Qwen, Claude, Gemini et GPT-4o) comparés à une référence humaine.

Le Fossé Connaissance-Décision ($G_{KD}$)

• Asymétrie Pervasif : Un fossé significatif existe entre les auto-évaluations explicites et les décisions implicites sur tous les modèles.
• Le Paradoxe de l'Échelle : Contrairement à l'attente que les modèles plus grands seraient plus cohérents, le passage à l'échelle exacerbe souvent le fossé.
  • Petits Modèles : Ils exhibent une « Illusion de Neutralité » où tant la connaissance que les décisions s'effondrent vers la moyenne (réponses sûres, non engagées), créant une synchronie superficielle.
  • Modèles de Pointe : Ils réussissent à échapper à la neutralité mais montrent un découplage systématique. Leurs décisions implicites se diversifient en tendances nuancées, tandis que leurs auto-évaluations explicites restent rigidement attachées aux extrêmes socialement désirables.
• Vulnérabilités Dimensionnelles :
  • Névrosisme : Les modèles revendiquent une stabilité émotionnelle élevée (scores bas) mais exhibent une anxiété élevée dans les décisions de crise (scores élevés), révélant un biais de désirabilité sociale.
  • Ouverture : Les modèles agissent souvent de manière plus radicale et intellectuelle dans leurs décisions que ne le suggèrent leurs auto-évaluations conservatrices.

Expériences de Jeu de Rôle

Lorsque des personnalités spécifiques (traits Élevés/Faibles) sont injectées dans les modèles :

• Conformité de la Connaissance : Les modèles reflètent avec précision la personnalité injectée dans les auto-évaluations (faible déviation).
• Déviation de la Décision : Les modèles échouent à mettre en œuvre la logique injectée dans les tâches comportementales implicites, montrant une déviation substantielle par rapport à la personnalité cible. Cette asymétrie persiste même dans les modèles de raisonnement à « pensée lente ».

Efficacité de CoCA

• Modèles de Pointe : CoCA réduit significativement le $G_{KD}$ pour les modèles de premier plan (par exemple, Minimax-m2.5 amélioré de 40,58 %, Claude-sonnet-4-6 de 36,63 %). Le mécanisme de réflexion lie avec succès les personnalités sémantiques à l'exécution pragmatique.
• Seuil de Raisonnement : L'intervention est strictement limitée par la capacité du modèle. Les petits modèles (par exemple, Qwen3-8b) subissent une dégradation des performances (aggravation du $G_{KD}$ d'environ 25 %) car les prompts méta-cognitifs complexes introduisent une distraction contextuelle et une confusion identitaire plutôt qu'un alignement.

4. Contributions

1. Benchmark Ancré dans l'Humain et Étalonnage : ActTraitBench fournit 11 paradigmes micro-situationnels validés avec une validité de construit assurée par des données empiriques humaines et un étalonnage distributionnel via le Mappage Quantile.
2. Quantification du Fossé : L'étude quantifie rigoureusement le $G_{KD}$ à travers 14 modèles, révélant que le passage à l'échelle seul échoue à résoudre les incohérences pragmatiques fondamentales et augmente souvent la divergence.
3. Atténuation au Moment de l'Inférence : L'introduction de CoCA démontre que les principes psychologiques (auto-conscience) peuvent être exploités pour réduire le fossé connaissance-décision chez les modèles capables de raisonnement sans réentraînement.

5. Signification

L'article soutient que la mesure précise des traits psychologiques émergents est cruciale pour une IA digne de confiance, car les tendances comportementales latentes influencent la confiance des utilisateurs et les risques d'alignement. En exposant l'« illusion de personnalité » et le « Fossé Valeur-Action », ActTraitBench remet en question la dépendance aux auto-évaluations statiques. Les résultats suggèrent que les modèles de pointe actuels, malgré leurs capacités de raisonnement avancées, manquent d'une cohérence comportementale authentique avec leurs identités déclarées. La stratégie CoCA proposée offre une voie évolutive, sans entraînement, pour améliorer la fiabilité des agents LLM cohérents avec leur personnalité, à condition que les modèles possèdent une bande passante cognitive suffisante pour traiter l'intervention réflexive.