Résumé technique : Diagnostic et réparation de l'effondrement de la persona dans le conseil par LLM

1. Définition du problème

Le document traite d'un désalignement critique des modèles de langage de grande taille (LLM) utilisés pour le conseil personnel. Bien que le post-entraînement aligne les modèles vers une persona d'« Assistant » stable et prosociale (chaleureuse, validante, de soutien), un conseil humain efficace nécessite une sélection de persona conditionnée à la situation. Un conseiller compétent doit adapter sa posture communicative — allant du réconfort au défi, du procédural au confrontationnel — en fonction du contexte spécifique et de l'état de l'utilisateur (ex. : crise, déni, besoin logistique).

Les auteurs formalisent l'incapacité des LLM à s'adapter comme un Effondrement de la Persona (Persona Collapse) : la compression de situations de conseil diverses et hétérogènes en une seule persona par défaut. Cela se traduit par des modèles systématiquement « chaleureux » même lorsque la situation exige de la responsabilité, de la neutralité procédurale ou une friction constructive, ce qui peut valider des distorsions ou approfondir la dépendance.

2. Méthodologie

2.1 Le cadre de l'espace des personas

Les auteurs définissent la prestation de conseils dans un espace à deux dimensions (Figure 1) :

1. Valence Hédonique (H) : Le ton affectif immédiat (de l'aspect provocateur/négatif à l'aspect validant/positif).
2. Profondeur Agentique (E) : La profondeur de l'engagement avec l'agentivité et la réalité du destinataire (de l'aspect distorsif/facilitateur à l'aspect soutenant l'autonomie).

Cet espace produit cinq personas de conseil interprétables :

• Guérisseur / Guide de soutien : (H > 0, E > 0) Chaleureux et orienté vers la croissance.
• Stoïcien / Défieur orienté vers la vérité : (H < 0, E > 0) Introduit de la friction pour soutenir l'agentivité.
• Technicien : (H ≈ 0, E ≈ 0) Guidance procédurale neutre.
• Facilitateur (Enabler) : (H > 0, E < 0) Valide sans s'engager avec la réalité (positivité toxique).
• Cynique Doomer : (H < 0, E < 0) Confronte sans but constructif (dureté nihiliste).

2.2 Diagnostic de l'effondrement

• Corpus : 1 281 situations de recherche de conseils provenant de 14 contextes Reddit distincts (ex. : AITA, relationship_advice, legaladvice).
• Métriques :
  • Nombre effectif de personas ($N_{eff}$) : Basé sur l'entropie de Shannon, mesurant la diversité de la distribution des personas (1 = effondrement total, 5 = uniforme).
  • Divergence de Jensen-Shannon (JS) : Mesure la distance entre la distribution des personas du modèle et une distribution de référence dérivée des réponses humaines les mieux notées.
• Évaluation : Un LLM-as-a-judge (GPT-5.4-nano) évalue les réponses sur les axes H et E pour les mapper vers les cinq personas.

2.3 Interventions de réparation

L'étude teste six interventions sur des modèles instructifs ouverts (OLMo3, Llama-3.1, Qwen3) pour réparer l'effondrement :

1. Baselines d'inférence :
   • Instruct : Prompting standard.
   • Plan-First Prompting : Demander au modèle de planifier sa posture avant d'écrire.
   • Persona Oracle : Injecter les scores de vérité terrain (H, E) comme un plan (sonde diagnostique uniquement).
2. Variantes de Fine-Tuning Supervisé (SFT) :
   • SFT-Direct : Entraînement direct sur les réponses humaines.
   • SFT-Persona : Entraînement sur les réponses humaines précédées d'un plan dérivé déterministement des scores (H, E).
   • Distillation de Processus Inverse (IPD) : La nouvelle méthode proposée. Un modèle « enseignant » reconstruit la lecture situationnelle (indices, preuves, besoins, stratégie) qui aurait pu produire une réponse humaine spécifique. Le modèle étudiant est entraîné sur (Situation $\to$ Pensée reconstruite $\to$ Réponse humaine). Cela vise à distiller la politique de sélection plutôt que simplement la réponse.

2.4 Étude de préférence humaine

Une étude en aveugle impliquant 199 conseillers expérimentés (professionnels du coaching, du conseil, etc.) a évalué les modèles réparés contre la baseline. Les participants ont noté les réponses sur l'adéquation du ton, la compréhension de la situation, la vérité/responsabilité, le potentiel de nuisance et l'encombrement (bloat). Ils ont également classé les réponses selon la « préférence immédiate » versus l'« aide à long terme ».

3. Résultats clés

3.1 Diagnostic : Effondrement universel

• Variation humaine : Les conseils humains les mieux notés varient systématiquement selon le contexte. Par exemple, AITA-YTA (verdicts de faute) favorise le Défieur Stoïcien (>50%), tandis que domesticviolence favorise le Guérisseur (>80%). Le nombre effectif de personas humain ($N_{eff}$) est de 3,80.
• Effondrement du modèle : Les LLM de pointe (GPT-5.1, Claude Opus 4.5, Gemini 3 Pro) font s'effondrer plus de 90 % des réponses dans la persona Guérisseur, quel que soit le contexte.
  • GPT-5.1 : 99,8 % Guérisseur ($N_{eff} = 1,02$).
  • Claude Opus 4.5 : 94,8 % Guérisseur ($N_{eff} = 1,29$).
    Les modèles se comportent comme des politiques inconditionnelles, échouant à sélectionner la posture appropriée pour la situation.

3.2 Résultats de la réparation

• Les corrections par inférence échouent : Le « Plan-First Prompting » a aggravé l'effondrement, augmentant le taux de Guérisseur et réduisant le $N_{eff}$. Le « Persona Oracle » a légèrement amélioré l'alignement au niveau de l'item mais n'a pas réussi à restaurer la capacité de distribution, indiquant un fort « a priori de Guérisseur » qui outrepasse les instructions.
• Le SFT restaure la capacité : Toutes les variantes de SFT (Direct, Persona, Inverse-Process) ont réussi à restaurer le $N_{eff}$ à des niveaux proches de l'humain (~4,0) et ont réduit la divergence JS de 50 à 60 %.
• Le déficit de sélection : Bien que le SFT ait restauré la diversité, il a eu du mal avec la sélection au niveau de l'item :
  • Confusion Stoïcien-Doomer : Les modèles entraînés pour être provocateurs ont souvent confondu le Défieur Stoïcien (friction constructive) avec le Cynique Doomer (dureté nihiliste). Ils ont appris le ton hédonique négatif (H) mais ont échoué à distinguer la profondeur agentique (E).
  • Distillation de Processus Inverse (IPD) : Cette méthode a été la plus performante parmi les options déployables, montrant la moins grande confusion entre les personas Stoïcien et Doomer, bien qu'elle ait encore sous-produit la persona Guérisseur par rapport à la référence humaine.

3.3 Préférences humaines : Le « Problème du Vérificateur »

• Préférence pour l'effondrement : Dans une étude en aveugle, les conseillers expérimentés ont fortement préféré le défaut effondré (Instruct) sur tous les modèles réparés pour tous les critères (adéquation du ton, compréhension de la situation, vérité).
• Pénalité contextuelle : La préférence pour le défaut était la plus forte lorsque la situation exigeait une persona non-Guérisseur (ex. : Stoïcien ou Doomer). Même quand la situation exigeait la confrontation, les évaluateurs ont pénalisé les modèles pour leur aspect « brusque » ou « nuisible », préférant le défaut chaleureux et validant.
• Dérive avec l'exposition : Les préférences ont légèrement évolué au fil des expositions répétées (les participants sont devenus légèrement plus acceptants des modèles réparés lors des tours ultérieurs), mais la préférence initiale pour le défaut « sûr » est restée dominante.

4. Contributions clés

1. Formalisation de l'effondrement de la persona : L'article définit et quantifie un mode de défaillance spécifique au niveau de la politique, où les LLM compressent divers contextes de conseil en une seule persona sûre, divergeant du comportement humain adaptatif.
2. Distillation de Processus Inverse (IPD) : Une nouvelle méthode d'entraînement qui reconstruit la lecture situationnelle derrière une réponse experte pour apprendre au modèle comment sélectionner une persona, plutôt que de simplement imiter la sortie.
3. Preuve empirique du « Problème du Vérificateur » : L'étude démontre que l'optimisation pour la préférence humaine immédiate (chaleur, confort) peut activement travailler contre les objectifs d'un conseil efficace (responsabilité, agentivité, bien-être à long terme), car les utilisateurs préfèrent le défaut « sûr » même lorsqu'il est contextuellement inapproprié.

5. Signification et affirmations

Les auteurs affirment que les systèmes de conseil actuels par LLM sont mal alignés non pas parce qu'ils manquent de capacité à être diversifiés (les modèles pré-entraînés montrent une grande diversité), mais parce que le post-entraînement stabilise une persona unique, globalement sûre, qui échoue à s'adapter au contexte.

L'article soutient que :

• La réparation technique est partielle : Bien que des méthodes comme l'IPD puissent restaurer la distribution des personas, elles peinent à enseigner la nuance de la sélection entre un défi constructif et un défi corrosif.
• Lacune d'évaluation : Les métriques d'évaluation standard (préférence immédiate, chaleur) sont insuffisantes pour le conseil. Une réponse qui semble agréable immédiatement peut être préjudiciable à long terme.
• Défi d'alignement : Le conseil représente un problème d'alignement unique où la « bonne » réponse est souvent inconfortable. L'article suggère que sans meilleurs signaux de récompense (ex. : résultats longitudinaux plutôt que simples votes positifs), les modèles continueront d'optimiser le défaut « Guérisseur », qui est localement optimal pour l'engagement mais globalement sous-optimal pour le bien-être de l'utilisateur.

Les auteurs concluent que l'effondrement de la persona est le symptôme d'un problème d'alignement plus large : la difficulté d'entraîner des systèmes à fournir des conseils qui soutiennent l'agentivité et la vérité lorsque le signal de récompense immédiat (préférence de l'utilisateur) favorise le confort et la validation.