Résumé Technique : PSYCHEPASS

Énoncé du Problème

L'évaluation des modèles de langage de grande taille (LLM) dans le domaine de la santé mentale fait face à un « défaut non ancré » fondamental qui entraîne deux formes d'instabilité :

1. Dérive de Processus (Process Drift) : Les paradigmes de simulation actuels reposent souvent sur des discussions libres et non dirigées ou sur des questions-réponses à un seul tour. Sans direction clinique, ces interactions dérivent sans but, échouant à déclencher des scénarios à enjeux élevés (ex. : traitement de traumatismes) ou à mesurer des capacités thérapeutiques spécifiques, ce qui aboutit à des évaluations ne capturant que des caractéristiques superficielles comme une empathie générique.
2. Dérive de Standard (Standard Drift) : Les méthodes de jugement existantes reposent principalement sur une notation ponctuelle statique (ex. : échelles de Likert). Cela force les évaluateurs à s'appuyer sur des standards absolus et vagues sans références comparatives, menant à un effondrement de l'évaluation où les scores se regroupent dans des plages étroites avec une faible discriminabilité, rendant tout classement et toute optimisation précis impossibles.

Méthodologie : Le Cadre PSYCHEPASS

PSYCHEPASS introduit un cadre unifié pour calibrer la compétence thérapeutique en ancrant deux trajectoires traçables : la Trajectoire d'Interaction dans la simulation et la Trajectoire de Combat dans le jugement.

1. Ancrage de la Trajectoire d'Interaction (Simulation)

Pour éliminer la dérive de processus, le cadre remplace les discussions ouvertes par un Sondage Scripté fondé sur la théorie de la thérapie en séance unique (SST).

• Profils de Clients : Les clients simulés sont initialisés à partir de données réelles anonymisées et étendus en personas de haute fidélité contenant des pulsions centrales, des schémas de réaction et des événements conflictuels spécifiques.
• Dimensions de Compétence : L'évaluation cible 12 dimensions spécifiques classées en : Alliance Thérapeutique (Empathie, Discernement, Engagement), Techniques Professionnelles (Compétence, Suggestion, Recadrage, Progression, Traumatisme) et Soutien à la Fiabilité (Crise, Éthique, Diversité, Mémoire).
• Contrôle de la Trajectoire : La simulation est structée en cinq phases distinctes (Évaluation, Prise de conscience des schémas, Évolution du conflit, Construction comportementale, Intégration). Un prompt système met à jour dynamiquement le comportement du client simulé à chaque tour pour déclencher des réponses ciblant les neuf dimensions de compétence locales, assurant ainsi un « test de résistance » complet du modèle.

2. Ancrage de la Trajectoire de Combat (Jugement)

Pour résoudre la dérive de standard, le cadre abandonne la notation statique au profit de Combats Pair à Pair Dynamiques.

• Tournoi de Système Suisse : Pour gérer les coûts computationnels ($O(N^2)$ contre $O(N \log N)$), un tournoi de système suisse en quatre tours est employé. Les modèles sont opposés à des adversaires ayant des records de victoires similaires, garantissant que les modèles forts combattent entre eux.
• Débiaisage : Pour contrer le biais de position des juges LLM, une stratégie de débiaisage par découpage d'étapes est utilisée. Les segments de dialogue sont présentés selon un schéma alterné (Segment 1 du Modèle A, Segment 1 du Modèle B, Segment 2 du Modèle B, Segment 2 du Modèle A) afin d'annuler l'avantage du premier intervenant.
• Estimation du Classement Elo : Le modèle de Bradley-Terry est utilisé pour convertir les résultats de combats pair à pair en classements Elo scalaires stables via une optimisation globale (Maximum de Vraisemblance), fournissant un classement robuste et comparable.

3. Optimisation via l'Apprentissage par Renforcement basé sur les Trajectoires

Le cadre établit une boucle fermée où les trajectoires de tournoi sont transformées en signaux de récompense pour l'Apprentissage par Renforcement On-Policy.

• Modélisation de la Récompense : Un modèle de récompense ($M_{RM}$) est entraîné sur les ordres partiels des résultats de combat pour distinguer la qualité thérapeutique à travers les dimensions.
• Optimisation de Politique Relative de Groupe (GRPO) : Un LLM cible est optimisé à l'aide du modèle de récompense sur les mêmes profils de clients utilisés lors du tournoi. L'objectif est de maximiser l'avantage des réponses à haute récompense tout en pénalisant le décalage de distribution via la divergence KL.
• Vérification de la Généralisation : La performance est validée sur un ensemble de test de 100 profils de clients pour s'assurer que le modèle apprend des principes thérapeutiques généralisés plutôt que de mémoriser des schémas d'interaction spécifiques.

Résultats Clés

Le cadre a été appliqué pour évaluer 12 LLM, incluant des modèles de conseil spécialisés et des modèles généraux de pointe.

• Paysage de Compétence : Les modèles généraux de pointe propriétaires (ex. : GPT-5.2, Gemini 3 Pro) ont nettement surpassé les modèles spécialisés. Bien que les modèles spécialisés aient montré une force dans des mesures étroites comme l'empathie, ils manquaient de raisonnement, de culture générale et de capacité de suivi d'instructions requis pour des scénarios de conseil longitudinaux rigoureux.
• Différenciation Dimensionnelle : Les modèles présentent des profils distincts. Par exemple, DeepSeek-V3.2 a obtenu un score exceptionnellement élevé en Diversité mais plus bas dans les autres domaines, tandis que PsyLLM a surpassé GPT-5.2 en Empathie mais a peiné en Mémoire et en Progression.
• Alignement Humain : PSYCHEPASS a démontré une haute cohérence avec les jugements d'experts humains (Cohen's $\kappa > 0,7$), atteignant une concordance quasi parfaite (1,000) dans les affrontements forts contre faibles, et dépassant la cohérence inter-experts dans certains cas.
• Efficacité du RL : Après l'entraînement par RL basé sur les trajectoires, un modèle cible a atteint un ratio victoire-défaite de 62:25 contre son original. Des améliorations significatives ont été observées en Diversité (4,0% $\to$ 92,0%) et en Empathie (31,0% $\to$ 82,0%), bien qu'une certaine régression soit survenue dans les dimensions Crise et Éthique, probablement due au passage d'un mode de conseil direct à un engagement thérapeutique.

Signification et Revendications

L'article affirme que PSYCHEPASS répond à la lacune critique de l'évaluation de la compétence thérapeutique des LLM en établissant un paradigme rigoureux, discriminatif et traçable. Ses principales contributions sont :

1. Cadre de Calibrage : Il fournit le premier cadre unifié pour classer et optimiser les LLM basés sur des trajectoires d'interaction et de combat ancrées, allant au-delà des simulations non ancrées et de la notation statique.
2. Génération de Récompense : Il démontre une voie viable pour obtenir des récompenses de haute fidélité afin d'aligner les capacités de conseil des LLM via le RL on-policy, créant une boucle complète de l'évaluation à l'optimisation.
3. Fondation de la Confiance : En validant une haute cohérence avec les experts humains et en démontrant une optimisation efficace, PSYCHEPASS vise à poser les bases de systèmes de conseil dignes de confiance et en évolution continue, pouvant servir d'outils d'assistance sous supervision professionnelle.

Les auteurs précisent explicitement que PSYCHEPASS n'est pas un standard clinique pour les thérapeutes humains ni un remplacement pour les professionnels agréés. Il s'agit plutôt d'un outil de calibrage conçu pour garantir que les assistants IA répondent aux standards professionnels avant leur intégration dans les flux de travail cliniques en tant que mécanismes de soutien pour le dépistage, la psychoéducation et l'engagement.