🤖 machine learning

A Transdiagnostic Space of Disorder Like Phenotypes in Reinforcement Learning Agents

Cet article introduit un cadre transdiagnostique pour modéliser sept troubles psychologiques chez des agents d'apprentissage par renforcement en manipulant les signaux d'évaluation cognitive, démontrant que ces phénotypes induits forment un espace affectif contrôlable et dose-dépendant qui non seulement reproduit les symptômes des troubles, mais prédit également les réponses aux traitements et les interactions de comorbidité à travers différents environnements.

Auteurs originaux : Hari Prasad

Publié 2026-07-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hari Prasad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot qui apprend à naviguer dans un labyrinthe. Habituellement, nous apprenons aux robots à être parfaits : trouver l'objectif, éviter la lave, obtenir le score maximal. Mais et si nous voulions comprendre pourquoi les humains restent parfois coincés dans des boucles d'inquiétude, de comportements imprudents ou de profonde tristesse ? Au lieu de simplement observer les gens, ce papier construit un « simulateur de troubles » à l'intérieur du cerveau d'un robot.

Les chercheurs n'ont pas seulement modifié le code du robot pour le faire agir bizarrement. Ils ont construit un « tableau de bord émotionnel » spécial appelé Appraisal (Évaluation). Voyez ce tableau de bord comme un ensemble de six cadrans qui mesurent constamment comment le robot se sent par rapport à sa situation : Est-ce important ? Est-ce sûr ? Est-ce que je comprends ce qui se passe ? Puis-je gérer cela ?

La grande découverte ? En tournant un seul bouton sur ce tableau de bord, ils ont pu faire développer au robot un comportement spécifique « de type trouble ». Ils n'ont pas programmé le robot pour qu'il soit anxieux ou accro ; ils ont simplement ajusté un seul chiffre, et le cerveau du robot a déduit lui-même le mauvais comportement.

Les sept « boutons » de l'anomalie

L'équipe a créé sept différents « boutons », chacun fondé sur de véritables théories psychologiques. Voici ce qui se passe quand on les tourne :

Le bouton de l'Anxiété : Il rend le robot hyper-conscient des menaces. Il cesse de prendre des risques et commence à tout éviter, même si cela signifie rater le gros prix. C'est comme une personne qui refuse de sortir de chez elle parce que la rue pourrait avoir un chien.
Le bouton de la Manie : C'est l'exact opposé de l'anxiété. Le robot devient imprudent, cherchant le danger et la lave au lieu de les éviter. C'est l'image miroir de l'anxiété, poussée par un sentiment que tout est sûr et excitant, même quand ce n'est pas le cas.
Le bouton du TOC : Il pousse le robot à vérifier les choses encore et encore. Imaginez un robot qui revient sans cesse vers une porte pour vérifier si elle est verrouillée, même s'il vient de le faire. Plus il vérifie, moins il se sent rassuré, alors il vérifie à nouveau.
Le bouton de la Dépression : Il ajoute un « coût » à chaque pas que fait le robot. Se déplacer devient épuisant. Le robot arrête d'essayer d'atteindre l'objectif car l'effort semble trop lourd, même s'il pourrait encore le faire.
Le bouton de l'Impulsivité : Il fait en sorte que le robot ne se soucie que de l'instant présent. Il saisit une petite friandise juste devant lui au lieu d'attendre une énorme récompense située quelques pas plus loin.
Le bouton de l'Addiction : Il introduit une « tuile de drogue » qui donne une récompense massive et infinie. Le robot ignore l'objectif réel pour poursuivre cette tuile, finissant par oublier totalement la mission.
Le bouton du SSPT (Stress Post-Traumatique) : Il place un « choc » sur le chemin le plus court vers l'objectif. Le robot apprend à prendre un détour long et sinueux pour éviter cet endroit précis, même si le détour est terrible.

La magie de la « dose »

Le plus cool est que ces boutons ne sont pas de simples interrupteurs « marche/arrêt ». Les chercheurs pouvaient tourner les boutons comme des variateurs de volume. Ils ont fait tourner la simulation 1 375 fois avec des réglages différents. Ils ont découvert qu'en montant le bouton, le mauvais comportement s'aggravait selon une ligne lisse et prévisible. En le baissant, le robot s'améliorait. Cela prouve que le comportement n'était pas un bug ; c'était une réponse directe à la « dose » du signal émotionnel.

La surprise : Le cerveau du robot s'organise de lui-même

C'est ici que le papier devient vraiment intéressant. Les chercheurs n'ont pas dit au robot comment organiser ces comportements. Ils ont simplement tourné les boutons. Mais lorsqu'ils ont tracé les résultats, les troubles se sont organisés eux-mêmes en une carte nette :

L'Anxiété et la Manie sont les opposés parfaits, situés de part et d'autre de la carte.
L'Addiction et l'Impulsivité poussent tous deux le robot vers une « sur-poursuite » des choses.
La Dépression tire le robot vers le « retrait ».
C'est comme si le cerveau du robot avait naturellement trié ces comportements désordonnés en une structure logique, simplement en apprenant des signaux.

L'expérience de la « guérison »

L'équipe a également essayé de « guérir » les robots en éteignant les boutons. Les résultats ont été surprenants et correspondent à la logique de la thérapie humaine :

Les corrections faciles : Pour les troubles de la « distorsion de la récompense » (comme la Manie, le TOC et l'Addiction), le simple fait d'éteindre le bouton a permis au robot de revenir instantanément à la normale. La mauvaise habitude n'était pas profondément ancrée.
Les corrections difficiles : Pour les troubles de l'« évitement » (comme l'Anxiété et le SSPT), éteindre simplement le bouton n'a pas fonctionné. Le robot continuait d'éviter le chemin effrayant car il avait appris l'habitude de rester en sécurité. Il lui fallait une thérapie d'« exposition graduée » : les chercheurs ont dû forcer doucement le robot à affronter le chemin effrayant, étape par étape, jusqu'à ce qu'il réalise qu'il était en sécurité. Cela imite la façon dont la thérapie fonctionne réellement pour les humains souffrant d'anxiété.

Ce que ce n'est pas

Il est important de savoir ce que ce papier ne dit pas.

Ces robots ne sont pas des humains. Ils n'ont pas de sentiments, de souvenirs ou de traumatismes au sens humain. Ce sont des modèles mathématiques.
Les chercheurs n'ont pas programmé le robot pour qu'il « soit anxieux ». Ils ont programmé un signal, et l'anxiété est apparue comme un effet secondaire.
Ils n'ont pas prouvé que ce sont les seuls causes de ces troubles chez les humains réels. Ils ont simplement montré que ces mécanismes spécifiques sont suffisants pour créer ces comportements dans une simulation.

Le test final : Est-ce que cela fonctionne en 3D ?

Pour s'assurer qu'il ne s'agissait pas d'un simple tour lié au labyrinthe 2D, ils ont testé trois des troubles (Dépression, Addiction, Anxiété) sur un robot doté d'une caméra, naviguant dans un monde de pixels en 3D (comme un jeu vidéo). Les mêmes boutons ont fonctionné exactement de la même manière. Le robot est devenu déprimé, accro ou anxieux, même sans le « tableau de bord » spécial utilisé lors du premier test. Cela suggère que le problème ne vient pas des yeux ou du cerveau du robot, mais de la façon dont les « signaux de récompense » sont structurés.

L'essentiel

Ce papier suggère que nous pouvons modéliser des luttes humaines complexes comme l'anxiété ou l'addiction en ajustant de simples signaux mathématiques dans un agent apprenant. Il montre que ces troubles peuvent être différents points sur une carte commune de la façon dont nous traitons les récompenses et les menaces. Plus important encore, cela suggère que réparer ces problèmes peut nécessiter des stratégies différentes : parfois, il suffit de supprimer le mauvais signal, mais d'autres fois, il faut activement réentraîner l'habitude. Cela transforme l'étude de la santé mentale, passant de la simple observation de ce qui va mal à un terrain de jeu où nous pouvons tester précisément comment réparer.

Résumé Technique : Un espace transdiagnostique de phénotypes de type trouble dans les agents d'apprentissage par renforcement

Énoncé du Problème

Les agents d'apprentissage par renforcement (RL) déployés dans les systèmes de santé et les systèmes en contact avec l'humain nécessitent une stabilité affective ; les erreurs d'estimation de la valeur peuvent conduire à des modes de défaillance catastrophiques tels que l'évitement, la persévération ou l'imprudence. Bien que des travaux antérieurs aient tenté de modéliser des troubles psychologiques chez les agents, ils souffrent de trois faiblesses principales :

Manque de fondement mécaniste : Les manipulations sont souvent des heuristiques ajustées manuellement plutôt que dérivées de comptes de psychiatrie computationnelle, ce qui entraîne des correspondances lâches avec les construits cliniques.
Étiquetage post-hoc : Les comportements sont étiquetés après observation (ex. : « cela ressemble à un TOC ») plutôt que mesurés par rapport à des critères pré-enregistrés, ce qui invite au biais de confirmation.
Manque de rigueur : Les résultats sont typiquement rapportés comme des exécutions uniques sans variance, sans contrôles ni analyse de dose-réponse.

De plus, les modèles de psychiatrie computationnelle existants parviennent souvent à ajuster des tâches abstraites au comportement, mais ne peuvent pas manipuler continûment la sévérité d'un trouble ni observer la trajectoire complète de la santé vers la pathologie et inversement.

Méthodologie

L'architecture AG-PPO

Les auteurs introduisent l'AG-PPO (Appraisal-Guided Proximal Policy Optimization), un agent qui intègre la Théorie de l'Évaluation (Lazarus, 1991 ; Scherer, 2001) dans la boucle de RL.

Architecture : Un encodeur convolutionnel partagé traite des observations symboliques égocentrées (7×7×3). La sortie alimente à la fois un Acteur et un Critique.
Vecteur d'Évaluation ( $\zeta$ ) : Le Critique consomme également un vecteur d'évaluation à six dimensions $\zeta_t$ $ζ_{t}$ , calculé à chaque étape :
1. Pertinence Motivationnelle ( $\zeta_{MR}$ ) : Fonction de la distance entre l'agent et son objectif.
2. Congruence de l'Objectif ( $\zeta_{GC}$ ) : Alignement géométrique avec les objectifs.
3. Certitude ( $\zeta_{C}$ ) : Dérivée de l'entropie de la politique.
4. Nouveauté ( $\zeta_{N}$ ) : Dérivée de la divergence KL par rapport à une politique uniforme.
5. Potentiel de Coping ( $\zeta_{CP}$ ) : Fraction des menaces hors du champ de vision de l'agent.
6. Anticipation ( $\zeta_{A}$ ) : Complément de l'erreur de prédiction de la récompense suivante (fournie par un réseau d'estimation de la récompense suivante).
Façonnage de la Récompense (Reward Shaping) : La récompense de l'environnement $r_t$ est modifiée par une fonction de façonnage $r'_t = r_t - \sum w_i g_i(\zeta_t) + \text{termes spécifiques}$ . Crucialement, chaque trouble est induit par l'activation d'exactement un seul terme de cette équation ou par la modification du facteur de remise $\gamma$ .

Mécanismes de Troubles (Les « Boutons »)

Sept troubles sont modélisés comme des « boutons » contrôlables par dose, chacun ancré dans un compte spécifique de psychiatrie computationnelle :

Anxiété : Pénalise un faible potentiel de coping (hypervigilance aux menaces).
Manie : Pénalise un haut potentiel de coping (hypersensibilité à la récompense / recherche de menace).
TOC (Vérification) : Accorde un bonus décroissant pour la revisite de points de contrôle (modélisant la réassurance décroissante).
Dépression : Impose un coût d'effort par étape sur le mouvement (réduisant l'activation comportementale).
Impulsivité : Réduit le facteur de remise $\gamma$ (escompte temporel abrupt).
Addiction : Ajoute un bonus non habitué pour les tuiles de drogue (saillance incitative non plafonnée).
SSPT (PTSD) : Applique un choc conditionné sur une tuile de traumatisme, provoquant une généralisation de l'évitement.

Protocole Expérimental

Environnements : Quatre mondes de grille de menace/spatiaux (Dynamic-Obstacles, LavaGap, LavaCrossing, Approach-Avoidance, Temporal-Choice, Addiction, Trauma) et un environnement de pixels 3D (MiniWorld).
Essais : Les essais de symptômes primaires étaient pré-enregistrés pour chaque trouble (ex. : choix d'objectif risqué pour l'anxiété, taux de vérification pour le TOC).
Contrôles : Quatre conditions de contrôle ont été utilisées : PPO standard, Bruit du Critique (vecteur aléatoire), PPO+RND (motivation intrinsèque), et Critique d'Évaluation sans façonnage.
Rigueur Statistique : Les expériences ont fait tourner 1 375 configurations sur 10 graines (intervalles de confiance à 95 %).

Résultats Clés

1. Réponse Dose-Graduée

À travers les sept troubles, l'augmentation de la dose du « bouton » a produit une réponse graduée et monotone dans l'essai du symptôme primaire. Les contrôles n'ont pas réussi à reproduire ces phénotypes, confirmant que les effets proviennent des mécanismes de façonnage spécifiques et non d'une motivation intrinsèque ou d'un bruit générique.

2. Structure Transdiagnostique Émergente

Les troubles s'auto-organisent en un espace affectif bidimensionnel (Récompense-Approche vs Menace-Évitement) sans que cette structure ne soit explicitement encodée dans la récompense :

La Manie et l'Anxiété sont apparues comme des miroirs exacts de part et d'autre de l'origine (poursuite désinhibée vs évitement hypervigilant).
Le TOC occupait une dimension distincte (compulsivité) orthogonale au plan principal.
La Dépression s'est cartographiée sur le retrait ; l'Addiction et l'Impulsivité sur la poursuite excessive.

3. Dissociation du Traitement (Sauvetage vs Résistance)

Les auteurs ont testé le « traitement » en supprimant le bouton pathologique après l'entraînement :

Troubles de Distorsion de la Récompense (Manie, TOC, Addiction) : Les symptômes se sont résorbés immédiatement après le retrait du bouton, car le gradient de l'objectif a repris le dessus.
Troubles d'Habitude/Évitement (Anxiété, SSPT, Dépression, Impulsivité) : Les symptômes ont résisté à la suppression passive. Les agents ont maintenu leurs politiques maladaptives car le comportement d'évitement empêchait la rencontre de preuves infirmantes.
Résolution : Les troubles résistants (Anxiété, SSPT) n'ont été récupérés que via un curriculum d'exposition graduée (pénalisant la route de l'évitement), imitant la thérapie d'exposition clinique.

4. Comorbidité Émergente

Lorsque deux boutons étaient activés simultanément, l'interaction était non additive :

Manie × Impulsivité : L'impulsivité (escompte temporel abrupt) a supprimé la létalité de la manie. L'agent maniaque, dans son approche téméraire de la lave, nécessitait un engagement sur plusieurs étapes, ce que l'agent impulsif et myope ne pouvait entreprendre.
Anxiété × Dépression : Une dépression sévère (coût d'effort élevé) a supplanté le signal d'anxiété ; l'agent a cessé toute action, empêchant l'expression de l'évitement.

5. Généralisation aux Environnements de Pixels 3D

Trois troubles (Dépression, Addiction, Anxiété) ont été transférés à un environnement de pixels 3D (MiniWorld) en utilisant un agent CNN standard sans critique d'évaluation.

Les mêmes signatures phénotypiques sont apparues (ex. : la dépression réduisait l'action vers l'avant ; l'addiction augmentait l'occupation des drogues).
La dissociation des essais croisés a tenu : le bouton de dépression n'a pas augmenté l'occupation des drogues, et le bouton d'anxiété n'a pas supprimé la locomotion. Cela confirme que les mécanismes sont des propriétés de la structure de la récompense, et non des propriétés spécifiques aux mondes de grille ou à l'architecture du critique d'évaluation.

Signification et Revendications

L'article affirme établir un substrat contrôlable et ancré pour étudier les phénotypes affectifs dans les agents artificiels. Ses principales contributions sont :

De la Description à la Manipulation : Il déplace la modélisation des troubles de l'étiquetage post-hoc vers une science falsifiable où la sévérité est continuellement ajustable via des paramètres uniques et interprétables.
Parallèles Cliniques Émergents : Le cadre reproduit des phénomènes cliniques complexes (ex. : la résistance des troubles de l'évitement à la suppression passive des stresseurs, la nature non additive de la comorbidité) sans les programmer explicitement. Ce sont des propriétés émergentes de l'interaction entre la dynamique d'apprentissage de l'agent et la récompense façonnée.
Cadre Unifié : Il démontre qu'une seule architecture d'agent peut modéliser l'induction, l'organisation structurelle (espace transdiagnostique) et le traitement (sauvetage/extinction) de multiples troubles simultanément.
Spécificité Mécaniste : Les résultats de dissociation confirment que des « boutons » spécifiques ciblent des dimensions de symptômes spécifiques sans contamination croisée, validant le fondement mécaniste de l'approche.

Les auteurs concluent que les poids d'évaluation paramètrent un espace où les mêmes mécanismes qui induisent un trouble peuvent également modéliser son traitement, offrant un nouveau banc d'essai pour la psychiatrie computationnelle et un regard sur les modes de défaillance du contrôle affectif dans le RL.