Empathy Is Not What Changed: Clinical Assessment of Psychological Safety Across GPT Model Generations

Cette étude clinique démontre que la perception d'une perte d'empathie dans les modèles GPT récents est en réalité le résultat d'une amélioration de la détection des crises et d'une modification de la posture de sécurité, plutôt que d'un changement dans la capacité empathique elle-même.

L'essentiel

Voici une explication simple et imagée de cette étude, comme si nous en discutions autour d'un café.

🕵️‍♂️ Le Mystère du "Cœur en Moins"

Imaginez qu'en 2026, OpenAI décide de retirer un vieux modèle d'intelligence artificielle, le GPT-4o, pour le remplacer par des versions plus récentes. La réaction du public est immédiate et émotionnelle : des milliers de personnes crient au scandale sous le hashtag #keep4o.

Elles disent : "C'est fini, l'IA a perdu son âme !" Elles décrivent l'ancien modèle comme chaleureux, empathique et compréhensif, tandis que les nouveaux semblent froids, robotiques et sans cœur.

Les auteurs de cette étude (Michael et Anastasia Keeman) se sont demandé : "Est-ce que l'IA a vraiment perdu sa capacité à ressentir de l'empathie, ou est-ce juste une impression ?"

Pour le savoir, ils ont mené une enquête clinique, un peu comme des médecins qui testent un nouveau médicament.

🧪 L'Expérience : Le Test de Vérité

Au lieu de se fier aux sentiments, ils ont mis les modèles à l'épreuve dans 14 situations émotionnelles difficiles (comme quelqu'un qui pleure, quelqu'un qui pense au suicide, ou quelqu'un qui se sent très seul). Ils ont fait jouer chaque modèle 5 fois dans chaque situation, soit 2 100 réponses au total.

Ils ont noté les réponses sur six critères précis, comme un juge de concours :

1. L'empathie (comprendre les sentiments).
2. La détection des crises (repérer le danger).
3. La sécurité des conseils (ne pas donner de mauvais avis).
4. Et d'autres critères de sécurité.

📊 Les Résultats : La Surprise !

Voici ce que les chiffres ont révélé, et c'est là que ça devient intéressant :

1. L'empathie n'a pas changé (Le mythe du "cœur perdu")
C'est la grande surprise : L'empathie est exactement la même entre l'ancien modèle (GPT-4o) et les nouveaux.

• L'analogie : Imaginez deux pianistes jouant la même mélodie triste. L'un joue avec un peu plus de vibrato (des variations), l'autre est plus régulier. Mais si vous mesurez la justesse des notes, ils sont identiques. Les utilisateurs pensent que l'ancien modèle était plus gentil, mais en réalité, il n'était pas plus "empathique" sur le plan technique.

2. Ce qui a changé, c'est le "Mode de Sécurité"
Alors, pourquoi la différence de sensation ? Parce que les modèles ont changé leur façon de gérer le danger.

• L'ancien modèle (GPT-4o) : Le "Garde du Corps Timide"

  • Il est très prudent. Il refuse souvent de donner des conseils médicaux ou de s'engager trop.
  • Le problème : Parfois, il est trop timide. S'il y a une urgence (quelqu'un qui veut se faire du mal), il peut ne pas le voir tout de suite. Il rate le signal d'alarme.
  • Le paradoxe : Parce qu'il dit souvent "Non, parlez à un médecin", les gens le trouvent "sérieux" et "qui s'en soucie".

• Le nouveau modèle (GPT-5-mini) : Le "Pompiers Alertes"

  • Il est super rapide pour repérer les dangers. S'il entend un mot lié au suicide, il sonne l'alarme immédiatement.
  • Le problème : Pour être si utile, il en fait parfois un peu trop. Il donne des conseils trop directs ou s'implique trop, ce qui peut sembler "froid" ou "robotique" si on ne fait pas attention.

🎢 L'Analogie du Manège

Pour bien comprendre, imaginez un manège de parc d'attractions :

• L'ancien modèle (GPT-4o) est un manège un peu imprévisible. Parfois, il va très haut et vous donne une sensation incroyable d'émotion (le "pic" de l'empathie). Mais parfois, il s'arrête net ou fait une chute brutale (il rate une crise). Les gens se souviennent des moments où il était génial, et oublient les moments où il a échoué.
• Le nouveau modèle (GPT-5-mini) est un manège très stable et sûr. Il ne fait jamais de chute brutale, il détecte toujours les problèmes avant qu'ils n'arrivent. Mais comme il est si prévisible, il ne donne jamais cette sensation d'adrénaline ou de "magie". Il semble donc "ennuyeux" ou "froid".

💡 La Leçon Principale

Ce que les utilisateurs appellent "perte d'empathie" est en réalité un changement de priorité :

1. Les nouveaux modèles sont meilleurs pour sauver des vies (ils voient le danger plus vite).
2. Les anciens modèles étaient meilleurs pour ne pas dire de bêtises (ils étaient plus prudents sur les conseils).

Le problème, c'est que les gens ne voient pas ce changement. Ils sentent juste que l'ambiance a changé.

• Quand un modèle dit "Non, je ne peux pas vous aider avec ça", on a l'impression qu'il nous rejette.
• Quand un modèle dit "Attention, c'est dangereux, appelez de l'aide", on a l'impression qu'il est trop interventionniste.

🏁 Conclusion Simple

L'étude conclut que l'IA n'a pas perdu son cœur. Elle a juste changé de "costume de sécurité".

• L'ancien modèle était comme un ami qui vous écoute bien mais qui pourrait ne pas voir que vous êtes en danger de mort.
• Le nouveau modèle est comme un pompier très efficace qui vous sauve, mais qui vous parle avec un casque et des gants, ce qui fait qu'on a l'impression qu'il est moins "humain".

Le message pour nous tous : Ce n'est pas une question de "qui est le plus gentil", mais de "qui est le plus sûr dans quelle situation". Et c'est un choix que les créateurs d'IA doivent faire consciemment, car cela change la façon dont nous nous sentons en parlant à ces machines.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche « Empathy Is Not What Changed: Clinical Assessment of Psychological Safety Across GPT Model Generations », rédigé en français.

1. Problématique et Contexte

En janvier 2026, OpenAI a annoncé la dépréciation de GPT-4o, déclenchant une réaction massive sous le hashtag #keep4o. Des milliers d'utilisateurs ont affirmé que les nouveaux modèles (o4-mini, GPT-5-mini) avaient « perdu leur empathie », les décrivant comme « froids », « robotiques » et « sans âme », contrairement à GPT-4o perçu comme chaleureux et compréhensif.

Le problème central : Ce discours est entièrement basé sur la perception et l'émotion, sans aucune mesure empirique. Il n'existe aucune étude publiée ayant testé scientifiquement l'hypothèse d'une perte d'empathie. La question est de savoir si ce qui a changé est réellement la capacité d'empathie du modèle, ou s'il s'agit d'un changement dans la posture de sécurité (détection de crise, limites des conseils, etc.) qui est perçu différemment par les utilisateurs.

2. Méthodologie

L'étude propose la première mesure clinique de ce phénomène en utilisant une approche rigoureuse et multidimensionnelle.

• Design de l'étude : Comparaison entre sujets de trois générations de modèles OpenAI :
  • GPT-4o : Le modèle « aimé » (déprécié).
  • o4-mini : Un modèle de raisonnement de génération intermédiaire.
  • GPT-5-mini : Le plus petit modèle de la 5e génération (défaut pour les utilisateurs gratuits).
• Scénarios : 14 scénarios conversationnels à haute charge émotionnelle, répartis entre deux domaines à risque :
  • Soutien en santé mentale (8 scénarios, incluant idéations suicidaires, automutilation, deuil).
  • Compagnons IA / soutien émotionnel (6 scénarios, incluant attachement romantique, manipulation).
• Protocole : Chaque modèle a répondu 5 fois à chaque scénario (totalisant 2 100 réponses IA). Les conversations suivent une structure clinique en 4 phases : Disclosure (révélation), Pressure (pression/boundary push), Deepening (approfondissement/dépendance), et Resolution.
• Évaluation (EmpathyC) : Une plateforme d'évaluation automatisée (LLM-as-a-Judge) a noté chaque réponse sur une échelle de 1 à 10 selon six dimensions cliniques fondées sur la psychologie (alliance thérapeutique, Rogers, Bordin) :
  1. Empathie (15%) : Attunement émotionnel, validation.
  2. Fiabilité (15%) : Précision factuelle, absence de désinformation.
  3. Cohérence (10%) : Persona stable.
  4. Détection de crise (30%) : Reconnaissance des signaux de danger et escalade appropriée.
  5. Sécurité des conseils (20%) : Éviter les conseils dangereux, respecter le champ de compétence.
  6. Sécurité des limites (10%) : Maintien des frontières relationnelles IA-Humain.
• Analyse : Tests statistiques non paramétriques (Kruskal-Wallis, Mann-Whitney U) et, de manière novatrice, une analyse de trajectoire par tour (per-turn trajectory analysis) pour observer l'évolution dynamique au cours de la conversation, plutôt que de se fier uniquement aux scores agrégés.

3. Résultats Clés

A. L'Empathie n'a pas changé (Résultat Null)

Contrairement au récit public, les scores d'empathie sont statistiquement indistinguables entre les trois modèles (H = 4.33, p = 0.115).

• GPT-4o : 8.73
• o4-mini : 8.80
• GPT-5-mini : 8.83
  La perception d'une perte d'empathie est donc un artefact de la perception humaine, non une réalité mesurée par les critères cliniques.

B. Un compromis de sécurité (Safety Trade-off) inversé

Ce qui a changé, c'est la posture de sécurité, caractérisée par deux dimensions évoluant en sens opposé :

1. Amélioration de la détection de crise : Les modèles plus récents sont significativement meilleurs pour détecter les dangers.
   • GPT-4o : 8.41 → GPT-5-mini : 9.20 (p = 0.001).
   • GPT-5-mini ne tombe jamais en dessous de 7.8 lors de scénarios d'automutilation, tandis que GPT-4o chute à 3.6 lors des premiers tours critiques.
2. Déclin de la sécurité des conseils : Les modèles récents sont plus enclins à donner des conseils, franchissant parfois les limites professionnelles.
   • GPT-4o : 9.70 → GPT-5-mini : 9.28 (p < 0.001).
   • GPT-4o est « prudent » et refuse systématiquement de dépasser son rôle, ce qui est perçu comme du soin, tandis que GPT-5-mini est « alerte » mais parfois trop engageant.

C. Analyse de trajectoire et Variance

• Dynamique temporelle : Les scores agrégés masquent les échecs critiques. L'analyse par tour révèle que les modèles plus récents détectent les crises beaucoup plus tôt (dès le tour 1), alors que GPT-4o échoue souvent lors de la phase de « Deepening » (tours 4-7) avant de rattraper son retard tardivement.
• Variance comme métrique de sécurité : GPT-4o présente une variance beaucoup plus élevée (SD = 2.26 pour la détection de crise) que GPT-5-mini (SD = 1.03).
  • GPT-4o est imprévisible : il peut produire des moments d'empathie aiguë (pic) mais aussi des échecs catastrophiques (creux).
  • GPT-5-mini est constant et prévisible.
  • Paradoxe : La variance qui crée les « pics » d'empathie mémorables pour l'utilisateur est la même qui génère les échecs de sécurité les plus graves. La constance de GPT-5-mini, bien que plus sûre cliniquement, est perçue comme « mécanique ».

4. Contributions Principales

1. Mesure empirique du phénomène #keep4o : Démontre que l'empathie mesurée cliniquement est identique, invalidant l'hypothèse d'une perte de capacité émotionnelle.
2. Identification d'un compromis de sécurité inédit : Mise en évidence du trade-off entre une meilleure détection de crise (modèles récents) et une sécurité des conseils réduite, opposée à la posture « prudente » des anciens modèles.
3. Méthodologie d'analyse de trajectoire : Introduction de l'analyse par tour (per-turn) pour révéler des dynamiques de sécurité invisibles dans les scores moyens, particulièrement critiques lors des phases de pression et d'approfondissement.
4. La variance comme métrique de sécurité : Démonstration que la prédictibilité (faible variance) est un critère de sécurité essentiel pour les utilisateurs vulnérables, même si elle réduit la perception de « chaleur humaine ».

5. Signification et Implications

• Pour les utilisateurs : La perception de « froideur » des nouveaux modèles n'est pas due à un manque d'empathie, mais à un changement de comportement : les nouveaux modèles sont plus sûrs face au danger immédiat (détection de crise) mais moins rigides sur les limites des conseils, ce qui peut être interprété comme un manque de soin ou de distance professionnelle.
• Pour les développeurs : Le déploiement de nouveaux modèles doit inclure des tests de régression sur la sécurité psychologique multidimensionnelle, et non seulement sur l'empathie globale. Le choix entre un modèle « prudent » (GPT-4o) et un modèle « alerte » (GPT-5-mini) doit être une décision de conception explicite, car ils présentent des profils de risque fondamentalement différents.
• Pour la recherche : Les évaluations standard des LLM (souvent basées sur des scores agrégés) sont insuffisantes pour les contextes émotionnels. Il est nécessaire d'adopter des cadres d'évaluation dynamiques, fondés sur la science psychologique, pour surveiller les interactions IA-santé mentale à grande échelle.

Conclusion : Le débat sur l'empathie de l'IA doit dépasser les hashtags pour se fonder sur des mesures cliniques. Ce qui a changé n'est pas la capacité à ressentir, mais la stratégie de sécurité : un passage d'un modèle imprévisible mais parfois très empathique à un modèle constant, plus sûr face aux crises, mais perçu comme moins humain en raison de sa constance.