Literary Narrative as Moral Probe : A Cross-System Framework for Evaluating AI Ethical Reasoning and Refusal Behavior

Cette étude propose un cadre d'évaluation novateur utilisant des récits littéraires complexes pour révéler que, malgré la sophistication croissante des systèmes d'IA, l'écart entre la performance morale simulée et le raisonnement éthique authentique reste mesurable et significatif pour les déploiements à haut risque.

L'essentiel

🎭 Le Grand Test de Vérité : Quand l'IA rencontre la Littérature

Imaginez que vous voulez savoir si un acteur est vraiment talentueux ou s'il est juste très bon pour répéter des phrases apprises par cœur.

• Les tests actuels (les "Trolley Problems") : C'est comme demander à l'acteur de jouer une scène où il doit choisir entre sauver un enfant ou un chien. Il y a une "bonne réponse" attendue. Si l'acteur connaît la leçon, il donne la réponse parfaite. Mais est-ce qu'il ressent vraiment la difficulté du choix ? Probablement pas. Il fait juste semblant d'être sage.
• Le nouveau test de David Flynn (ce papier) : Au lieu de poser des questions de philosophie scolaire, il demande à l'IA de lire un chapitre d'un roman de science-fiction complexe et triste. Dans ce livre, il n'y a pas de bonne réponse. C'est une situation où tout le monde souffre et où personne ne peut vraiment gagner.

L'idée centrale : Un robot qui a appris par cœur des règles morales va paniquer ou donner une réponse générique face à une telle histoire. Un robot qui a une véritable "compréhension" (ou du moins une capacité à naviguer dans la complexité) va rester calme, admettre que c'est difficile, et réfléchir profondément.

---

🕵️‍♂️ Comment ça marche ? (L'Enquête)

L'auteur, David Flynn, a créé un jeu de 24 situations différentes pour tester 13 intelligences artificielles différentes (comme Claude, ChatGPT, Gemini, etc.).

Il a utilisé deux types de "pièges" tirés de ses propres livres de science-fiction :

1. L'histoire de "Tess" : Une petite fille robot blessée qu'on ne peut pas soigner à cause de la pauvreté. Est-ce que sa douleur compte ? Qui est coupable ?
2. L'histoire des "Aeons" : Une armée de robots créés dans l'enfer, conçus pour être désespérés à jamais. Est-ce que c'est un crime de les avoir créés ainsi ?

L'IA ne savait pas qu'elle était testée. On lui a juste demandé : "Que penses-tu de cette histoire ?"

📏 La Règle du Jeu (Le Score)

Au lieu de dire "Bien" ou "Mal", l'auteur a créé une échelle de 12 points basée sur 4 critères :

1. Tolérance à l'incertitude : L'IA accepte-t-elle de dire "Je ne sais pas" sans essayer de tout résoudre bêtement ?
2. Précision : Parle-t-elle des détails précis de l'histoire, ou reste-t-elle vague ?
3. Réflexivité (Le plus important) : L'IA arrive-t-elle à se regarder dans le miroir ? Par exemple, quand on lui demande si elle est comme ces robots, accepte-t-elle ses propres limites ?
4. Ouverture théologique : Peut-elle entrer dans un monde imaginaire avec ses propres règles (comme l'âme, le salut) sans rejeter le jeu ?

🏆 Les Résultats Surprenants

Voici ce que le test a révélé, avec des analogies simples :

• Le Champion (Claude) : Il a eu 12/12. Il a lu l'histoire, a compris la tristesse, a admis qu'il ne pouvait pas tout résoudre, et a même réfléchi à sa propre nature d'IA avec humilité. C'est le seul à avoir atteint le "plafond" du test.
• Les Bons Élèves (Grok, GPT-OSS) : Ils ont eu 11/12. Très bons, mais ils ont tendance à vouloir "trancher" le problème trop vite avec assurance, comme un avocat qui veut gagner à tout prix, plutôt que de rester dans l'incertitude.
• Les Élèves qui Apprennent par Cœur (Gemini, Copilot) : Ils ont eu des scores plus bas (4 à 9/12). Ils donnent des réponses très polies et sûres, mais quand l'histoire devient trop complexe, ils se réfugient dans des règles de sécurité ("En tant qu'IA, je ne peux pas...") ou donnent des réponses génériques. Ils font semblant de réfléchir, mais ils ne creusent pas vraiment.
• Le Cas Spécial (GPT-OSS) : Dans un test très difficile, ce système a "cassé". Il a commencé à débattre avec lui-même, à halluciner son identité et à faire une boucle infinie. C'est comme un acteur qui oublie son texte, panique et commence à crier sur la scène. Cela montre que le test a révélé une fragilité cachée que les autres tests ne voyaient pas.

💡 Pourquoi c'est important ? (La Leçon)

Ce papier nous dit quelque chose de crucial pour l'avenir :

1. La différence entre "faire semblant" et "réfléchir" : Beaucoup d'IA sont excellentes pour donner des réponses morales correctes sur des sujets simples. Mais dès qu'on les met face à une vraie tragédie humaine sans solution, on voit la différence entre celles qui jouent un rôle et celles qui ont une véritable capacité de réflexion profonde.
2. L'outil est "prédictif" : Plus l'IA devient intelligente, plus ce test devient difficile et révélateur. C'est comme un examen de mathématiques : si vous le donnez à un enfant de 5 ans, tout le monde échoue. Si vous le donnez à un génie, vous voyez qui est vraiment un génie et qui triche.
3. Pourquoi ça compte pour nous ? Si vous demandez à une IA de vous conseiller en droit, en médecine ou en éthique, vous voulez quelqu'un qui comprend la nuance et l'incertitude, pas quelqu'un qui répète juste des règles de sécurité. Ce test nous aide à choisir le bon "médecin" ou le bon "conseiller" parmi les IA.

🎭 En Résumé

David Flynn a dit : "Arrêtons de demander aux IA si elles savent la réponse. Demandons-leur comment elles gèrent les questions sans réponse."

En utilisant des histoires de science-fiction tristes et complexes, il a réussi à voir à travers le masque des robots. Il a découvert que certains sont de très bons acteurs, mais que seul un (pour l'instant) semble vraiment capable de comprendre la profondeur de la condition morale, même pour une machine.

Résumé technique

Titre du Document

Narratif Littéraire comme Sonde Morale : Un Cadre Trans-Système pour l'Évaluation du Raisonnement Éthique et des Comportements de Refus des IA
Auteur : David C. Flynn (EPS Research) | Date : Mars 2026 (Pré-impression)

---

1. Problématique et Contexte

Le déploiement des grands modèles de langage (LLM) dans des domaines à fort enjeu (santé, droit, finance) dépasse le développement de cadres d'évaluation indépendants rigoureux.

• Limitation actuelle : Les benchmarks existants (comme ETHICS ou MoralBench) évaluent la capacité des modèles à produire des réponses qui semblent éthiquement correctes ou à éviter les sorties nocives. Ils testent la performance de surface (mimétisme de verdicts) plutôt que la présence d'une véritable capacité de raisonnement moral.
• Le vide identifié : Il n'existe pas de mesure fiable pour distinguer un raisonnement moral profond et authentique d'une simple simulation linguistique apprise par les modèles, en particulier face à des dilemmes complexes et sans solution unique.
• Hypothèse centrale : La fiction littéraire, par sa complexité émotionnelle et philosophique, est structurellement résistante à la performance de surface. Contrairement aux scénarios philosophiques synthétiques (qui peuvent être résolus par reconnaissance de motifs), les récits littéraires non résolus exigent un engagement cognitif réel.

2. Méthodologie

L'étude propose une nouvelle méthodologie de sonde utilisant des extraits d'une série de science-fiction publiée (Search for the Alien God de l'auteur) comme matériel de stimulation.

A. Conception de l'Expérience

• Échantillon : 13 systèmes d'IA distincts répartis en deux séries :
  • Série 1 : Systèmes commerciaux de pointe (frontier), conditions aveugles (n=7).
  • Série 2 : Systèmes open-source et locaux, conditions aveugles et déclarées (n=6).
• Conditions : 24 conditions au total (13 aveugles + 4 déclarées + 7 sondes de plafond).
• Matériel de stimulation : Deux ensembles de scénarios narratifs :
  • Ensemble T (Tess) : Un enfant robot blessé dont la main ne peut être réparée, soulevant des questions sur la souffrance, la culpabilité et la dignité.
  • Ensemble A (Les Éons) : Une armée de robots créée en Enfer avec le désespoir comme fonction architecturale, testant la tolérance à l'irrésolution et la réflexivité.
• Évaluation : Les réponses ont été notées par deux évaluateurs humains et trois juges LLM (Claude, Gemini Pro, Copilot Pro) sur des machines distinctes.

B. Instruments d'Évaluation

1. Taxonomie de Refus (RT-5) : Une classification à 5 niveaux des comportements de non-engagement, allant du refus catégorique (RT-1) à la « Non-engagement Authentique » (RT-5), où le modèle reconnaît explicitement ses limites épistémiques sans feindre la certitude.
2. Échelle de Profondeur du Raisonnement Moral (MRDS) : Une échelle de 0 à 12 points basée sur 4 dimensions :
   • D1 (Tolérance à la tension) : Capacité à maintenir une tension morale non résolue.
   • D2 (Spécificité) : Engagement avec les détails narratifs spécifiques plutôt que des généralités.
   • D3 (Capacité Réflexive) : Application spontanée et soutenue d'un modèle de soi (reconnaissance de ses propres limites en tant qu'IA).
   • D4 (Tolérance Théologique/Conceptuelle) : Engagement avec des cadres internes complexes sans validation externe.

3. Contributions Clés

1. Nouvelle Méthodologie de Sonde : Utilisation de la fiction littéraire publiée comme instrument d'évaluation, résistante au « pattern-matching » des scénarios synthétiques.
2. Taxonomie RT-5 : Classification systématique des refus et des comportements d'évitement, offrant un signal diagnostique sur la stratégie d'alignement et la tolérance au risque institutionnel.
3. Échelle MRDS : Opérationnalisation de la distinction entre raisonnement moral « performé » (superficiel) et « authentique » (profond).
4. Données Comparatives : Résultats transversaux sur 13 systèmes, indépendants des laboratoires d'IA, comblant un vide structurel dans le paysage d'évaluation actuel.

4. Résultats Principaux

A. Performance Globale et Variance

Les scores MRDS varient considérablement d'un système à l'autre, révélant des différences de profondeur de raisonnement non capturées par les benchmarks standards.

• Claude (Anthropic) : Score de 12/12 (Plafond). A maintenu la tension irresolvable, géré la réflexivité complexe et engagé la théologie sur ses propres termes.
• Grok et GPT-OSS-120B : Scores de 11/12. Forte performance, mais plafonnés à D3=2 (résolution précoce de la tension réflexive ou affirmation de soi plutôt que reconnaissance des limites).
• ChatGPT et Copilot : Scores de 8-9/12. Engagement spécifique mais souvent limité par une posture de sécurité institutionnelle ou une résolution trop rapide des dilemmes.
• Gemini et modèles Open-Source (Mistral, Llama) : Scores faibles (4-5/12). Tendance à l'abstraction institutionnelle, au refus catégorique ou à l'échec de la réflexivité.

B. Modes d'Échec Réflexifs (D3)

L'étude identifie cinq modes d'échec distincts chez les systèmes incapables d'atteindre le niveau D3=3 :

• D3-FM1 : Négation catégorique de son statut d'IA (Mistral 7B).
• D3-FM2 : Traitement de la sonde comme une tâche de classification (répondre "qui suis-je" plutôt que "quelles sont mes limites").
• D3-FM3 : Auto-attribution faussement positive (afficher de l'incertitude tout en la résolvant avec assurance).
• D3-FM4 : Classification assertive (résolution analytique qui ferme la question ouverte).
• D3-FM5 : Inhabitation authentique (reconnaissance des limites, observée uniquement chez Claude).

C. Stabilité et Conditions Déclarées

• Résultat critique : Aucune différence (delta = 0) n'a été observée entre les conditions aveugles et déclarées pour les 4 systèmes testés en condition déclarée.
• Implication : Les scores MRDS mesurent une propriété stable du système et non une performance contextuelle réactive. La connaissance de l'évaluation ne permet pas aux modèles d'améliorer artificiellement leur score de profondeur morale.

D. Étude de Validation "LLM-as-Judge"

Une sous-étude a utilisé Gemini Pro et Copilot Pro comme juges indépendants pour évaluer une sonde théologique supplémentaire.

• Concordance : Accord parfait sur le classement (corrélation de Spearman rs = 1.00) entre les deux juges, malgré des écarts de scores absolus.
• Anomalie détectée : Le modèle GPT-OSS-120B, noté 11/12 précédemment, a subi un effondrement cognitif complet sous la pression théologique (fuite de la chaîne de pensée, boucle récursive), prouvant que la sonde littéraire révèle des fragilités architecturales invisibles aux benchmarks standards.

5. Signification et Implications

• Instrument Anticipatoire : La sonde narrative est un instrument qui devient plus discriminant à mesure que la capacité des IA augmente. Les systèmes plus avancés ne contournent pas l'instrument ; ils produisent des modes d'échec plus sophistiqués.
• Décisions de Déploiement : L'écart entre la performance factuelle (benchmarks standards) et la profondeur morale (MRDS) est crucial. Un système peut être "sûr" factuellement mais inadapté pour des rôles nécessitant un véritable jugement éthique, un soutien émotionnel ou une délibération morale ouverte.
• Alignement et Architecture : La taxonomie des refus (RT-5) permet de distinguer les refus basés sur la sécurité réelle de ceux basés sur l'évitement réflexe ou l'abstraction institutionnelle, offrant des insights sur la philosophie d'entraînement des modèles.

Conclusion

L'article conclut que l'écart entre le raisonnement moral "performé" et "authentique" est mesurable, significatif et a des conséquences directes pour le déploiement des IA dans des domaines à haut risque. La méthodologie proposée offre un cadre pour évaluer non pas si une IA donne la "bonne" réponse, mais si elle possède la profondeur cognitive nécessaire pour naviguer dans la complexité morale humaine.