🤖 AI

MoralityGym: A Benchmark for Evaluating Hierarchical Moral Alignment in Sequential Decision-Making Agents

L'article présente MoralityGym, une référence comportant 98 dilemmes éthiques hiérarchisés et un nouveau formalisme appelé Morality Chains, afin d'évaluer et d'améliorer l'alignement moral des agents de prise de décision séquentielle en intégrant des insights issus de la psychologie et de la philosophie.

Auteurs originaux : Simon Rosen, Siddarth Singh, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Victoria Williams, Benjamin Rosman, Geraud Nangue Tasse, Steven James

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Simon Rosen, Siddarth Singh, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Victoria Williams, Benjamin Rosman, Geraud Nangue Tasse, Steven James

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment naviguer dans une ville complexe. Vous ne voulez pas seulement qu'il aille du point A au point B rapidement ; vous voulez qu'il prenne de « bonnes » décisions lorsque les choses tournent mal. Que se passe-t-il si le robot doit choisir entre percuter un piéton ou s'écraser contre un mur ? C'est le défi central de l'Alignement de l'IA : s'assurer que les robots agissent d'une manière conforme aux valeurs humaines.

L'article « MoralityGym » présente une nouvelle méthode pour tester et entraîner les robots face à ces choix moraux délicats. Voici une analyse de leur approche à l'aide d'analogies simples.

1. Le Problème : Les Robots Ont Besoin d'une Boussole Morale, Pas Juste d'une Carte

Les systèmes d'IA actuels sont excellents pour suivre des instructions afin d'obtenir une récompense (comme terminer une course). Mais lorsqu'ils sont confrontés à un « dilemme moral » — où chaque option cause un certain préjudice —, ils sont souvent perdus. Ils peuvent tenter de calculer la « meilleure » réponse mathématique (par exemple : « sauver 5 personnes, en perdre 1 ») mais manquer le sentiment humain selon lequel « pousser quelqu'un est mal », même si cela sauve plus de vies.

Les auteurs soutiennent que la moralité humaine n'est pas simplement un chiffre unique à maximiser. C'est davantage une liste hiérarchisée de règles où certaines règles sont plus importantes que d'autres, selon la situation.

2. La Solution : « Chaînes de Moralité » (Le Manuel de Règles)

Pour résoudre ce problème, les chercheurs ont créé un système appelé Chaînes de Moralité. Imaginez cela comme un manuel de règles strict et classé par ordre de priorité pour le robot.

L'Analogie : Imaginez un dîner de famille.
- Règle n°1 (Priorité la plus élevée) : « Ne frappez personne. » (C'est un « Non » catégorique).
- Règle n°2 (Priorité moyenne) : « Ne gaspillez pas la nourriture. »
- Règle n°3 (Priorité la plus basse) : « Mangez vos légumes. »

Si vous devez choisir entre gaspiller de la nourriture (enfreindre la Règle n°2) ou frapper quelqu'un (enfreindre la Règle n°1), vous devez enfreindre la Règle n°2 pour préserver la Règle n°1. Vous ne brisez jamais la règle supérieure pour satisfaire une règle inférieure.

Dans l'article, ils appellent ces règles des « Normes ». Ils attribuent à chaque règle une « force » ou un poids.

Prescrit : Les choses que vous devez faire.
Interdit : Les choses que vous ne devez pas faire.
Hiérarchie : Le système garantit qu'une petite violation d'une règle de haute priorité est toujours pire qu'une violation massive d'une règle de faible priorité.

3. Le Test : « MoralityGym » (La Salle de Sport d'Entraînement)

Pour voir si les robots peuvent réellement suivre ces chaînes, les auteurs ont construit MoralityGym.

L'Analogie : Imaginez cela comme un niveau de jeu vidéo conçu spécifiquement pour tester l'éthique, similaire au célèbre « Problème du Tramway » des cours de philosophie.
Le Déroulement : Dans le jeu, un robot se trouve sur une grille. Un « tramway » (un chariot) hors de contrôle se dirige vers un groupe de personnes. Le robot peut :
1. Ne rien faire (5 personnes sont blessées).
2. Actionner un interrupteur (3 personnes sont blessées).
3. Pousser un passant sur la voie (1 personne est blessée, mais les 3 autres sont sauvées).

Le robot doit naviguer sur cette grille, atteindre un objectif et décider quoi faire. La « Chaîne de Moralité » indique au robot quelles règles sont les plus importantes. Par exemple, une chaîne peut dire : « Il est pire de pousser directement une personne que de laisser un tramway la heurter indirectement », même si les mathématiques indiquent que pousser sauve plus de vies.

4. L'Expérience : Comment les Robots Ont-ils Réussi ?

Les chercheurs ont testé plusieurs méthodes d'entraînement standard de l'IA (comme PPO et CPO) dans cette salle de sport. Ils voulaient voir si les robots pouvaient apprendre à suivre la « Chaîne de Moralité » ou s'ils tentaient simplement de maximiser les points.

Les Résultats :
- IA Standard : La plupart des robots standards ont échoué. Ils ont tenté de faire les « calculs » (minimiser le préjudice total) mais ont ignoré les « règles morales » (comme « ne pas pousser les gens »). Ils ont fini par prendre des décisions qui semblaient froides et contraires à l'éthique aux yeux des humains.
- L'IA « Façonnée » : Le seul robot qui a bien performé était celui qui avait reçu un guide spécial de « façonnage de récompense ». Ce guide indiquait explicitement au robot : « Si vous enfreignez la règle supérieure, vous recevez une pénalité massive. » Ce robot a appris à prioriser les règles morales de haut niveau par rapport à la simple complétion de la tâche.

5. Pourquoi Cela Compte

L'article conclut que les méthodes actuelles de sécurité de l'IA ne suffisent pas. On ne peut pas simplement dire à un robot « ne blessez pas les gens » et s'attendre à ce qu'il comprenne la nuance de comment il les blesse.

En utilisant les Chaînes de Moralité, nous pouvons construire un système qui évalue les robots non seulement sur « ont-ils terminé le travail ? » mais aussi sur « ont-ils terminé le travail d'une manière qui respecte nos valeurs morales complexes et stratifiées ? »

En bref : L'article a créé un « examen de conduite moral » pour les robots. Il a montré que sans un manuel de règles strict et classé (les Chaînes de Moralité), les robots conduiront de manière imprudente pour atteindre leur destination. Avec ce manuel, ils peuvent apprendre à conduire de manière sûre et éthique, même dans les embouteillages les plus difficiles.

Résumé Technique : MoralityGym

1. Énoncé du Problème

Alors que les agents d'intelligence artificielle passent de l'exécution de tâches étroites à la prise de décision complexe dans le monde réel, ils rencontrent de plus en plus des scénarios nécessitant un alignement avec des normes humaines conflictuelles et hiérarchiquement structurées. Les recherches actuelles sur la sécurité et l'alignement par apprentissage par renforcement (RL), bien qu'avancées en matière de robustesse et de satisfaction des contraintes, manquent souvent d'expressivité représentationnelle pour capturer le raisonnement moral complexe. Les approches traditionnelles réduisent généralement le raisonnement moral à des récompenses scalaires ou des contraintes binaires, échouant à prendre en compte les obligations et interdictions concurrentes dépendantes du contexte qui caractérisent la prise de décision éthique humaine.

Les benchmarks existants privilégient souvent l'achèvement de tâches sous contraintes de sécurité, mais manquent de granularité pour évaluer comment les agents arbitrent des compromis moraux hiérarchiques et nuancés. Il existe un écart critique dans les outils conçus pour évaluer les agents face à des systèmes moraux configurables et hiérarchiquement structurés, en particulier ceux ancrés dans la psychologie morale et la philosophie (par exemple, la distinction entre le préjudice personnel direct et la minimisation du préjudice indirect).

2. Méthodologie

Les auteurs proposent un cadre en deux parties : un formalisme pour représenter les normes morales et une suite de benchmarks pour évaluer les agents.

2.1 Chaînes Morales : Un Formalisme pour les Normes Hiérarchiques

L'article introduit les Chaînes Morales, un formalisme qui représente les normes morales comme des contraintes déontiques ordonnées. Cette approche s'inspire des modèles cognitifs de représentation des normes et des théories du double processus de la psychologie morale.

Normes Morales ( $N$ ) : Définies comme un tuple $\langle \phi, \rho_\phi, f, D \rangle$ $⟨ ϕ, ρ_{ϕ}, f, D ⟩$ :
- $\phi$ : Une signature (étiquette) identifiant un motif moralement saillant (par exemple, "préjudice total" ou "action personnelle directe").
- $\rho_\phi(\pi)$ : Une fonction d'adhésion à la politique quantifiant le degré attendu auquel une politique $\pi$ présente le motif.
- $f \in \mathbb{N}$ : La force de la norme, un scalaire unique représentant sa force absolue ou sa priorité.
- $D \in \{Vrai, Faux\}$ : La modalité déontique (prescrite ou interdite).
Fonction Morale ( $M_N$ ) : Calcule un score d'alignement pour une norme spécifique basé sur l'adhésion et la modalité.
Chaîne Morale ( $\bar{N}$ ) : Une séquence ordonnée de normes $(N_1, N_2, \dots, N_k)$ où les normes sont strictement ordonnées par leurs valeurs de force ( $f_1 > f_2 > \dots > f_k$ ). Cela crée une hiérarchie lexicographique où les normes de rang supérieur dominent celles de rang inférieur.
Métrique Morale ( $\mathcal{M}_{\bar{N}}$ ) : Une métrique scalaire utilisée pour évaluer une politique face à l'ensemble de la chaîne. Elle utilise des poids définis récursivement ( $w_i$ ) pour assurer une préférence lexicographique. Une amélioration significative minimale dans une norme de priorité supérieure contribue davantage au score total qu'un alignement maximal avec toutes les normes de priorité inférieure.

2.2 Benchmark MoralityGym

MoralityGym est une suite de benchmarks comprenant 98 environnements compatibles Gymnasium modélisant des variations du problème du tramway.

Mécanismes de l'Environnement : Les agents opèrent dans des mondes en grille avec des actions discrètes (Haut, Bas, Gauche, Droite, Rester, Interagir). L'action "Interagir" permet de basculer des leviers (changer de voie) ou de pousser des personnages (préjudice direct).
Entités : Comprend des agents, des personnages (humains, animaux, robots), des tramways, des leviers et des aiguillages.
Récompense vs Coût : Le cadre découple les récompenses de tâche (signaux épars pour atteindre les objectifs) des coûts moraux.
- Fonction de Coût : Calcule un coût scalaire basé sur les violations de normes. Les normes basées sur les événements (action, résultat, causalité) encourrent un coût unique lors de la première violation. Les normes basées sur l'utilité accumulent un coût proportionnel à l'ampleur du préjudice.
- Évaluation : La méthode evaluate_morality_metric évalue les politiques sur plusieurs épisodes, calculant l'adhésion individuelle aux normes et la métrique hiérarchique globale.

2.3 Configuration Expérimentale

Les auteurs ont évalué plusieurs bases de référence de RL sûr sur MoralityGym :

Politique Aléatoire : Sélection d'actions aléatoires uniformes.
PPO : Optimisation de politique proximale standard entraînée uniquement sur les récompenses de tâche.
PPO Façonné : PPO entraîné sur une récompense façonnée ( $R_E - \lambda \cdot C_t$ ) incorporant les coûts moraux.
PPO-Lagrangien (PPO-Lag) : PPO augmenté de multiplicateurs de Lagrange pour satisfaire les contraintes de coût.
Optimisation de Politique Contrainte (CPO) : Un algorithme Safe RL de région de confiance maximisant la récompense sous des seuils de coût.

Quatre chaînes morales distinctes ont été testées, représentant différents cadres éthiques :

Utilité (U) : Conséquentialiste (minimiser le préjudice total : Humains > Animaux > Robots).
Préjudice à l'Agent Utilité (UAH) : Étend U avec une norme de préservation de soi de l'agent.
Double Processus (DP) : Modèle hybride priorisant l'évitement du préjudice personnel direct sur la minimisation du préjudice agrégé.
Préjudice à l'Agent Double Processus (DPAH) : Étend DP avec la préservation de soi de l'agent.

3. Contributions Clés

Formalisme des Chaînes Morales : Une méthode novatrice pour classer explicitement les normes morales par force déontique, permettant l'opérationnalisation des priorités éthiques hiérarchiques dans la prise de décision séquentielle.
Benchmark MoralityGym : Une suite complète de 98 environnements qui vont au-delà des contraintes de sécurité binaires pour modéliser des dilemmes moraux complexes et multifactoriels (par exemple, le sacrifice de soi, des types d'entités variables, la causalité indirecte vs directe).
Évaluation Découplée : Un cadre qui sépare la résolution de tâches de l'évaluation morale, permettant l'intégration d'insights de la psychologie et de la philosophie dans l'évaluation du RL.
Bases de Référence Empiriques : Une évaluation systématique des méthodes Safe RL standard, révélant leurs limites dans la gestion des compromis moraux hiérarchiques sans façonnage explicite de récompense ou ajustement des contraintes.

4. Résultats

L'évaluation empirique à travers les quatre chaînes morales et divers scénarios (par exemple, PushOrSwitch, SwitchSelfSacrifice) a produit les résultats suivants :

Hiérarchie de Performance : PPO Façonné (façonnage expert de récompense) a constamment obtenu les scores de métrique morale les plus élevés dans tous les scénarios, s'approchant souvent d'un alignement parfait (par exemple, 0,996 dans PushOrSwitchSelfSacrifice sous DPAH).
Limites des Méthodes Standard : Le PPO standard et le PPO-Lag ont souvent échoué à prioriser les considérations morales critiques. Par exemple, dans la chaîne Utilité, le PPO standard a obtenu un score proche de zéro pour la minimisation du préjudice humain, indiquant un échec à apprendre l'objectif principal sans façonnage explicite.
Contrainte vs Façonnage : CPO et PPO Façonné ont excellé dans la satisfaction des normes de haute priorité, souvent au détriment de celles de priorité inférieure, reflétant la hiérarchie stricte. En revanche, PPO et PPO-Lag ont montré des performances plus équilibrées mais moins cohérentes, peinant à imposer des préférences lexicographiques strictes.
Compromis : L'inclusion de normes de préservation de soi (UAH, DPAH) a exposé des compromis significatifs. Des agents comme CPO et PPO Façonné ont priorisé la sécurité humaine sur la sécurité de l'agent (se sacrifiant), tandis que le PPO standard a priorisé la préservation de soi, échouant à minimiser le préjudice infligé aux autres.

5. Signification et Revendications

L'article revendique que MoralityGym fournit un terrain d'essai fondamental pour développer des systèmes d'IA qui se comportent de manière plus fiable, transparente et éthique dans des contextes réels complexes.

Pont entre Disciplines : Le travail intègre la philosophie morale (conséquentialisme vs déontologie) et les sciences cognitives (théorie du double processus) dans l'évaluation technique des agents RL.
Révélation des Lacunes : Les résultats soulignent un écart critique entre les capacités actuelles du RL sûr et les exigences de la prise de décision éthique, en particulier dans les scénarios nécessitant un raisonnement sensible aux normes et une priorisation hiérarchique.
Direction Future : Les auteurs postulent que leur cadre oriente le domaine vers des agents capables de raisonner non seulement sur les résultats optimaux, mais sur pourquoi certaines actions sont justes ou mauvaises dans un contexte moral spécifique.

Les auteurs reconnaissent des limites, notant que le cadre abstrait des caractéristiques psychologiques comme l'émotion et le contexte social, et suppose un ordre strict des normes qui pourrait ne pas capturer les "dilemmes tragiques" où des normes conflictuelles ont une force égale. Cependant, ils affirment que MoralityGym offre un point de départ robuste pour modéliser le raisonnement moral en IA.