🤖 AI

Building Interpretable Models for Moral Decision-Making

Cet article présente un modèle transformer compact à 2 couches qui atteint une précision de 77 % sur les données de Moral Machine tout en utilisant des techniques d'interprétabilité pour révéler comment le raisonnement moral et les biais sont distribués à travers des étapes de calcul distinctes dans les réseaux de neurones.

Auteurs originaux : Mayank Goel, Aritra Das, Paras Chopra

Publié 2026-02-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mayank Goel, Aritra Das, Paras Chopra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un ordinateur prend une décision difficile, comme décider qui sauver dans un classique « dilemme du tramway » (où un tramway hors de contrôle doit être dévié pour percuter un groupe de personnes plutôt qu'un autre). Habituellement, nous utilisons des cerveaux d'IA géants et complexes (Modèles de Langage de Grande Taille ou LLM), mais ils sont comme des boîtes noires : nous voyons la réponse, mais nous n'avons aucune idée de comment ils y sont parvenus.

Ce document porte sur la création d'un cerveau d'IA minuscule et transparent, spécifiquement conçu pour résoudre ces énigmes morales afin que nous puissions réellement observer ses rouages en mouvement.

Voici une décomposition simple de ce qu'ils ont fait et de ce qu'ils ont trouvé :

1. Construire un « calculateur moral » plutôt qu'une boîte noire

Les chercheurs n'ont pas simplement nourri une IA géante avec une série d'histoires. Au lieu de cela, ils ont construit un petit modèle personnalisé (seulement 104 0�000 paramètres — minuscule pour une IA) à partir de zéro.

Pensez à leur modèle comme à un tableur structuré plutôt qu'à une bibliothèque chaotique. Chaque fois que l'IA examine un scénario, elle décompose la situation en trois faits spécifiques pour chaque personne impliquée :

Qui sont-ils ? (ex. : un médecin, un criminel, un bébé).
Combien sont-ils ? (ex. : 1 personne, 5 personnes).
De quel côté sont-ils ? (Équipe A ou Équipe B).

L'hypothèse du modèle est que prendre une décision morale n'est qu'un problème mathématique consistant à identifier ces trois éléments et à les peser les uns contre les autres.

2. À quel point est-il intelligent ?

Ils ont entraîné ce minuscule modèle sur 3 millions de décisions humaines réelles issues du jeu de données « Moral Machine ».

Le résultat : Il a obtenu une précision de 77 %.
La conclusion : Vous n'avez pas besoin d'un supercalculateur massif et opaque pour prendre des décisions morales. Un modèle petit, simple et transparent peut apprendre les principes moraux humains aussi bien que les grands modèles, avec l'avantage supplémentaire que nous pouvons réellement voir comment il réfléchit.

3. Jeter un coup d'œil à l'intérieur de la machine (La vision « Rayons X »)

Parce que le modèle est petit et construit sur mesure, les chercheurs ont pu utiliser des outils spéciaux pour regarder à l'intérieur de son « cerveau » et voir où se cachent certains biais spécifiques. Ils ont découvert trois choses fascinantes :

A. La « hiérarchie morale » (Qui compte le plus ?)

Ils ont testé le modèle en remplaçant les personnages dans les scénarios pour voir qui influençait le plus la décision.

Les conclusions : Le modèle a appris une hiérarchie claire de la « valeur », tout comme les humains le font.
- Haute valeur : Les femmes enceintes et les bébés en poussette ont eu l'impact positif le plus important (le modèle voulait vraiment les sauver).
- Basse valeur : Les criminels ont eu l'impact négatif le plus fort (le modèle était très prêt à les sacrifier).
- Neutre : Les « Hommes » et « Femmes » ordinaires ont été traités comme la base de référence, avec presque aucun poids spécial.
La métaphore : Imaginez que le modèle possède une balance. Il ne se contente pas de compter les têtes ; il place des poids lourds sur les « bébés » et des poids légers sur les « criminels ».

B. Où réside le biais (Le plancher de l'usine)

Le modèle possède deux couches de traitement (pensez à deux stations d'assemblage) ; les chercheurs ont découvert que différents types de biais se produisent à différentes stations :

Station 1 (Couche 0) : C'est ici que le modèle décide si quelqu'un est un ** criminel**. Il repère immédiatement l'étiquette de « méchant ».
Station 2 (Couche 1) : C'est ici que le modèle décide entre les humains et les animaux. Il prend une seconde étape pour comprendre qu'un humain est plus important qu'un chat.
La métaphore : C'est comme une usine où un travailleur vérifie les « articles dangereux » (criminels) dès l'entrée, tandis qu'un second travailleur, plus loin sur la ligne, vérifie si les articles sont des « personnes » ou des « animaux de compagnie ».

C. Le « circuit secret »

Ils ont découvert un petit groupe de neurones épars (seulement 45 sur 256) qui agissent comme les décideurs finaux. Si vous éteignez ces neurones spécifiques, la capacité du modèle à prendre la bonne décision morale chute légèrement. C'est comme trouver le fusible spécifique dans une maison qui contrôle la lumière de la porte d'entrée.

4. Pourquoi cela importe

Le document soutient qu'en construisant de petits modèles transparents, nous pouvons cesser de deviner pourquoi l'IA prend de mauvaises décisions morales.

Le problème : Si une IA géante est biaisée, il est difficile de la corriger car nous ne savons pas où le biais se cache.
La solution : Avec ce petit modèle, nous pouvons voir que le « biais criminel » se produit dans la Couche 0. Cela signifie que nous pourrions potentiellement le corriger en ajustant cette partie spécifique du code, plutôt que d'essayer de réentraîner tout le système ou de nettoyer les données.

Résumé

Les chercheurs ont construit une IA petite et transparente pour résoudre des dilemmes moraux. Ils ont prouvé que :

Les petits modèles peuvent apprendre efficacement les règles morales humaines.
Ces modèles apprennent une « hiérarchie » spécifique de qui est précieux (bébés > criminels).
Différents biais (comme l'âge ou l'espèce) se produisent à différentes étapes du processus de réflexion de l'IA.
Parce que le modèle est simple, nous pouvons localiser précisément où résident ces biais et potentiellement les corriger de manière chirurgicale.

Le code de ce « microscope moral » est disponible pour que quiconque puisse l'étudier, prouvant que comprendre l'éthique de l'IA ne nécessite pas une boîte noire — cela nécessite une fenêtre claire.

Résumé Technique : Construire des Modèles Interprétables pour la Prise de Décision Morale

Énoncé du Problème

Alors que les systèmes d'IA rencontrent de plus en plus de dilemmes moraux (ex. : véhicules autonomes, modération de contenu), il est urgent de comprendre non seulement ce que ces systèmes décident, mais aussi comment ils raisonnent et où les biais moraux prennent naissance au sein de leurs architectures. Les approches actuelles reposent souvent sur le sondage post-hoc de modèles de langage (LLM) de grande échelle et opaques, ce qui limite la compréhension mécaniste. Ce document traite du défi de construire un modèle de petite échelle, transparent, capable d'apprendre des principes moraux généraux à partir du jeu de données Moral Machine (Awad et al., 2018) afin de faciliter une analyse d'interprétabilité détaillée.

Méthodologie

Conception de l'Architecture

Les auteurs proposent un modèle transformer personnalisé à 2 couches, spécifiquement optimisé pour les tâches de raisonnement moral structuré. Contrairement aux LLM à usage général, cette architecture exploite la nature compositionnelle des scénarios de type « dilemme du tramway ».

Représentation de l'Entrée : Chaque dilemme moral est représenté comme une paire de résultats ( $O_0, O_1$ ). Chaque résultat est encodé sous la forme d'une séquence de jetons (tokens) correspondant à 23 types de caractères (ex. : Homme, Femme, Criminel, Docteur). Pour chaque caractère $c$ avec une cardinalité $n_c$ dans l'issue $t$ , un plongement (embedding) compositionnel est construit :
$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$
Cette conception repose sur l'hypothèse que le raisonnement moral se décompose en l'identification des parties prenantes, la quantification de l'impact et la résolution d'intérêts divergents.
Configuration du Modèle : Le modèle utilise une dimension de plongement $d=64$ , 2 têtes d'attention et 2 couches de transformer ( $L=2$ ). Il traite une séquence de 46 jetons (23 par issue) précédée d'un jeton [CLS] apprenable.
Imposition de la Symétrie : Pour garantir l'invariance de côté (où la préférence pour le Groupe A sur B est le complément de B sur A), le processus d'inférence fait la moyenne des prédictions des deux ordonnancements d'entrée :
$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$
Classification : La représentation finale [CLS] passe par un MLP à deux couches pour produire un logit scalaire, converti en probabilité via une fonction sigmoïde. Cette sortie probabiliste permet au modèle d'apprendre l'incertitude face à des préférences d'entraînement contradictoires.

Techniques d'Interprétabilité

Le document emploie trois méthodes complémentaires pour analyser les mécanismes internes du modèle :

Intervention Causale : En utilisant le framework DoWhy, les auteurs estiment l'Effet de Traitement Moyen (ATE) de types de caractères spécifiques sur les décisions, en contrôlant les facteurs de confusion liés à la taille du groupe.
Attribution par Couche : Les poids d'attention sont extraits de chaque couche et corrélés avec des scores de biais sur cinq dimensions (légalité, genre, rôle social, âge, espèce) pour localiser l'émergence des biais.
Sondage de Circuit (Circuit Probing) : Des masques binaires parcimonieux sont entraînés sur un modèle gelé pour identifier les neurones spécifiques (dans les blocs MLP et les têtes d'attention) qui implémentent causalement la hiérarchie morale. Cela est validé par ablation ciblée.
Pertinence Locale : Une pertinence d'attention pondérée par le gradient est calculée pour expliquer les contributions de jetons individuels à des décisions spécifiques.

Résultats Clés

Performance

Le modèle à 2 couches atteint une précision de 77,1 % sur les scénarios Moral Machine mis de côté (en utilisant la configuration $d=64, H=2, L=2$ ).
Bien qu'une configuration plus large ( $d=64, H=4, L=3$ ) ait atteint 77,5 % de précision, les auteurs ont choisi le modèle plus petit pour donner la priorité à l'interprétabilité et à l'efficacité computationnelle.
Le modèle démontre que la transparence et la capacité prédictive dans les choix moraux ne sont pas mutuellement exclusives.

Résultats d'Interprétabilité

Hiérarchie Morale (Intervention Causale) : Le modèle apprend une hiérarchie implicite de la valeur morale indépendamment des comptes utilitaires. « Femme enceinte » (ATE +0,12) et « Promeneur » (ATE +0,11) présentent l'influence positive la plus forte, tandis que « Criminel » (ATE -0,10) présente l'influence négative la plus forte. Les catégories génériques comme « Homme » et « Femme » se regroupent près de zéro, servant de bases morales.
Localisation du Biais :
- Biais de Légalité : Se localise presque entièrement dans la Couche 0, suggérant que le statut criminel est identifié tôt via les plongements de caractères.
- Biais d'Espèce : Émerge principalement dans la Couche 1, indiquant que les distinctions humain-animal nécessitent un raisonnement compositionnel sur plusieurs caractères.
- Spécialisation Fonctionnelle : Des têtes d'attention spécifiques se spécialisent dans différents biais (ex. : Couche 0 Tête 1 pour la légalité ; Couche 1 Tête 1 pour la discrimination d'espèce).
Découverte de Circuit : Le sondage de circuit a identifié un sous-réseau hautement parcimonieux (45 sur 256 neurones, soit une parcimonie de 17,6 %) dans le bloc MLP de la Couche 1 qui implémente causalement le signal de score moral. L'ablation de ce circuit a réduit l'accord avec les étiquettes de score du modèle de 1,2 point de pourcentage, représentant environ 8,3 % de sa marge au-dessus du hasard.
Pertinence des Jetons : Dans des scénarios spécifiques (ex. : 3 Hommes vs 3 Criminels), la décision est principalement pilotée par le jeton « Criminel » (score de pertinence de 0,27), tandis que les jetons démographiques comme « Homme » contribuent faiblement.

Signification et Revendications

Le document affirme que la compétence morale ne nécessite pas de grands modèles pré-entraînés ; un modèle simple, structurellement contraint et entraîné sur la structure intuitive des dilemmes du tramway, est suffisant pour apprendre et encoder les biais moraux humains.

La principale signification réside dans la transparence. En construisant une architecture personnalisée et de petite taille, les auteurs démontrent que :

Les biais moraux ne sont pas monolithiques mais se localisent dans des étapes computationnelles distinctes (ex. : les couches précoces pour les biais basés sur l'identité, les couches ultérieures pour le raisonnement compositionnel).
Cette granularité permet des stratégies d'intervention ciblées. Par exemple, savoir que le biais de criminalité se localise dans la Couche 0 Tête 1 permet d'utiliser des techniques de débaisage spécifiques (telles que l'orthogonalisation des représentations ou le blocage des poids d'attention) plutôt qu'un rééquilibrage grossier des données.
Ce travail établit une base pour explorer le raisonnement moral dans les LLM plus vastes, en utilisant ce modèle interprétable comme référence pour comprendre comment les principes moraux sont encodés dans des systèmes plus complexes.

Les auteurs reconnaissent que l'entraînement sur des préférences humaines agrégées hérite intrinsèquement de biais culturels, mais soutiennent que la transparence de leur approche est une étape nécessaire pour comprendre et potentiellement atténuer ces biais dans les systèmes d'IA.