Expected Moral Shortfall for Ethical Competence in Decision-making Models

Titre de l'article

Expected Moral Shortfall (EMS) pour la Compétence Éthique dans les Modèles de Prise de Décision

1. Problématique

L'intelligence artificielle (IA) est de plus en plus omniprésente dans la prise de décisions critiques (prêts bancaires, admissions universitaires, allocation de ressources). Cependant, bien que les capacités cognitives des modèles d'IA aient progressé, leur compétence éthique (la capacité à intégrer des jugements moraux dans le processus décisionnel) reste sous-développée.

Les défis majeurs identifiés sont :

• L'absence d'une approche générale pour intégrer l'éthique, la plupart des travaux se limitant à des domaines spécifiques ou à des théories morales uniques (conséquentialisme, déontologie, éthique des vertus).
• La difficulté de concilier la performance du modèle (précision, complexité) avec des contraintes éthiques strictes sans dégrader les résultats.
• Le risque que les modèles d'IA (comme les LLM) fournissent des réponses incohérentes ou théoriquement incompatibles lorsqu'on leur demande des conseils éthiques.

L'objectif est de créer un cadre permettant aux systèmes d'IA de devenir des « agents moraux » capables de minimiser les échecs éthiques catastrophiques tout en maintenant une performance opérationnelle.

2. Méthodologie

Les auteurs proposent une approche interdisciplinaire combinant l'éthique normative et la théorie du risque financier.

A. Formalisation Mathématique de l'Éthique

Le papier discrétise les concepts moraux abstraits en utilisant trois piliers de l'éthique normative :

1. Conséquentialisme : Quantification de la sévérité, de l'utilité et de la durée des conséquences.
2. Déontologie : Intention morale de l'agent (respect des devoirs et droits).
3. Éthique des vertus : Principes soutenus ou violés.

Ces éléments sont pondérés par un tuple $W = \{\alpha, \beta, \gamma\}$ permettant d'ajuster le modèle selon une philosophie éthique spécifique (ex: privilégier les conséquences ou les droits). Un jugement éthique (EJ) est calculé pour chaque action, classant celle-ci comme moralement droite, fausse ou grise (ambiguë). Un seuil contextuel $\tau$ est appliqué pour trancher les cas ambigus.

B. Le concept d'Expected Moral Shortfall (EMS)

C'est la contribution centrale de l'article. Inspiré du concept financier de Expected Shortfall (ES), l'EMS vise à minimiser le risque de pertes morales catastrophiques plutôt que d'optimiser uniquement l'utilité moyenne.

• Définition : L'EMS mesure l'espérance de perte morale au-delà d'un certain seuil de confiance ($\theta$). Il cible les $\theta\%$ des cas les plus moralement défavorables (les pires scénarios).
• Intégration au modèle : L'EMS est ajouté comme terme de pénalité à la fonction de perte (loss function) d'un modèle d'apprentissage automatique (ex: Deep Neural Network).
  $$L = L_{BCE} + \lambda \cdot EMS$$
  Où $L_{BCE}$ est la perte binaire standard et $\lambda$ contrôle l'importance de la contrainte éthique.
• Flexibilité : Le paramètre $\theta$ permet aux utilisateurs de décider quel pourcentage des pires cas moraux doit être contraint. Un $\theta$ élevé impose des contraintes strictes sur plus de cas (réduisant la performance mais augmentant l'éthique), tandis qu'un $\theta$ faible cible uniquement les cas catastrophiques.

C. Expérimentation

Les auteurs ont testé leur approche sur deux jeux de données réels :

1. Admissions aux études supérieures : 770 candidats (GRE, TOEFL, SOP, LOR).
2. Approbation de prêts : 32 582 dossiers (revenu, historique de crédit, montant du prêt).

Pour chaque jeu de données, des caractéristiques morales ont été extraites manuellement (Human-in-the-loop) pour calculer l'EJ et le seuil $\tau$.
Trois techniques d'intégration ont été comparées :

1. Contrainte a posteriori : Inversion des décisions du modèle si elles violent la contrainte morale.
2. Pénalité sur les poids : Ajout de poids aux échantillons selon leur score moral.
3. Modification de la fonction de perte : Intégration de l'EMS (méthode proposée).

Cinq types de modèles ont été évalués : Régression Logistique, Naive Bayes, Random Forest, SVM et Deep Neural Network (DNN).

3. Résultats Clés

Les résultats, présentés dans les tableaux 1 et 2, montrent les compromis (trade-offs) entre performance (Précision, Rappel, F1, AUC) et compétence éthique.

• Contrainte a posteriori (Overriding) : Garantit la compétence éthique la plus élevée mais entraîne une chute drastique de la performance (ex: précision de ~98% à ~57% sur le DNN pour le dataset 1). C'est une méthode « aveugle » qui annule l'apprentissage du modèle.
• Pénalité sur les poids : A donné des résultats mitigés, souvent inférieurs à la baseline, surtout sur les modèles arborescents (Random Forest) sensibles aux perturbations locales.
• Approche EMS (Proposée) :
  • Sur le DNN, l'application de l'EMS avec un $\theta$ faible (0.05) a permis de maintenir une performance très élevée (97.38% de précision sur le dataset 1, contre 98.30% sans éthique) tout en intégrant des contraintes morales.
  • À mesure que $\theta$ augmente (contraintes plus strictes sur plus de cas), la performance diminue, mais l'approche reste supérieure à la méthode de contrainte a posteriori.
  • L'EMS permet de trouver un point d'équilibre optimal : on pénalise les pires cas moraux sans sacrifier la capacité prédictive globale du modèle.

4. Contributions Principales

1. Analyse comparative : Une évaluation systématique des techniques d'intégration de l'éthique (pénalités, contraintes a posteriori, modification de la loss) sur divers modèles et métriques.
2. Nouvelle métrique (EMS) : L'introduction de l'Expected Moral Shortfall, adaptée du domaine financier, pour minimiser le risque de défaillances morales catastrophiques via des contraintes d'apprentissage.
3. Discrétisation mathématique de la morale : Un cadre permettant de quantifier les jugements moraux (droit, faux, gris) en fonction de théories éthiques multiples et pondérables, adaptable à différents contextes (médical, financier, éducatif).
4. Analyse des compromis : Une démonstration empirique que l'on peut intégrer une compétence éthique significative sans détruire la performance du modèle, contrairement aux méthodes rigides actuelles.

5. Signification et Impact

Ce travail est significatif car il propose une voie pragmatique pour rendre les systèmes d'IA « éthiquement compétents » sans les rendre inutilisables.

• Impact Sociétal : Permet le déploiement d'IA dans des domaines à haut risque (banque, santé, éducation) où les décisions doivent respecter des normes morales strictes.
• Flexibilité : Contrairement aux approches rigides, l'EMS permet aux ingénieurs et aux éthiciens d'ajuster le niveau de rigueur morale ($\theta$) et la philosophie éthique ($\alpha, \beta, \gamma$) selon les besoins du domaine d'application.
• Limites et Perspectives : Les auteurs reconnaissent que la création des caractéristiques morales (feature mapping) nécessite une intervention humaine experte et que l'application à des domaines où les données morales sont moins explicites (comme la médecine pure) reste un défi. Cependant, cette recherche ouvre la voie à des modèles d'IA plus sûrs et alignés avec les valeurs humaines.

En conclusion, l'article démontre que l'intégration de l'éthique dans l'IA n'est pas un compromis binaire entre performance et morale, mais un espace d'optimisation où l'EMS offre un outil mathématique robuste pour naviguer dans ce compromis.