Résumé Technique : Moralité Bornée

Énoncé du Problème

Les approches traditionnelles visant à formaliser la moralité dans les systèmes artificiels encodent généralement des théories éthiques établies (par exemple, l'utilitarisme, la déontologie) sous forme de règles statiques ou de fonctions de valeur. Cette stratégie traite le désaccord moral comme un problème de sélection de la théorie correcte, échouant souvent à rendre compte de la manière dont le raisonnement moral est réellement effectué, de la façon dont il change avec la capacité cognitive, ou des raisons pour lesquelles des théories distinctes persistent à travers les cultures. Bien que la recherche sur la rationalité bornée ait montré que le jugement humain reflète des compromis adaptatifs sous des contraintes computationnelles, le « côté demande » du raisonnement moral reste sous-spécifié : plus précisément, quelles caractéristiques des situations morales imposent les charges informationnelles et computationnelles qui nécessitent ces compromis.

Cet article s'attaque à la lacune de la caractérisation de la structure de la demande des problèmes moraux. Il demande comment les situations morales varient de manière à augmenter ou diminuer systématiquement la charge computationnelle du raisonnement moral pour des agents finis.

Méthodologie

Les auteurs proposent la Moralité Bornée, un cadre formel qui modélise le raisonnement moral comme une inférence contrainte par des demandes situationnelles. La méthodologie procède en trois étapes :

1. Définition de l'Espace de Demande

Le cadre identifie deux dimensions orthogonales qui définissent les demandes computationnelles des situations morales :

• Étendue Morale (Breadth) : Le champ de la représentation morale. Cela capture quels entités, groupes, échelles de temps ou abstractions sont traités comme moralement pertinents (par exemple, inclure les groupes externes, les animaux non humains ou les générations futures).
• Profondeur Morale (Depth) : La complexité inférentielle. Cela capture la manière dont les entités et leurs interactions, représentées de façon riche, récursive et cohérente, sont raisonnées (par exemple, le raisonnement contrefactuel, la délibération multi-étapes ou l'intégration de multiples perspectives).

Des preuves empiriques issues de la psychologie du développement, des neurosciences et de la théorie du choix social sont utilisées pour démontrer que ces dimensions sont dissociables mais conjointement contraintes par des ressources cognitives finies.

2. Modélisation Formelle

Les auteurs formalisent le raisonnement moral comme un système dynamique contrôlé sur un graphe :

• Graphe d'Interaction Morale ($G^*$) : Un graphe où les nœuds représentent des entités moralement pertinentes et les arêtes représentent les relations d'influence directe.
• Valeur Véritable (Ground-Truth Value) : Définie comme la somme actualisée du bien-être sur des trajectoires infinies, où le bien-être est une fonction structurée en graphe des potentiels de nœuds et d'arêtes.
• Approximation Bornée : Les agents finis ne peuvent pas calculer la vérité fondamentale. Au lieu de cela, ils emploient :
  • Abstraction ($G$) : Une projection grossière de $G^*$ via une application d'agrégation $\pi_V$, réduisant le nombre d'entités et d'interactions distinctes (Étendue).
  • Horizon Tronqué ($H$) : Une profondeur de déploiement spécifiant combien d'étapes de la dynamique sont explicitement évaluées (Profondeur).
• Modèle de Coût : Un modèle de coût canonique est introduit où le coût computationnel total est $Cost(b, H) = \alpha b + \beta b H^p$. Cela établit une loi d'échelle inverse : sous un budget $B$ fixe, l'augmentation de l'étendue de la représentation ($b$) réduit strictement la profondeur ($H$) réalisable, et vice versa.

3. Stratégie et Regret

• Stratégie Morale : Définie comme une règle d'allocation $\rho$ qui mappe les états du monde et les budgets de ressources à des paires spécifiques de $(G, H)$.
• Regret Moral : La différence entre la valeur morale de l'intervention optimale de la vérité fondamentale et la valeur obtenue par la stratégie bornée.
• Progrès Moral : Défini non pas comme la convergence vers une vérité morale unique, mais comme la réduction du regret attendu au sein d'un budget de ressources fixe (meilleure allocation) ou comme le déplacement de la frontière réalisable vers l'extérieur grâce à des changements technologiques ou institutionnels.

Contributions Clés

1. Le Compromis Étendue–Profondeur

L'article établit une frontière de Pareto formelle pour le calcul moral. Il démontre que, pour les agents finis, l'expansion de la portée de la préoccupation morale (étendue) restreint nécessairement la profondeur de l'inférence, et que l'approfondissement de l'inférence nécessite de rétrécir la portée. Les théories éthiques sont réinterprétées non pas comme des comptes concurrents de la vérité morale, mais comme des stratégies localement efficaces adaptées à différents régimes de demandes de ressources le long de cette frontière.

2. Réinterprétation des Théories Éthiques

Le cadre cartographie les théories éthiques canoniques dans des régions spécifiques de l'espace étendue-profondeur :

• L'Utilitarisme de l'Acte : Grande étendue, profondeur modérée. Priorise la représentation de nombreuses parties prenantes avec une agrégation additive simple.
• La Déontologie : Étendue modérée, profondeur modérée. Repose sur des contraintes strictes pour élaguer l'espace de recherche, nécessitant souvent une portée limitée pour maintenir la faisabilité.
• Le Contractualisme : Faible étendue, grande profondeur. Se concentre sur quelques parties prenantes mais alloue des ressources significatives à une délibération profonde et à l'analyse des objections dans le pire des cas.
• L'Éthique de la Vertu : Étendue minimale, profondeur nulle. Déplace le calcul hors ligne dans des dispositions apprises (inférence amortie), éliminant le déploiement en ligne.
• L'Éthique du Care (Soin) : Étendue locale, profondeur modérée. Se concentre sur des structures relationnelles denses au sein d'un voisinage local plutôt que sur une énumération globale.

3. Formalisation du Désaccord et du Progrès Moraux

• Désaccord : Le cadre suggère qu'un désaccord moral persistant peut survenir même chez des agents partageant les mêmes valeurs. Le désaccord peut refléter des allocations différentes de ressources limitées (différents points sur la frontière étendue-profondeur) plutôt que des conflits de valeurs fondamentaux.
• Progrès : Le progrès moral est redéfini comme (i) la réduction du regret en améliorant l'allocation des ressources au sein de contraintes fixes, ou (ii) l'expansion de la frontière réalisable grâce à des avancées culturelles ou technologiques qui augmentent la capacité disponible.

4. Implications pour l'Alignement de l'IA

L'article soutient que l'alignement de l'IA ne devrait pas se concentrer uniquement sur l'imitation des jugements humains, qui sont eux-mêmes bornés et potentiellement sous-optimaux. L'alignement devrait plutôt se concentrer sur la conception de systèmes où la capacité de raisonnement moral change d'échelle avec les ressources de représentation et de calcul. L'objectif est de répliquer la relation d'échelle entre les ressources et la capacité morale, plutôt que de copier les sorties spécifiques des agents humains bornés.

Résultats et Revendications

L'article ne présente pas de nouvelles données expérimentales ou de validation empirique de systèmes d'IA spécifiques. À la place, ses « résultats » sont des dérivations théoriques :

• Loi d'Échelle Inverse : Une dérivation mathématique montrant que, sous un budget fixe, la profondeur évolue inversement avec l'étendue ($H \leq C b^{-1/p}$).
• Minimisation du Regret : La définition du progrès moral comme la minimisation du regret attendu par rapport à un idéal non borné, compte tenu de contraintes de ressources spécifiques.
• Classification des Stratégies : Une mise en correspondance conceptuelle des théories éthiques avec des engagements structurels concernant l'étendue, la profondeur et l'agrégation.

Signification

L'article affirme offrir un compte descriptif unificateur du raisonnement moral qui fait le pont entre l'éthique, la psychologie et l'IA. Sa signification réside dans :

1. Recadrage de l'Échec Moral : Il déplace l'explication des lacunes morales (par exemple, la rigidité, la négligence des parties prenantes lointaines) des valeurs défectueuses ou de l'irrationalité vers des allocations rationnelles de ressources de calcul limitées.
2. Désaccord Non-Relativiste : Il fournit une explication structurelle au désaccord moral qui ne nécessite pas de pluralisme moral ; les agents peuvent être en désaccord tout en partageant des valeurs, simplement en opérant à différents points réalisables sur la frontière étendue-profondeur.
3. Lent Computationnel pour l'Éthique : Il offre un prisme computationnel minimal pour intégrer les intuitions de l'éthique et de la psychologie, traitant les théories morales comme des stratégies pour gérer les compromis inhérents aux agents finis.
4. Outil de Diagnostic pour l'IA : Il fournit un vocabulaire technique pour analyser pourquoi le comportement moralement compétent se dégrade dans les systèmes artificiels, suggérant que les échecs d'alignement peuvent provenir de décalages entre le calcul moral et le contexte plutôt que de l'incorrectitude des objectifs.

Les auteurs déclarent explicitement que le cadre ne plaide pas pour une valeur morale ou une théorie éthique particulière. Au lieu de cela, il étudie les contraintes opérationnelles auxquelles tout agent moral fini — humain ou artificiel — doit faire face lorsque les demandes situationnelles excèdent le temps, l'information et la capacité de calcul disponibles.