Accounting for Context: Shaping Moral Credences for Value Alignment

Résumé Technique : Prendre en compte le contexte : Façonner les croyances morales pour l'alignement des valeurs

Énoncé du problème
L'alignement des valeurs vise à garantir que les agents intelligents se comportent conformément aux valeurs éthiques humaines. Cependant, les sociétés humaines présentent un pluralisme moral, où les individus et les groupes évaluent les actions à travers des théories éthiques conflictuelles (par exemple, la déontologie contre l'utilitarisme). Les approches actuelles de l'alignement pluraliste reposent souvent sur un pipeline qui élucide les préférences, dérive des fonctions d'utilité et les agrège en utilisant des cadres d'incertitude morale. Ces cadres attribuent des « croyances morales » (poids) statiques aux différentes théories en fonction des proportions de la population ou de la confiance individuelle.

Le problème central identifié dans cet article est que les mécanismes d'agrégation standard sous incertitude morale ignorent souvent les facteurs contextuels. Plus précisément, l'applicabilité et la fiabilité d'une théorie éthique peuvent varier considérablement selon la situation spécifique à laquelle un agent est confronté. Par exemple, les théories conséquencialistes (comme l'utilitarisme) nécessitent une prédiction précise des résultats, ce qui peut être informatiquement irréalisable ou épistémiquement incertain dans des environnements réels avec des limites de ressources. Inversement, les règles déontologiques peuvent rester robustes sous ces mêmes contraintes. Traiter les croyances morales comme des valeurs statiques et indépendantes du contexte peut conduire à des erreurs d'agrégation où le processus de décision de l'agent ne parvient pas à rendre compte de la fiabilité différentielle des théories dans des contextes spécifiques.

Méthodologie
Les auteurs formalisent un cadre pour les croyances morales ajustées au contexte au sein du modèle de décision de l'incertitude morale (en s'appuyant sur MacAskill, Bykvist et Ord 2020).

1. Définitions formelles :

   • Cadre éthique : Défini comme une paire $\langle T, c \rangle$, où $T$ est un ensemble de théories éthiques et $c$ est une fonction de croyance associant des poids aux théories dont la somme est égale à 1.
   • Profil de croyance : Pour accommoder le contexte, les auteurs définissent un profil de croyance $C = \langle c_a, c_b, \dots \rangle$, où chaque $c_x$ est une fonction de croyance spécifique à une action particulière $x$. Cela permet aux poids de varier par action en fonction du contexte.
   • Caractéristiques contextuelles : Définies comme des fonctions $g: A \times T \to (0, 1]$ qui modulent la fiabilité d'une théorie $t$ concernant une action $a$. Une valeur proche de 1 implique une haute fiabilité/pertinence, tandis que des valeurs plus basses indiquent une fiabilité réduite due à des contraintes (ex: limites de ressources, incertitude, nouveauté).
   • Fonctions d'ajustement : Le papier introduit deux mécanismes pour mettre à jour les croyances initiales $c$ en croyances ajustées au contexte $c_x$ basées sur un contexte $con = \langle g_1, \dots, g_m \rangle$ :
     • prod : Multiplie la croyance initiale par le produit de toutes les caractéristiques contextuelles, suivi d'une normalisation. C'est une approche « neutre au risque », permettant à une valeur élevée dans une caractéristique de compenser une valeur faible dans une autre.
     • mini : Prend le minimum de la croyance initiale et de toutes les caractéristiques contextuelles, suivi d'une normalisation. C'est une approche « averse au risque », garantissant que la croyance ajustée ne dépasse pas la fiabilité du facteur contextuel le plus faible.

2. Théorie métanormative :
   Les auteurs utilisent la Maximisation de l'Espérance de Choiceworthiness (MEC - Maximizing Expected Choiceworthiness) comme principale fonction d'agrégation. La MEC ordonne les actions sur la base de la moyenne arithmétique pondérée (WAM) de la valeur de choix (choiceworthiness) à travers les théories, en utilisant les croyances ajustées au contexte du profil de croyance.

3. Exemple de test (FROBO) :
   Le papier utilise un scénario impliquant un robot pompier (FROBO) dans un hôpital en feu sous un blocus militaire. FROBO doit choisir entre sauver un patient inconscient (Chambre Droite) ou préserver de l'insuline pour de nombreux patients futurs potentiels (Chambre Gauche).

   • Contexte : Les limites de ressources limitent la capacité de FROBO à calculer avec précision les conséquences à long terme.
   • Effet : La caractéristique contextuelle des limites de ressources ($rb$) abaisse considérablement la croyance pour l'utilitarisme concernant la Chambre Gauche (où une prédiction complexe est nécessaire) mais laisse la croyance élevée pour la Chambre Droite (où la conséquence est immédiate et certaine).

Résultats clés
Le papier démontre que l'incorporation de croyances ajustées au contexte conduit à une violation du Principe de Pareto Faible, une propriété standard de la théorie du choix social stipulant que si toutes les théories préfèrent l'action $b$ à l'action $a$, l'agrégat devrait également préférer $b$ à $a$.

• Violation de Pareto Faible : Les auteurs prouvent que pour une large classe de théories métanormatives (spécifiquement celles qui sont répondantes inter-théoriques) et de fonctions d'ajustement (spécifiquement celles qui sont contextuellement surjectives, incluant prod et mini), le principe de Pareto faible est violé.

  • Mécanisme : Il est possible de construire un scénario où chaque théorie éthique individuelle préfère l'action $a$ à l'action $b$ ($t(a) < t(b)$ pour tout $t$), pourtant l'agrégation ajustée au contexte préfère $b$ à $a$.
  • Exemple : Dans le scénario FROBO, même si l'utilitarisme et la déontologie préfèrent tous deux nominalement la Chambre Gauche (insuline) à la Chambre Droite (patient) dans le vide, les contraintes de ressources pourraient réduire la croyance utilitariste pour la Chambre Gauche si drastiquement que la préférence déontologique pour la Chambre Droite domine l'agrégat WAM, poussant l'agent à choisir la Chambre Droite.

• Interprétation par le Paradoxe de Simpson : Les auteurs interprètent cette violation non pas comme un défaut, mais comme une manifestation du Paradoxe de Simpson. Tout comme les données agrégées peuvent inverser les tendances présentes dans les sous-groupes (ex: taux d'admission par genre vs département), l'agrégation des évaluations morales à travers différents contextes (actions) peut inverser les préférences des théories individuelles. La violation se produit car le « poids » d'une théorie change dynamiquement en fonction du contexte de l'action, permettant à une théorie ayant une croyance initiale plus faible de dominer dans un contexte spécifique où elle est plus fiable.

Signification et Revendications
Le papier soutient que la violation du principe de Pareto faible dans ce contexte n'est pas indésirable mais constitue une conséquence inévitable et nécessaire de la prise en compte des facteurs contextuels.

1. Limites de l'agrégation insensible au contexte : Les résultats soulignent que les mécanismes d'agrégation standards, qui ignorent comment le contexte impacte la fiabilité des théories éthiques, sont insuffisants pour l'alignement des valeurs dans le monde réel. Ignorer le contexte peut mener à des résultats « fanatiques » ou peu fiables où les agents suivent des théories qui sont computationnellement ou épistémiquement inadaptées à la situation spécifique.
2. Nouvelle direction de recherche : Ce travail motive un passage de la recherche sur l'incertitude morale vers un choix social pondéré par le contexte. Il suggère que les critères pour évaluer les méthodes d'agrégation (comme Pareto Faible) doivent être réévalués lorsque le contexte est une variable.
3. Épaississement des représentations éthiques : Le papier postule que le besoin d'ajustement contextuel provient du fait que les modèles actuels représentent les théories éthiques de manière « mince » (simplement comme des fonctions d'utilité). En ajustant les croyances basées sur des facteurs contextuels (comme la faisabilité computationnelle), les auteurs « épaississent » ces évaluations pour refléter les réalités algorithmiques et épistémiques des théories.
4. Intégration future : Les auteurs suggèrent que ce formalisme pourrait être intégré à des dialogues basés sur l'argumentation. Au lieu d'une elicitation de préférences statique, les agents pourraient ajuster dynamiquement les croyances morales « à la volée » via des dialogues structurés explorant les nuances contextuelles, soutenant ainsi un alignement des valeurs plus robuste pour les systèmes tant étroits que superintelligents.

Le papier conclut que bien que la violation d'axiomes standards de choix social puisse paraître contre-intuitive, elle révèle les limites conceptuelles de l'ignorance du contexte et fournit une base formelle pour une prise de décision morale plus réaliste et sensible au contexte.