Accounting for Context: Shaping Moral Credences for Value Alignment

Resumen Técnico: Contabilizar el contexto: Moldeando las credencias morales para la alineación de valores

Planteamiento del problema
La alineación de valores busca asegurar que los agentes inteligentes se comporten de acuerdo con los valores éticos humanos. Sin embargo, las sociedades humanas exhiben un pluralismo moral, donde individuos y grupos evalúan las acciones a través de teorías éticas en conflicto (por ejemplo, deontología vs. utilitarismo). Los enfoques actuales para la alineación pluralista suelen depender de un proceso que elicia preferencias, deriva funciones de utilidad y las agrega utilizando marcos de incertidumbre moral. Estos marcos suelen asignar "credencias morales" (pesos) estáticas a diferentes teorías basándose en las proporciones de la población o en la confianza individual.

El problema central identificado en este artículo es que los mecanismos de agregación estándar bajo la incertidumbre moral suelen ignorar los factores contextuales. Específicamente, la aplicabilidad y la fiabilidad de una teoría ética pueden variar significativamente dependiendo de la situación específica que enfrente un agente. Por ejemplo, las teorías consecuencialistas (como el utilitarismo) requieren la predicción precisa de los resultados, lo cual puede ser computacionalmente inviable o epistémicamente incierto en entornos del mundo real con límites de recursos. Por el contrario, las reglas deontológicas pueden permanecer robustas bajo las mismas restricciones. Tratar las credencias morales como valores estáticos e independientes del contexto puede conducir a errores de agregación donde el proceso de toma de decisiones del agente falla al no contabilizar la fiabilidad diferencial de las teorías en contextos específicos.

Metodología
Los autores formalizan un marco para las credencias morales ajustadas por contexto dentro del modelo de decisión de la incertidumbre moral (basándose en MacAskill, Bykvist y Ord 2020).

1. Definiciones Formales:

   • Marco Ético: Definido como un par $\langle T, c \rangle$, donde $T$ es un conjunto de teorías éticas y $c$ es una función de credencia que mapea las teorías a pesos que suman 1.
   • Perfil de Credencia: Para acomodar el contexto, los autores definen un perfil de credencia $C = \langle c_a, c_b, \dots \rangle$, donde cada $c_x$ es una función de credencia específica para una acción particular $x$. Esto permite que los pesos varíen por acción según el contexto.
   • Características Contextuales: Definidas como funciones $g: A \times T \to (0, 1]$ que modulan la fiabilidad de una teoría $t$ respecto a una acción $a$. Un valor cercano a 1 implica alta fiabilidad/adecuación, mientras que valores más bajos indican una fiabilidad reducida debido a restricciones (por ejemplo, límites de recursos, incertidumbre, novedad).
   • Funciones de Ajuste: El artículo introduce dos mecanismos para actualizar las credencias iniciales $c$ en las credencias ajustadas por contexto $c_x$ basadas en un contexto $con = \langle g_1, \dots, g_m \rangle$:
     • prod: Multiplica la credencia inicial por el producto de todas las características contextuales, seguido de una normalización. Este es "neutral al riesgo", permitiendo que valores altos en una característica compensen valores bajos en otra.
     • mini: Toma el mínimo de la credencia inicial y todas las características contextuales, seguido de una normalización. Este es "averso al riesgo", asegurando que la credencia ajustada no exceda la fiabilidad del factor contextual más débil.

2. Teoría Metanormativa:
   Los autores utilizan la Maximización de la Elegibilidad de Elección (MEC, por sus siglas en inglés) como la función de agregación primaria. MEC ordena las acciones basándose en la media aritmética ponderada (WAM) de su elegibilidad a través de las teorías, utilizando las credencias ajustadas por contexto del perfil de credencia.

3. Ejemplo de Ejecución (FROBO):
   El artículo emplea un escenario de un robot bombero (FROBO) en un hospital en llamas bajo un bloqueo militar. FROBO debe elegir entre salvar a un único paciente inconsciente (Habitación Derecha) o preservar la insulina para muchos pacientes potenciales futuros (Habitación Izquierda).

   • Contexto: Los límites de recursos limitan la capacidad de FROBO para calcular con precisión las consecuencias a largo plazo.
   • Efecto: La característica contextual para los límites de recursos ($rb$) reduce significamente la credencia para el utilitarismo respecto a la Habitación Izquierda (donde se requiere una predicción compleja) pero mantiene alta la credencia para la Habitación Derecha (donde la consecuencia es inmediata y cierta).

Resultados Clave
El artículo demuestra que incorporar credencias ajustadas por contexto conduce a una violación del Principio de Pareto Débil, una propiedad estándar en la teoría de la elección social que establece que si todas las teorías prefieren la acción $b$ sobre la $a$, el agregado también debería preferir $b$ sobre $a$.

• Violación de Pareto Débil: Los autores demuestran que para una amplia clase de teorías metanormativas (específicamente aquellas que son inter-teóricamente sensibles) y funciones de ajuste (específicamente aquellas que son contextualmente sobreyectivas, incluyendo prod y mini), el principio de Pareto Débil es violado.

  • Mecanismo: Es posible construir un escenario donde cada teoría ética individual prefiere la acción $a$ sobre la $b$ ($t(a) < t(b)$ para todo $t$), pero la agregación ajustada por contexto prefiere la acción $b$ sobre la $a$.
  • Ejemplo: En el escenario de FROBO, incluso si el utilitarismo y la deontología prefieren nominalmente la Habitación Izquierda (insulina) sobre la Habitación Derecha (paciente) en un vacío, las restricciones de recursos podrían reducir la credencia utilitarista para la Habitación Izquierda de forma tan drástica que la preferencia deontológica por la Habitación Derecha domine la WAM agregada, causando que el agente elija la Habitación Derecha.

• Interpretación de la Paradoja de Simpson: Los autores interpretan esta violación no como un error, sino como una manifestación de la Paradoja de Simpson. Así como los datos agregados pueden revertir las tendencias presentes en los subgrupos (por ejemplo, tasas de admisión por género vs. departamento), agregar evaluaciones morales a través de diferentes contextos (acciones) puede revertir las preferencias de las teorías individuales. La violación ocurre porque el "peso" de una teoría cambia dinámicamente basado en el contexto de la acción, permitiendo que una teoría con una credencia inicial más baja domine en un contexto específico donde es más fiable.

Significado y Reivindicaciones
El artículo argumenta que la violación del principio de Pareto Débil en este contexto no es indeseable, sino que es una consecuencia inevitable y necesaria de contabilizar los factores contextuales.

1. Limitaciones de la Agregación Insensible al Contexto: Los resultados resaltan que los mecanismos de agregación estándar, que ignoran cómo el contexto impacta la fiabilidad de las teorías éticas, son insuficientes para la alineación de valores en el mundo real. Ignorar el contexto puede llevar a resultados "fanáticos" o poco fiables donde los agentes siguen teorías que son computacionalmente o epistémicamente inadecuadas para la situación específica.
2. Nueva Dirección de Investigación: El trabajo motiva un cambio en la investigación de la incertidumbre moral hacia la elección social ponderada por contexto. Sugiere que los criterios para evaluar los métodos de agregación (como Pareto Débil) deben ser reevaluados cuando el contexto es una variable.
3. Engrosamiento de las Representaciones Éticas: El artículo postula que la necesidad de ajuste contextual surge porque los modelos actuales representan las teorías éticas de forma "delgada" (simplemente como funciones de utilidad). Al ajustar las credencias basadas en factores contextuales (como la viabilidad computacional), los autores están efectivamente "engrosando" estas evaluaciones para reflear las realidades algorítmicas y epistémicas de las teorías.
4. Integración Futura: Los autores sugieren que este formalismo podría integrarse con diálogos basados en la argumentación. En lugar de una elicitación de preferencias estática, los agentes podrían ajustar dinámicamente las credencias morales "sobre la marcha" a través de diálogos estructurados que exploren los matices contextuales, apoyando así una alineación de valores más robusta tanto en sistemas estrechos como en sistemas superinteligentes.

El artículo concluye que, si bien la violación de los axiomas estándar de la elección social parece contraintuitiva, revela las limitaciones conceptuales de ignorar el contexto y proporciona una base formal para una toma de decisiones morales más realista y sensible al contexto.