Resumen Técnico: Moralidad Acotada

Planteamiento del Problema

Los enfoques tradicionales para formalizar la moralidad en sistemas artificiales suelen codificar teorías éticas establecidas (por ejemplo, el utilitarismo o la deontología) como reglas estáticas o funciones de valor. Esta estrategia trata el desacuerdo moral como un problema de selección de la teoría correcta, fallando a menudo al no tener en cuenta cómo se lleva a cabo realmente el razonamiento moral, cómo escala con la capacidad cognitiva o por qué las distintas teorías persisten a través de las culturas. Si bien la investigación sobre la racionalidad acotada ha demostrado que el juicio humano refleja compensaciones adaptativas bajo restricciones computacionales, la demanda del lado de la demanda del razonamiento moral permanece subespecificada: específicamente, qué características de las situaciones morales imponen las cargas informativas y computacionales que hacen necesarios estos compromisos (trade-offs).

Este artículo aborda la brecha en la caracterización de la estructura de demanda de los problemas morales. Se pregunta cómo varían las situaciones morales de formas que aumentan o disminuyen sistemáticamente la carga computacional del razonamiento moral para agentes finitos.

Metodología

Los autores proponen la Moralidad Acotada, un marco formal que modela el razonamiento moral como una inferencia restringida bajo demandas situacionales. La metodología procede en tres etapas:

1. Definición del Espacio de Demanda

El marco identifica dos dimensiones ortogonales que definen las demandas computacionales de las situaciones morales:

• Amplitud Moral (Moral Breadth): El alcance de la representación moral. Captura qué entidades, grupos, escalas temporales o abstracciones son tratados como moralmente relevantes (por ejemplo, incluir grupos externos, animales no humanos o generaciones futuras).
• Profundidad Moral (Moral Depth): La complejidad inferencial. Captura qué tan ricamente, recursivamente y coherentemente se razona sobre las entidades y sus interacciones (por ejemplo, razonamiento contrafáctico, deliberación de múltiples pasos o integración de múltiples perspectivas).

Se utiliza evidencia empírica de la psicología del desarrollo, la neurociencia y la teoría de la elección social para demostrar que estas dimensiones son disociables pero están conjuntamente restringidas por recursos cognitivos finitos.

2. Modelado Formal

Los autores formalizan el razonamiento moral como un sistema dinámico controlado sobre un grafo:

• Grafo de Interacción Moral ($G^*$): Un grafo donde los nodos representan entidades moralmente relevantes y las aristas representan relaciones de influencia directa.
• Valor de Verdad Fundamental (Ground-Truth Value): Definido como la suma descontada del bienestar sobre trayectorias infinitas, donde el bienestar es una función de la estructura de grafo de los potenciales de nodos y aristas.
• Aproximación Acotada: Los agentes finitos no pueden computar la verdad fundamental. En su lugar, emplean:
  • Abstracción ($G$): Una proyección de grano grueso de $G^*$ mediante un mapa de agregación $\pi_V$, reduciendo el número de entidades e interacciones distintas (Amplitud).
  • Horizonte Truncado ($H$): Una profundidad de despliegue (rollout) que especifica cuántos pasos de la dinámica se evalúan explícitamente (Profundidad).
• Modelo de Costo: Se introduce un modelo de costo canónico donde el costo computacional total es $Cost(b, H) = \alpha b + \beta b H^p$. Esto establece una ley de escala inversa: bajo un presupuesto fijo $B$, aumentar la amplitud de representación ($b$) reduce estrictamente la profundidad alcanzable ($H$), y viceversa.

3. Estrategia y Arrepentimiento (Regret)

• Estrategia Moral: Definida como una regla de asignación $\rho$ que mapea estados del mundo y presupuestos de recursos a pares específicos de $(G, H)$.
• Arrepentimiento Moral (Moral Regret): La diferencia entre el valor moral de la intervención óptima de la verdad fundamental y el valor alcanzado por la estrategia acotada.
• Progreso Moral: Definido no como la convergencia hacia una verdad moral única, sino como la reducción del arrepentimiento esperado dentro de un presupuesto de recursos fijo (mejor asignación) o el desplazamiento de la frontera factible hacia afuera mediante cambios tecnológicos o institucionales.

Contribuciones Clave

1. El Compromiso Amplitud–Profundidad (Breadth–Depth Trade-off)

El artículo establece una frontera de Pareto formal para la computación moral. Demuestra que, para agentes finitos, expandir el alcance de la preocupación moral (amplitud) necesariamente restringe la profundidad de la inferencia, y profundizar la inferencia requiere estrechar el alcance. Las teorías éticas se reinterpretan no como relatos competidores de la verdad moral, sino como estrategas localmente eficientes adaptados a diferentes regímenes de demanda de recursos a lo largo de esta frontera.

2. Reinterpretación de las Teorías Éticas

El marco mapea las teorías éticas canónicas a regiones específicas del espacio amplitud-profundidad:

• Utilitarismo del Acto: Alta amplitud, profundidad moderada. Prioriza representar a muchos interesados con una agregación aditiva simple.
• Deontología: Amplitud moderada, profundidad moderada. Depende de restricciones estrictas para podar el espacio de búsqueda, requiriendo a menudo un alcance limitado para mantener la viabilidad.
• Contractualismo: Baja amplitud, alta profundidad. Se enfarga en unos pocos interesados, pero asigna recursos significativos a la deliberación profunda y al análisis de objeciones en el peor de los casos.
• Ética de la Virtud: Amplitud mínima, profundidad cero. Desplaza la computación offline hacia disposiciones aprendidas (inferencia amortizada), eliminando el despliegue online.
• Ética del Cuidado: Amplitud local, profundidad moderada. Se enfoca en estructuras relacionales densas dentro de un vecindario local en lugar de una enumeración global.

3. Formalización del Desacuerdo Moral y el Progreso

• Desacuerdo: El marco sugiere que el desacuerdo moral persistente puede surgir incluso entre agentes que comparten los mismos valores. El desacuerdo puede reflejar diferentes asignaciones de recursos limitados (diferentes puntos en la frontera de Pareto) en lugar de conflictos de valores fundamentales.
• Progreso: El progreso moral se redefine como (i) la reducción del arrepentimiento mediante la mejora de la asignación de recursos dentro de las restricciones fijas, o (ii) la expansión de la frontera factible mediante avances culturales o tecnológicos que aumenten la capacidad disponible.

4. Implicaciones para la Alineación de la IA

El artículo argumenta que la alineación de la IA no debería centrarse únicamente en imitar los juicios humanos, que son ellos mismos acotados y potencialmente subóptimos. En su lugar, la alineación debería centrarse en diseñar sistemas donde la capacidad de razonamiento moral escale con los recursos de representación y computación. El objetivo es replicar la relación de escala entre los recursos y la capacidad moral, en lugar de copiar los resultados específicos de los agentes humanos acotados.

Resultados y Afirmaciones

El artículo no presenta nuevos datos experimentales ni validación empírica de sistemas de IA específicos. En su lugar, sus "resultados" son derivaciones teóricas:

• Ley de Escala Inversa: Una derivación matemática que muestra que, bajo un presupuesto fijo, la profundidad escala inversamente con la amplitud ($H \leq C b^{-1/p}$).
• Minimización del Arrepentimiento: La definición del progreso moral como la minimización del arrepentimiento esperado respecto a un ideal sin límites, dados los recursos específicos.
• Clasificación de Estrategias: Un mapeo conceptual de las teorías éticas con respecto a los compromisos estructurales de amplitud, profundidad y agregación.

Significancia

El artículo afirma ofrecer una cuenta descriptiva unificadora del razonamiento moral que une la ética, la psicología y la IA. Su significancia radica en:

1. Reencuadre del Fallo Moral: Cambia la explicación de las deficiencias morales (por ejemplo, rigidez, negligencia de interesados distantes) de valores defectuosos o irracionalidad hacia asignaciones racionales de recursos computacionales limitados.
2. Desacuerdo No Relativista: Proporciona una explicación estructural para el desacuerdo moral que no requiere el pluralismo moral; los agentes pueden estar en desacuerdo compartiendo los mismos valores, simplemente operando en diferentes puntos factibles de la frontera amplitud-profundidad.
3. Lente Computacional para la Ética: Ofrece un lente computacional mínimo para integrar conocimientos de la ética y la psicología, tratando las teorías éticas como estrategias para gestionar los compromisos inherentes a los agentes finitos.
4. Herramienta Diagnóstica para la IA: Proporciona un vocabulario técnico para analizar por qué el comportamiento moralmente competente se descompone en sistemas artificiales, sugiriendo que los fallos de alineación pueden provenir de desajustes entre la computación moral y el contexto, más que de objetivos incorrectos.

Los autores declaran explícitamente que el marco no argumenta a favor de ningún valor moral o teoría ética en particular. En su lugar, estudia las restricciones operativas que cualquier agente moral finito —humano o artificial— debe enfrentar cuando las demandas situacionales exceden el tiempo, la información y la capacidad de computación disponibles.