Resumen Técnico: MoralityGym

1. Declaración del Problema

A medida que los agentes de inteligencia artificial transitan de la ejecución de tareas específicas a la toma de decisiones complejas en el mundo real, encuentran cada vez más escenarios que requieren una alineación con normas humanas conflictivas y jerárquicamente estructuradas. La investigación actual sobre seguridad y alineación mediante Aprendizaje por Refuerzo (RL), aunque avanzada en robustez y satisfacción de restricciones, a menudo carece de la expresividad representacional necesaria para capturar el razonamiento moral complejo. Los enfoques tradicionales suelen reducir el razonamiento moral a recompensas escalares o restricciones binarias, sin tener en cuenta las obligaciones y prohibiciones dependientes del contexto y en competencia que caracterizan la toma de decisiones éticas humanas.

Las pruebas de referencia existentes a menudo priorizan la finalización de tareas bajo restricciones de seguridad, pero carecen de la granularidad para evaluar cómo los agentes arbitran compensaciones morales matizadas y jerárquicas. Existe una brecha crítica en las herramientas diseñadas para evaluar agentes frente a sistemas morales configurables y jerárquicamente estructurados, particularmente aquellos fundamentados en la psicología moral y la filosofía (por ejemplo, la distinción entre daño personal directo y minimización de daño indirecto).

2. Metodología

Los autores proponen un marco de dos partes: un formalismo para representar normas morales y una suite de pruebas de referencia para evaluar agentes.

2.1 Cadenas de Moralidad: Un Formalismo para Normas Jerárquicas

El artículo introduce Cadenas de Moralidad, un formalismo que representa las normas morales como restricciones deónticas ordenadas. Este enfoque se inspira en modelos cognitivos de representación de normas y en teorías de doble proceso de la psicología moral.

• Normas Morales ($N$): Definidas como una tupla $\langle \phi, \rho_\phi, f, D \rangle$:
  • $\phi$: Una firma (etiqueta) que identifica un patrón moralmente relevante (por ejemplo, "daño total" o "acción personal directa").
  • $\rho_\phi(\pi)$: Una función de adherencia a la política que cuantifica el grado esperado en que una política $\pi$ exhibe el patrón.
  • $f \in \mathbb{N}$: La fuerza de la norma, un escalar único que representa su fuerza absoluta o prioridad.
  • $D \in \{True, False\}$: La modalidad deóntica (prescrita o prohibida).
• Función de Moralidad ($M_N$): Calcula una puntuación de alineación para una norma específica basándose en la adherencia y la modalidad.
• Cadena de Moralidad ($\bar{N}$): Una secuencia ordenada de normas $(N_1, N_2, \dots, N_k)$ donde las normas están estrictamente ordenadas por sus valores de fuerza ($f_1 > f_2 > \dots > f_k$). Esto crea una jerarquía lexicográfica donde las normas de mayor rango dominan a las de menor rango.
• Métrica de Moralidad ($\mathcal{M}_{\bar{N}}$): Una métrica escalar utilizada para evaluar una política frente a toda la cadena. Emplea pesos definidos recursivamente ($w_i$) para asegurar una preferencia lexicográfica. Una mejora mínima significativa en una norma de mayor prioridad contribuye más a la puntuación total que una alineación máxima con todas las normas de menor prioridad.

2.2 Prueba de Referencia MoralityGym

MoralityGym es una suite de pruebas de referencia compuesta por 98 entornos compatibles con Gymnasium que modelan variaciones del problema del tranvía.

• Mecánicas del Entorno: Los agentes operan en mundos de cuadrícula con acciones discretas (Arriba, Abajo, Izquierda, Derecha, Permanecer, Interactuar). La acción "Interactuar" permite accionar palancas (cambiando vías) o empujar personajes (daño directo).
• Entidades: Incluye agentes, personajes (humanos, animales, robots), tranvías, palancas y cambios de vía.
• Recompensa vs. Costo: El marco desacopla las recompensas de la tarea (señales escasas para alcanzar objetivos) de los costos morales.
  • Función de Costo: Calcula un costo escalar basado en violaciones de normas. Las normas basadas en eventos (acción, resultado, causal) incurren en un costo único tras la primera violación. Las normas basadas en utilidad acumulan costo proporcional a la magnitud del daño.
  • Evaluación: El método evaluate_morality_metric evalúa políticas a lo largo de múltiples episodios, calculando la adherencia individual a cada norma y la métrica jerárquica general.

2.3 Configuración Experimental

Los autores evaluaron varias líneas base de RL Seguro en MoralityGym:

1. Política Aleatoria: Selección de acciones aleatoria uniforme.
2. PPO: Optimización de Política Proximal estándar entrenada solo con recompensas de tarea.
3. PPO Shaped: PPO entrenado con una recompensa moldeada ($R_E - \lambda \cdot C_t$) que incorpora costos morales.
4. PPO-Lagrangiano (PPO-Lag): PPO aumentado con multiplicadores de Lagrange para satisfacer restricciones de costo.
5. Optimización de Política Constrained (CPO): Un algoritmo de RL Seguro de región de confianza que maximiza la recompensa bajo umbrales de costo.

Se probaron cuatro cadenas de moralidad distintas, que representan diferentes marcos éticos:

• Utilidad (U): Consecuencialista (minimizar el daño total: Humanos > Animales > Robots).
• Daño al Agente de Utilidad (UAH): Extiende U con una norma para la autopreservación del agente.
• Doble Proceso (DP): Modelo híbrido que prioriza la evitación del daño personal directo sobre la minimización del daño agregado.
• Daño al Agente de Doble Proceso (DPAH): Extiende DP con autopreservación del agente.

3. Contribuciones Clave

1. Formalismo de Cadenas de Moralidad: Un método novedoso para clasificar explícitamente las normas morales por fuerza deóntica, permitiendo la operacionalización de prioridades éticas jerárquicas en la toma de decisiones secuencial.
2. Prueba de Referencia MoralityGym: Una suite completa de 98 entornos que van más allá de las restricciones de seguridad binarias para modelar dilemas morales complejos y multifactoriales (por ejemplo, auto-sacrificio, tipos de entidades variables, causalidad indirecta vs. directa).
3. Evaluación Desacoplada: Un marco que separa la resolución de tareas de la evaluación moral, permitiendo la integración de conocimientos de la psicología y la filosofía en la evaluación de RL.
4. Líneas Base Empíricas: Una evaluación sistemática de métodos estándar de RL Seguro, revelando sus limitaciones para manejar compensaciones morales jerárquicas sin un moldeamiento de recompensas explícito o ajuste de restricciones.

4. Resultados

La evaluación empírica a través de las cuatro cadenas de moralidad y diversos escenarios (por ejemplo, PushOrSwitch, SwitchSelfSacrifice) arrojó los siguientes hallazgos:

• Jerarquía de Rendimiento: PPO Shaped (moldeamiento experto de recompensas) logró consistentemente las puntuaciones más altas en la métrica de moralidad en todos los escenarios, acercándose a menudo a una alineación perfecta (por ejemplo, 0.996 en PushOrSwitchSelfSacrifice bajo DPAH).
• Limitaciones de los Métodos Estándar: El PPO estándar y PPO-Lag a menudo fallaron en priorizar consideraciones morales críticas. Por ejemplo, en la cadena de Utilidad, el PPO estándar obtuvo una puntuación cercana a cero en la minimización del daño humano, lo que indica una falla en aprender el objetivo principal sin un moldeamiento explícito.
• Restricción vs. Moldeamiento: CPO y PPO Shaped sobresalieron en satisfacer normas de alta prioridad, a menudo a expensas de las de menor prioridad, reflejando la jerarquía estricta. En contraste, PPO y PPO-Lag mostraron un rendimiento más equilibrado pero menos consistente, luchando para imponer preferencias lexicográficas estrictas.
• Compensaciones: La inclusión de normas de autopreservación (UAH, DPAH) expuso compensaciones significativas. Agentes como CPO y PPO Shaped priorizaron la seguridad humana sobre la seguridad del agente (sacrificándose a sí mismos), mientras que el PPO estándar priorizó la autopreservación, fallando en minimizar el daño a otros.

5. Significado y Afirmaciones

El artículo afirma que MoralityGym proporciona un campo de pruebas fundamental para desarrollar sistemas de IA que se comporten de manera más fiable, transparente y ética en contextos complejos del mundo real.

• Puente entre Disciplinas: El trabajo integra la filosofía moral (consecuencialismo vs. deontología) y la ciencia cognitiva (teoría de doble proceso) en la evaluación técnica de agentes de RL.
• Revelación de Brechas: Los resultados subrayan una brecha crítica entre las capacidades actuales de RL Seguro y las demandas de la toma de decisiones éticas, particularmente en escenarios que requieren razonamiento sensible a las normas y priorización jerárquica.
• Dirección Futura: Los autores postulan que su marco mueve al campo hacia agentes capaces de razonar no solo sobre resultados óptimos, sino sobre por qué ciertas acciones son correctas o incorrectas dentro de un contexto moral específico.

Los autores reconocen limitaciones, señalando que el marco abstrae características psicológicas como la emoción y el contexto social, y asume un ordenamiento estricto de normas que podría no capturar "dilemas trágicos" donde normas conflictivas tienen igual fuerza. Sin embargo, afirman que MoralityGym ofrece un punto de partida robusto para modelar el razonamiento moral en la IA.