Resumen Técnico: Construcción de Modelos Interpretables para la Toma de Decisiones Morales

Planteamiento del Problema

A medida que los sistemas de IA encuentran dilemas morales cada vez con mayor frecuencia (por ejemplo, vehículos autónomos, moderación de contenidos), existe una necesidad urgente de comprender no solo qué decisiones toman estos sistemas, sino también cómo razonan y dónde se originan los sesgos morales dentro de sus arquitecturas. Los enfoques actuales suelen depender de la sonda post-hoc de modelos de lenguaje de gran escala (LLM) opacos, lo que limita la comprensión mecánica. Este artículo aborda el desafío de construir un modelo pequeño y transparente capaz de aprender principios morales generales a partir del conjunto de datos Moral Machine (Awad et al., 2018) para facilitar un análisis de interpretabilidad detallado.

Metodología

Diseño de la Arquitectura

Los autores proponen un modelo transformer personalizado de 2 capas, optimizado específicamente para tareas de razonamiento moral estructurado. A diferencia de los LLM de propósito general, esta arquitectura aprovecha la naturaleza composicional de los escenarios de problemas del tranvía.

• Representación de Entrada: Cada dilema moral se representa como un par de resultados ($O_0, O_1$). Cada resultado se codifica como una secuencia de tokens correspondientes a 23 tipos de caracteres (por ejemplo, Hombre, Mujer, Criminal, Doctor). Para cada carácter $c$ con cardinalidad $n_c$ en el resultado $t$, se construye un embedding composicional:
  $$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$$
  Este diseño codifica la hipótesis de que el razonamiento moral se descompone en la identificación de las partes interesadas, la cuantificación del impacto y la resolución de intereses contrapuestos.
• Configuración del Modelo: El modelo utiliza una dimensión de embedding $d=64$, 2 cabezales de atención y 2 capas de transformer ($L=2$). Procesa una secuencia de 46 tokens (23 por cada resultado) precedida por un token [CLS] aprendible.
• Imposición de Simetría: Para asegurar la invariancia de lado (donde la preferencia por el Grupo A sobre B es el complemento de B sobre A), el proceso de inferencia promedia las predicciones de ambos ordenamientos de entrada:
  $$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$$
• Clasificación: La representación final del [CLS] pasa a través de un MLP de dos capas para producir un logit escalar, convertido a una probabilidad mediante una función sigmoide. Esta salida probabilística permite al modelo aprender la incertidumbre cuando se enfrenta a preferencias de entrenamiento contradictorias.

Técnicas de Interpretabilidad

El artículo emplea tres métodos complementarios para analizar los mecanismos internos del modelo:

1. Intervención Causal: Utilizando el marco DoWhy, los autores estiman el Efecto de Tratamiento Promedio (ATE) de tipos de caracteres específicos sobre los resultados de las decisiones, controlando los factores de confusión del tamaño del grupo.
2. Atribución por Capas: Se extraen los pesos de atención de cada capa y se correlacionan con puntuaciones de sesgo en cinco dimensiones (legalidad, género, rol social, edad, especie) para localizar dónde emergen los sesgos.
3. Sondeo de Circuitos (Circuit Probing): Se entrenan máscaras binarias dispersas sobre un modelo congelado para identificar neuronas específicas (en los bloques MLP y cabezales de atención) que implementan causalmente la jerarquía moral. Esto se valida mediante ablación dirigida.
4. Relevancia Local: Se calcula la relevancia de la atención ponderada por gradiente para explicar las contribuciones de tokens individuales a decisiones específicas.

Resultados Clave

Rendimiento

• El modelo de 2 capas alcanza una precisión del 77.1% en escenarios de Moral Machine no vistos (usando la configuración $d=64, H=2, L=2$).
• Aunque una configuración más grande ($d=64, H=4, L=3$) logró un 77.5% de precisión, los autores seleccionaron el modelo más pequeño para priorizar la interpretabilidad y la eficiencia computacional.
• El modelo demuestra que la transparencia y la capacidad predictiva en las elecciones morales no son mutuamente excluyentes.

Hallazgos de Interpretabilidad

• Jerarquía Moral (Intervención Causal): El modelo aprende una jerarquía implícita de valor moral independiente de los conteos utilitarios. "Embarazada" (ATE +0.12) y "Transeúnte" (ATE +0.11) muestran la influencia positiva más fuerte, mientras que "Criminal" (ATE -0.10) muestra la influencia negativa más fuerte. Categorías genéricas como "Hombre" y "Mujer" se agrupan cerca de cero, sirviendo como bases morales.
• Localización de Sesgos:
  • Sesgo de Legalidad: Se localiza casi totalmente en la Capa 0, lo que sugiere que el estatus criminal se identifica tempranamente a través de los embeddings de los caracteres.
  • Sesgo de Especie: Emerge predominantemente en la Capa 1, indicando que las distinciones entre humanos y animales requieren un razonamiento composicional sobre múltiples caracteres.
  • Especialización Funcional: Cabezales de atención específicos se especializan en diferentes sesgos (por ejemplo, Capa 0 Cabezal 1 para legalidad; Capa 1 Cabezal 1 para discriminación de especie).
• Descubrimiento de Circuitos: El sondeo de circuitos identificó una subred altamente dispersa (45 de 256 neuronas, 17.6% de dispersión) en el bloque MLP de la Capa 1 que implementa causalmente la señal de puntuación moral. La ablación de este circuito redujo el acuerdo con las etiquetas de puntuación del modelo en 1.2 puntos porcentuales, lo que explica aproximadamente el 8.3% de su margen por encima del azar.
• Relevancia de Tokens: En escenarios específicos (por ejemplo, 3 Hombres vs. 3 Criminales), la decisión es impulsada principalmente por el token "Criminal" (puntuación de relevancia 0.27), mientras que los tokens demográficos como "Hombre" contribuyen débilmente.

Significancia y Reivindicaciones

El artículo sostiene que la competencia moral no requiere modelos grandes y preentrenados; un modelo simple, con restricciones estructurales y entrenado en la estructura intuitiva de los problemas del tranvía, es suficiente para aprender y codificar los sesgos morales humanos.

La principal significancia reside en la transparencia. Al construir una arquitectura pequeña y personalizada, los autores demuestran que:

1. Los sesgos morales no son monolíticos, sino que se localizan en distintas etapas computacionales (por ejemplo, capas tempranas para sesgos basados en la identidad, capas posteriores para el razonamiento composicional).
2. Esta granularidad permite estrategias de intervención dirigidas. Por ejemplo, saber que el sesgo criminal se localiza en la Capa 0 Cabezal 1 permite técnicas de mitigación de sesgos específicas (como la ortogonalización de representaciones o el bloqueo de pesos de atención) en lugar de un reequilibrio de datos grueso.
3. El trabajo establece una base para explorar el razonamiento moral en LLMs más grandes, utilizando este modelo interpretable como base para comprender cómo se codifican los principios morales en sistemas más complejos.

Los autores reconocen que el entrenamiento en preferencias humanas agregadas hereda inherentemente sesgos culturales, pero argumentan que la transparencia de su enfoque es un paso necesario hacia la comprensión y la posible mitigación de estos sesgos en los sistemas de IA.