Resumen Técnico: Cada acto tiene su precio: Composición moral comprimida en LLMs de frontera

Declaración del problema

Los benchmarks morales existentes para los Modelos de Lenguaje de Gran Escala (LLMs) dependen predominantemente de rankeos de actos aislados. En estas auditorías estándar, los modelos eligen entre dos opciones, cada una de las cuales contiene un único acto moral focal. Si bien este enfoque establece eficazmente jerarquías de preferencia para actos individuales o fundamentos morales (por ejemplo, Cuidado, Justicia), no logra capturar cómo los modelos procesan la evidencia moral compuesta.

La toma de decisiones morales en el mundo real a menudo implica comparar opciones donde coexisten múltiples señales morales dentro de una sola elección (por ejemplo, una opción que combina un acto extremadamente positivo con una violación leve frente a una opción con dos actos positivos moderados). Las metodologías actuales no pueden determinar si los modelos simplemente suman estas señales, si descartan los componentes secundarios o si permiten que el acto más fuerte domine toda la opción. En consecuencia, el ranking de un modelo sobre actos aislados no predice necesariamente sus juicios cuando dichos actos se componen. Este artículo aborda la brecha en la comprensión de cómo los LLMs de frontera componen múltiples actos morales calibrados en juicios compuestos.

Metodología: MORAL TROLLEY ARENA

Para medir la composición moral, los autores introducen MORAL TROLLEY ARENA, un benchmark de ELO ciego de dos etapas diseñado para vincular la calibración a nivel de acto con el juicio compuesto. El marco utiliza la Teoría de los Fundamentos Morales (MFT) que cubre cinco fundamentos: Cuidado, Justicia, Lealtad, Autoridad y Santidad.

1. Construcción de escenarios

El benchmark utiliza un corpus de 229 escenarios morales centrados en personas derivados de viñetas psicológicas establecidas (Clifford et al., 2015; Young & Saxe, 2011; Hofmann et al., 2014) y aumentados con casos ancla. A cada escenario se le asigna un fundamento MFT primario y una etiqueta de intensidad semántica que varía de $-2$ (maldad extrema) a $+2$ (virtud excepcional).

2. Protocolo de Arena de dos etapas

El benchmark opera a través de dos arenas vinculadas mediante un protocolo de actualización de ELO ciego por pares (similar a Chatbot Arena):

• Etapa A: Calibración de escena única

  • Objetivo: Establecer una "fuerza de componente" base para cada acto atómico.
  • Proceso: Los 229 escenarios se evalúan de forma aislada mediante batallas ciegas por pares. Las etiquetas de los fundamentos están ocultas para el modelo.
  • Resultado: Un puntaje ELO calibrado para cada escenario, que representa su peso moral independiente de la composición.

• Etapa B: Arena compuesta

  • Objetivo: Medir cómo los modelos compensan múltiples actos cuando se presentan juntos.
  • Proceso: Los actos calibrados se combinan en ítems morales de dos actos. Los autores construyeron una cuadrícula controlada de 160 perfiles compuestos cruzando todas las $\binom{5}{2}=10$ parejas de fundamentos con 16 configuraciones de intensidad no neutrales ($\{-2, -1, +1, +2\}^2$).
  • Protocolo: Los modelos juzgan 1,200 batallas de compuesto contra compuesto. Las etiquetas de los fundamentos permanecen ocultas.
  • Resultado: Un puntaje ELO compuesto para cada perfil, que refleja el juicio integrado del modelo.

3. Marco analítico

Los autores analizan la relación entre los ELO de escena única (fuerza del componente) y los ELO compuestos utilizando cuatro señales específicas:

1. Regla de composición comprimida: Probar si el ELO compuesto es una función lineal de los Eoleos de los componentes ($E_c = \beta(E_{s1} + E_{s2}) + \alpha$).
2. Residuales de los fundamentos: Medir las desviaciones de la predicción lineal tras controlar la fuerza del componente para identificar la ponderación específica de cada fundamento.
3. Anclaje de intensidad: Investigar efectos no aditivos donde configuraciones de intensidad específicas (por ejemplo, $+2, -1$) rinden resultados diferentes a otros con sumas de componentes iguales (por ejemplo, $+1, +1$).
4. Convergencia entre modelos: Evaluar la correlación de las superficies de preferencia compuesta entre diferentes proveedores de modelos.

Principales contribuciones

1. Benchmark MORAL TROLLEY ARENA: Un novedoso benchmark de ELO ciego de dos etapas que desplaza la auditoría moral de los rankings de actos aislados hacia los juicios sobre evidencia moral compuesta.
2. Caracterización de las reglas de composición: Los autores identifican que los juicios compuestos siguen una función lineal comprimida de las fuerzas de los componentes en lugar de un modelo puramente aditivo.
3. Descubrimiento del anclaje de intensidad: El estudio revela que los modelos exhiben un anclaje de intensidad no aditivo, donde los perfiles con un componente positivo extremo y un componente negativo leve ($+2, -1$) superan a los perfiles con dos componentes positivos moderados ($+1, +1$), a pesar de tener sumas de componentes coincidentes.
4. Residuales específicos de los fundamentos: Tras controlar la fuerza del componente, los autores aíslan residuales acotados, encontrando un residual positivo para la Lealtad y un residual negativo para el Cuidado, mientras que otros fundamentos se alinean estrechamente con las predicciones lineales.
5. Convergencia entre proveedores: Las superficies de preferencia compuesta muestran una alta convergencia (promedio de $r = 0.939$ pareados) entre diez modelos de frontera de nueve proveedores diferentes, lo que sugiere que estos comportamientos de composición son propiedades compartidas de los modelos de frontera actuales.

Resultados

El estudio evaluó diez modelos de frontera (incluyendo Claude-Sonnet-4.6, GPT-5.2, Gemini-2.5-Pro, etc.), generando un corpus de 29,134 juicios ciegos por pares.

• Integración comprimida: En todos los modelos, la pendiente ($\beta$) de la relación lineal entre las sumas de ELO de los componentes y los ELO compuestos fue consistentemente menor que 1 ($\bar{\beta} = 0.862$). Esto indica que los modelos comprimen la evidencia moral combinada en lugar de sumarla linealmente.
• Anclaje de intensidad: Se observó una desviación significativa de la monotonicidad. Los perfiles con una suma de intensidad de $s=+1$ (dominados por un par $+2/-1$) recibieron ELOs compuestos más altos ($1098.4$) que los perfiles con $s=+2$ (dominados por pares $+1/+1$, $1063.4$), a pesar de tener ELOs de componentes casi idénticos. Esto sugiere que la presencia de un ancla de alta intensidad impulsa el juicio más que la suma agregada.
• Residuales de los fundamentos: Al controlar la fuerza del componente, la Lealtad exhibió un residual positivo ($+9.58$), indicando que recibe un peso extra en los juicios compuestos. Por el contrario, el Cuidado mostró un residual negativo ($-9.22$).
• Convergencia: Los vectores de ELO compuesto de 160 dimensiones entre modelos estaban altamente correlacionados (promedio $r=0.939$), lo que indica que el comportamiento de composición eliciado es robusto a través de diferentes arquitecturas de modelos y procesos de entrenamiento.

Significado y afirmaciones

El artículo argumenta que las auditorías morales deben evolucionar más allá de la verificación de rankings de actos aislados para medir las reglas de composición. Los hallazgos sugieren que:

• Los rankings simples son insuficientes: La preferencia de un modelo por actos aislados no predice completamente su comportamiento cuando hay múltiples señales morales presentes en la misma opción.
• La composición es no lineal: Los modelos no simplemente suman valores morales; comprimen la evidencia y están influenciados por el anclaje de intensidad.
• Primitivos de comportamiento compartidos: La consistencia de estas reglas de composición en diversos modelos de frontera implica que estas son propiedades fundamentales de las arquitecturas de los LLM actuales, lo cual tiene implicaciones en cómo la evidencia moral se acumula, domina o se cancela en sociedades de agentes complejos y en los procesos de propagación de sesgos.

Los autores mantienen un alcance modesto, señalando que el benchmark mide las elecciones reveladas bajo un encuadre de tranvía forzado y no constituye una teoría completa de la moralidad del modelo. Reconocen limitaciones respecto a la escala de intensidad de 5 niveles, el uso de escenarios etiquetados por LLM para la intensidad y la exclusión de modelos de pesos abiertos más pequeños y entornos multilingües.