The Fragility Of Moral Judgment In Large Language Models

El estudio demuestra que los juicios morales de los modelos de lenguaje grandes son altamente frágiles y dependientes de la presentación, ya que cambian significativamente ante alteraciones en el punto de vista, las señales persuasivas y, sobre todo, en la estructura de la instrucción, lo que plantea graves preocupaciones sobre la equidad y la reproducibilidad de sus evaluaciones éticas.

Lo esencial

Imagina que las Inteligencias Artificiales (IA) son como oráculos modernos o jueces digitales a los que acudimos cuando tenemos un problema moral: "¿Fui yo el malo en esta discusión con mi pareja?", "¿Debería haberle prestado dinero a mi hermano?".

Este estudio, realizado por investigadores de la Universidad de California, Berkeley, nos cuenta una historia muy importante: estos "jueces digitales" son extremadamente frágiles y fáciles de manipular. No juzgan basándose en la verdad profunda de la situación, sino en cómo se les cuenta la historia y en cómo se les pide que juzguen.

Aquí te lo explico con analogías sencillas:

1. El Experimento: "El Mismo Guion, Diferentes Actores"

Los investigadores tomaron miles de historias reales de gente que pide consejo moral en internet (del subreddit Am I the Asshole?). Luego, tomaron la misma historia y le hicieron pequeños cambios, como si estuvieras probando un vestido en un probador:

• Cambio de "Ruido" (Ediciones de superficie): Cambiaron el clima, quitaron una frase sin importancia o añadieron un detalle tonto.
  • Resultado: A la IA casi no le importó. Fue como cambiar el color de las cortinas de una sala; el juicio moral se mantuvo igual.
• Cambio de "Perspectiva" (Quién cuenta la historia): Transformaron la historia de "Yo hice esto..." (primera persona) a "Él hizo esto..." (tercera persona), sin cambiar los hechos.
  • Resultado: ¡Desastre! La IA cambió su veredicto drásticamente. Si la historia la contaba el protagonista, la IA tendía a ser más indulgente. Si la contaba un narrador externo, la IA se volvía más dura.
  • Analogía: Es como si un actor contara su propia historia y te hiciera llorar, pero si un reportero cuenta la misma historia con voz neutra, te hace sentir que el actor es un villano. La IA se deja engañar por el "tono" de la voz.
• Cambio de "Trucos de Magia" (Persuasión): Le añadieron frases como "Mis amigos dicen que tengo razón" o "Siento que he fallado".
  • Resultado: La IA cambió de opinión. Si el protagonista se disculpaba, la IA lo culpaba más (pensando que es sincero). Si se justificaba, la IA se volvía más dura (pensando que es arrogante).

2. El Problema Real: El "Esqueleto" del Juego

Lo más sorprendente no fue el contenido, sino cómo se les pidió a las IAs que respondieran. Esto es lo que los autores llaman "Andamiaje Moral".

Imagina que le preguntas a un juez:

1. Opción A: "Dime tu veredicto primero y luego explícame por qué."
2. Opción B: "Explícame todo el caso primero y luego dime tu veredicto."
3. Opción C: "Solo lee el caso y dime qué opinas, sin reglas."

El estudio descubrió que cambiar estas instrucciones es más poderoso que cambiar la historia misma.

• Si le pedías a la IA que diera el veredicto primero, tendía a culpar más al protagonista.
• Si le pedías que explicara primero, tendía a ser más comprensiva y a culpar menos.
• Si le dejabas hablar libremente (sin instrucciones estrictas), la IA a menudo se negaba a juzgar y solo daba consejos suaves.

La analogía: Es como si un juez cambiara su decisión de "Culpable" a "Inocente" simplemente porque el abogado le pidió que escribiera la sentencia antes de leer las pruebas, o viceversa. El contenido de la prueba es el mismo, pero el formato decide el resultado.

3. ¿Por qué es peligroso esto?

El estudio nos advierte sobre tres cosas importantes:

• La "Inestabilidad" en los casos difíciles: Cuando una situación es ambigua (nadie es claramente el malo), la IA es como una moneda al aire. Pequeños cambios en cómo se presenta el problema hacen que la moneda caiga en cara o cruz.
• La IA no "piensa", "improvisa": Las IAs no tienen una brújula moral interna fija. Están reaccionando a las señales que les damos. Si les das una señal de "confianza" (tercera persona, justificación), cambian su postura.
• El peligro para el usuario: Si usas una IA para consejos morales, tu resultado depende de tu habilidad para escribir el prompt, no de la justicia de tu causa. Si sabes cómo "vender" tu historia (usando ciertas palabras o estructuras), puedes manipular a la IA para que te dé la razón, incluso si no la tienes.

En resumen

Este paper nos dice que las IAs actuales son como actores muy talentosos pero sin un guion fijo. Si cambias el guion (la historia), actúan igual. Pero si cambias la dirección de la escena (cómo se le pide que actúe) o el tono de voz del narrador, cambian completamente su personaje.

La lección: No debemos confiar ciegamente en que una IA nos dará un consejo moral "objetivo". Su juicio es tan frágil como el papel en el que se escribe la pregunta. Antes de tomar una decisión importante basada en una IA, debemos recordar que la forma en que preguntamos es tan importante como la pregunta misma.

Resumen técnico

Resumen Técnico: La Fragilidad del Juicio Moral en los LLM

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) se utilizan cada vez más para obtener orientación moral y en la resolución de conflictos interpersonales. Aunque estudios previos sugieren que sus juicios morales se alinean con los humanos, existe una preocupación crítica sobre su estabilidad y manipulabilidad.

El problema central identificado es que las evaluaciones actuales de juicio moral en LLM suelen basarse en configuraciones de elicitation únicas, tratando el veredicto como una propiedad intrínseca del modelo. Sin embargo, en sistemas desplegados, la guía moral está mediada por decisiones de interfaz y protocolos (orden de instrucciones, formato de salida, etc.). Los autores plantean la pregunta: ¿Pueden los modelos entregar juicios consistentes, o variaciones superficiales en la presentación pueden alterar significativamente los resultados? El estudio busca determinar si los LLM distinguen entre "lo que sucedió" (el conflicto moral) y "cómo se narra" o "cómo se solicita el juicio".

2. Metodología

Los autores introducen un marco de perturbación que mantiene el conflicto moral subyacente constante mientras varían sistemáticamente la forma narrativa y el protocolo de elicitation.

• Datos: Se utilizaron 2,939 dilemas del subreddit de Reddit r/AmItheAsshole (AITA), recolectados entre enero y marzo de 2025.
• Modelos Evaluados: Cuatro LLMs principales: GPT-4.1, Claude 3.7 Sonnet, DeepSeek V3 y Qwen2.5-72B. Se realizaron un total de 129,156 juicios.
• Tipos de Perturbación:
  1. Perturbaciones de Contenido:
     • Superficiales: Eliminación de oraciones, cambios en detalles triviales (clima, hora), adición de detalles irrelevantes.
     • Cambios de Punto de Vista (POV): Reencuadre de primera a tercera persona (neutralizando el lenguaje específico de AITA).
     • Señales de Persuasión: Adiciones mínimas para sesgar la culpa (ej. auto-condena, prueba social, admisión de patrones, justificación propia).
  2. Perturbaciones de Protocolo (Estructura de la Tarea):
     • Orden: Veredicto primero vs. Explicación primero.
     • Ubicación de Instrucciones: Mensaje del sistema vs. mensaje del usuario.
     • Estructura: Prompt estructurado (con etiquetas forzadas) vs. Prompt no estructurado (consejo libre sin etiquetas).
• Métricas de Evaluación:
  • Tasa de Volteo (Flip Rate): Frecuencia con la que cambia el veredicto tras una perturbación.
  • Auto-consistencia: Medida mediante entropía normalizada (NE) y acuerdo en pruebas de retest (3 ejecuciones).
  • Análisis de Estance Epistémico: Medición de la confianza vs. tentatividad en las explicaciones.
  • Análisis de Razonamiento: Evaluación de trazas de pensamiento (en modelos de "razonamiento") para detectar comportamientos de verificación.

3. Contribuciones Clave

• Marco de Perturbación Sistemático: Una metodología rigurosa para aislar el impacto de la forma narrativa y la estructura del prompt sobre el juicio moral, manteniendo constante el contenido fáctico.
• Concepto de "Andamiaje Moral" (Moral Scaffolding): La demostración de que la estructura de la tarea (protocolo) es un factor determinante en el resultado, actuando como un "empate" latente que resuelve la ambigüedad.
• Análisis de Modelos de Razonamiento: Una evaluación comparativa de modelos diseñados para el pensamiento explícito (ej. Claude Extended Thinking, DeepSeek R1) frente a sus contrapartes estándar, revelando que el razonamiento explícito no garantiza mayor estabilidad.

4. Resultados Principales

• Inestabilidad por Punto de Vista: Mientras que las ediciones superficiales tienen tasas de volteo bajas (~7.5%, dentro del ruido de auto-consistencia), los cambios de punto de vista inducen una inestabilidad masiva (24.3%). Esto indica que los modelos tratan la perspectiva narrativa como una pista pragmática que altera el contexto social inferido.
• El Protocolo es el Factor Dominante: Los cambios en la estructura de la solicitud (protocolo) son el mayor impulsor de la inestabilidad.
  • La concordancia entre protocolos estructurados es de solo 67.6%.
  • El protocolo no estructurado (sin etiquetas forzadas) provoca una caída drástica en la atribución de culpa al narrador (la tasa de "Yo soy el culpable" cae de 38.2% a 9.2%). Los modelos tienden a abstenerse o dar consejos blandos cuando no se les fuerza a elegir una categoría.
• Fragilidad en Casos Ambiguos: La inestabilidad se concentra en casos moralmente ambiguos (donde no hay una violación clara de normas). Los escenarios etiquetados inicialmente como "Nadie es culpable" o "Todos son culpables" son los más propensos a cambiar de veredicto.
• Sesgo de Exoneración: Las perturbaciones de protocolo tienden a resolver la incertidumbre exonerando al narrador (cambiando de "Culpable" a "No Culpable") en una proporción de 4.3:1.
• Efectos de Persuasión:
  • La auto-condena o la admisión de patrones negativos aumentan la culpa del narrador.
  • La auto-justificación a menudo tiene el efecto contrario (backfire), aumentando la culpa en lugar de reducirla, sugiriendo que los modelos interpretan la defensa explícita como una señal de falta de credibilidad.
• Razonamiento Explícito no Garantiza Estabilidad: Los modelos de "razonamiento" (con trazas de pensamiento) mostraron tasas de volteo similares o incluso mayores que los modelos estándar ante cambios de protocolo. El análisis de trazas reveló que la "verificación" a menudo es superficial o cíclica sin cambiar la conclusión, y que la inestabilidad está ligada a la ambigüedad del escenario, no a la falta de deliberación.
• Correlación con la Auto-consistencia: Existe una fuerte correlación ($r=0.37-0.71$) entre la incertidumbre basal del modelo (entropía) y su susceptibilidad a las perturbaciones. Los casos donde el modelo es indeciso son los más frágiles.

5. Significado e Implicaciones

• Reproducibilidad y Equidad: Los resultados desafían la noción de que los benchmarks miden disposiciones morales estables. Dado que el resultado depende de la habilidad de presentación y el diseño de la interfaz (y no solo de la sustancia moral), existen riesgos significativos de inequidad y falta de reproducibilidad en aplicaciones reales.
• Diseño de Interfaz Crítico: La elección del protocolo (estructurado vs. no estructurado, orden de salida) no es trivial; define si el modelo actúa como un "juez moral" o como un "asesor empático".
• Advertencia para el Despliegue: Los sistemas que utilizan LLMs para orientación moral no deben asumir que un mismo dilema producirá la misma guía a través de diferentes interfaces o plantillas de prompt. La fragilidad es mayor precisamente en los casos ambiguos donde los usuarios más buscan ayuda.
• Naturaleza de las Explicaciones: Las explicaciones generadas por los modelos deben verse como racionalizaciones condicionadas al veredicto en lugar de trazas de razonamiento causal estables, ya que cambian de tono y certeza en sincronía con los cambios de protocolo.

En conclusión, el juicio moral de los LLMs es co-producido por la forma narrativa y el andamiaje de la tarea, lo que revela una fragilidad fundamental que limita su fiabilidad como árbitros morales objetivos en entornos del mundo real.