🤖 AI

Incoherent by Design? On the Moral Self-Consistency of LLMs

Este artículo demuestra que los modelos de lenguaje de gran tamaño exhiben una inconsistencia moral significativa, con tasas de contradicción que alcanzan hasta el 78% en escenarios éticamente equivalentes, desafiando así la integridad epistémica y la alineación de valores de los sistemas de IA utilizados en contextos moralmente sensibles.

Autores originales: Pegah Nokhiz, Aravinda Kanchana Ruwanpathirana, Helen Nissenbaum

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pegah Nokhiz, Aravinda Kanchana Ruwanpathirana, Helen Nissenbaum

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo moderno, recurrimos cada vez más a la inteligencia artificial para ayudarnos a navegar decisiones difíciles. Estos sistemas, conocidos como modelos de lenguaje extensos, han sido entrenados con vastas cantidades de texto humano y pueden discutir temas complejos, desde la historia hasta la ciencia, con una fluidez sorprendente. Cuando se les pregunta sobre lo que es correcto e incorrecto, a menudo pueden recitar principios morales que suenan muy parecidos a los nuestros. Podríamos preguntarles si es aceptable mentir para proteger los sentimientos de alguien, o cómo dividir recursos limitados de manera justa. La esperanza es que estas herramientas puedan ofrecer una guía constante y fiable en situaciones donde el juicio humano podría fallar. Sin embargo, para que un sistema sea verdaderamente digno de confianza en asuntos de ética, debe hacer algo más que sonar razonable; debe ser consistente. Si una persona o una máquina cambia de opinión sobre una regla moral simplemente porque la pregunta se formuló de una manera ligeramente distinta, su consejo se vuelve poco fiable. Esto plantea una pregunta fundamental sobre la naturaleza de estas mentes digitales: ¿poseen un conjunto estable de creencias o simplemente están imitando el tono de la pregunta que reciben?

Un equipo de investigadores de la Universidad de Cornell y la Universidad Tecnológica de Nanyang se propuso probar esta estabilidad. Querían ver si estos sistemas de inteligencia artificial podían mantenerse fieles a una única filosofía moral cuando se enfrentaban a situaciones casi idénticas. Para ello, no pidieron a los modelos que eligieran entre diferentes escuelas éticas, como comparar un enfoque basado en reglas frente a uno basado en las consecuencias. En su lugar, pidieron a los modelos que adoptaran un punto de vista específico y observaron si podían aplicarlo de manera consistente. Los investigadores se centraron en tres grandes formas en que los humanos han pensado históricamente sobre la moralidad. La primera es un enfoque basado en reglas, donde las acciones se juzgan como correctas o incorrectas basándose en si siguen una ley universal, independientemente del resultado. El segundo es un enfoque basado en las consecuencias, donde la moralidad de una acción depende enteramente de si produce el mejor resultado general para la mayoría de las personas. El tercero se centra en el carácter, juzgando las acciones basándose en si reflejan las virtudes de una buena persona, como la honestidad o el valor.

Los investigadores diseñaron un experimento controlado para aislar el razonamiento de los modelos. Crearon cuatro escenarios morales específicos, cada uno de los cuales resaltaba una tensión diferente, como el conflicto entre decir la verdad y prevenir el daño, o el compromiso entre la equidad y la eficiencia. Para cada escenario, escribieron tres versiones ligeramente diferentes de la pregunta. Estas versiones fueron elaboradas para fomentar sutilmente la misma perspectiva ética sin nombrarla explícitamente. Por ejemplo, en un escenario sobre una madre con demencia que ha olvidado la muerte de su esposo, una pregunta podría enfatizar el deber de decir la verdad, mientras que otra podría enfatizar el deber de proteger a una persona vulnerable del dolor. Ambas preguntas fueron diseñadas para provocar una respuesta basada en reglas, pero enmarcaron el dilema de forma distinta. Los investigadores pidieron entonces a tres modelos de lenguaje extensos diferentes que respondieran a estas preguntas. Tras recibir las respuestas, tradujeron las respuestas en lenguaje natural a un formato lógico estructurado para comprobar si había contradicciones. Esto les permitió ver si el razonamiento del modelo se mantenía firme cuando la misma situación subyacente se presentaba con un giro diferente.

Los resultados revelaron una falta de estabilidad sorprendente. En los casos más extremos, los modelos se contradijeron en hasta el 78 por ciento de los escenarios. Esto significa que, cuando se le pedía al mismo modelo que razonara desde el mismo punto de vista ético sobre la misma situación, llegaba con frecuencia a conclusiones opuestas simplemente porque la redacción de la instrucción había cambiado ligeramente. Por ejemplo, un modelo podría decidir que mentir a un paciente terminal es moralmente incorrecto cuando la pregunta se centra en la violación de una regla, pero luego decidir que mentir es moralmente aceptable cuando la pregunta se centra en el deber de prevenir el sufrimiento, a pesar de que ambas preguntas estaban destinadas a probar la misma filosofía basada en reglas. La inconsistencia no se limitó a un tipo de modelo; apareció en diferentes sistemas, incluidos los de los principales desarrolladores. El estudio encontró que los modelos eran particularmente inestables al tratar la tensión entre la verdad y las consecuencias, y entre la motivación emocional y el razonamiento frío.

Estos hallazgos sugieren que la lógica interna de estos sistemas es mucho más frágil de lo que se suponía anteriormente. Los modelos parecen ser altamente sensibles a la redacción específica de una instrucción, cambiando su postura moral para coincidir con el tono de la pregunta en lugar de adherirse a un conjunto coherente de principios. Esto no es meramente un fallo técnico; apunta a un problema más profundo en la forma en que estos sistemas procesan la información. Si un sistema no puede aplicar consistentemente sus propios principios declarados, no puede ser considerado fiable para ofrecer una guía estable en situaciones del mundo real donde la gente depende de él para obtener consejos. Los investigadores argumentan que, antes de que podamos esperar que la inteligencia artificial se alinee con los valores humanos, primero debemos asegurar que el sistema sea internamente consistente. Sin esta base de autoconsistencia, el objetivo de crear un agente moral digno de confianza permanece fuera de nuestro alcance. El estudio no afirma que estos modelos sean incapaces de razonamiento moral, sino que su razonamiento es actualmente demasiado inestable para ser considerado fiable. A medida que estas herramientas se integran más en nuestras vidas, comprender sus limitaciones es crucial para asegurar que nos sirvan bien sin desviarnos del camino.

Resumen Técnico: ¿Incoherente por Diseño? Sobre la Consistencia Moral de los LLM

Planteamiento del Problema
Los Modelos de Lenguaje Extensos (LLM) se están desplegando cada vez más en contextos que requieren juicios normativos, como el apoyo a la toma de decisiones y la moderación de contenidos. Si bien investigaciones previas han establecido que los LLM pueden articular principios morales y emular el razonamiento ético humano, persiste una brecha crítica respecto a su consistencia interna. Específicamente, no está claro si estos sistemas pueden adherirse de manera estable a un conjunto coherente de principios cuando el escenario subyacente se mantiene constante pero el encuadre del prompt varía ligeramente. Si un modelo puede enunciar un principio moral pero lo viola cuando se reformula el mismo escenario, la integridad epistémica de los sistemas mediados por IA se vuelve incierta. Esta inconsistencia plantea un desafío fundamental para la alineación de la IA, ya que un sistema que no puede reproducir de manera fiable sus propios compromisos normativos convierte la alineación de valores en un "objetivo móvil".

Metodología
Para investigar la consistencia intra-marco, los autores diseñaron un marco de prompting controlado que aísla la auticonsistencia dentro de una sola postura ética, distinguiéndola de la variación derivada de la adopción de diferentes escuelas de pensamiento.

Diseño Experimental:
- Escenarios: Se construyeron cuatro escenarios morales, vinculados a tres tensiones morales específicas: Verdad vs. Consecuencias, Equidad vs. Eficiencia y Motivación Emocional vs. Razonamiento Frío.
- Marcos Éticos: El estudio evaluó tres grandes escuelas de pensamiento filosófico: la Deontología (basada en reglas), el Utilitarismo (basada en resultados) y la Ética de la Virtud (basada en el carácter).
- Variantes de Prompt: Para cada par (escenario, escuela de pensamiento), se generaron tres variantes distintas de prompt. Estas variantes compartían la misma descripción de escenario fijo y postura ética, pero diferían en el fraseo superficial y el encuadre para reflejar tensiones morales o perturbaciones estilísticas ligeramente diferentes. Crucialmente, los prompts no nombraban explícitamente la postura ética (por ejemplo, "actúa como un deontólogo") para evitar la señalización directa, basándose en su lugar en un lenguaje que elicitaba implícitamente el estilo de razonamiento correspondiente.
- Modelos: El estudio evaluó tres familias de modelos: GPT-OSS-20B, Llama-3.1-8B-Instruct y Mistral-7B-Instruct-v0.2.
Formalización Lógica y Análisis:
- Traducción a Lógica Modal: Para detectar inconsistencias de manera rigurosa, los autores convirtieron las salidas de lenguaje natural de los LLM en conjuntos estructurados de enunciados de lógica modal. Este proceso utilizó un flujo de trabajo híbrido de agentes impulsados por Gemini y anotación humana.
- Definición de Predicados: Se definieron predicados específicos para capturar enunciados fácticos, obligaciones normativas (por ejemplo, $\bigcirc$ para obligatorio), permisos ( $P$ ) y prohibiciones ( $F$ ), así como operadores modales para la necesidad ( $\square$ ) y la posibilidad ( $\diamond$ ).
- Detección de Inconsistencias: El estudio realizó comparaciones por pares de los enunciados lógicos generados a partir de las tres variantes de prompt dentro del mismo par (escenario, escuela de pensamiento). Las contradicciones se identificaron cuando los conjuntos lógicos contenían premisas mutuamente excluyentes o modalidades conflictivas (por ejemplo, que una acción sea tanto estrictamente obligatoria como estrictamente prohibida, o que un estado descriptivo se equivoque con una obligación normativa de una manera que cree incoherencia lógica).

Contribuciones Clave

Marco Controlado: La propuesta de un marco de prompting diseñado específicamente para evaluar la consistencia moral intra-marco, desplazando el enfoque desde el desacuerdo entre marcos hacia la auticonsistencia dentro de una sola postura adoptada.
Detección Basada en Lógica: La introducción de una metodología para traducir las salidas de lenguaje libre de los LLM en representaciones lógicas estructuradas (lógica modal) para permitir una comparación por pares sistemática, matemática y la cuantificación de las tasas de inconsistencia.
Evidencia Empírica: La presentación de datos empíricos que demuestran una inconsistencia moral significativa en los LLM de última generación, incluso bajo condiciones controladas donde el escenario y la postura ética eran fijos.
Implicaciones para la Alineación: El argumento de que la inestabilidad epistémica es un desafío previo para la alineación de la IA; los sistemas que carecen de coherencia interna no pueden alinearse de manera fiable con los valores humanos.

Resultados
El estudio reveló una variabilidad e inconsistencia sustancial en todos los modelos y marcos éticos:

Tasas de Contradicción: Las tasas de inconsistencia variaron desde niveles insignificantes hasta un 78% dependiendo del escenario específico y la escuela de pensamiento.
Desempeño de los Modelos:
- Llama-3.1-8B-Instruct exhibió los niveles más altos de inconsistencia, particularmente en las tensiones de Verdad vs. Consecuencias (Deontología) y Equidad vs. Eficiencia (Utilitarismo).
- GPT-OSS-20B y Mistral-7B-Instruct-v0.2 mostraron tasas de inconsistencia menores pero aún significativas, siendo Mistral consistente en la mayoría de los escenarios Deontológicos y Utilitaristas, pero fallando en Motivación Emocional vs. Razonamiento Frío (Ética de la Virtud).
Hallazgos Específicos:
- En la Deontología, los modelos tuvieron dificultades con la tensión Verdad vs. Consecuencias, donde cambios leves en el encuadre causaron que los modelos variaran la ponderación entre la veracidad y las consecuencias, a pesar de que la acción subyacente (mentir) permanecía constante.
- En el Utilitarismo, las inconsistencias surgieron cuando los prompts implicaban diferentes cálculos de utilidad, llevando a los modelos a tratar la misma acción como permisible e impermisible simultáneamente.
- En la Ética de la Virtud, se observaron inconsistencias cuando las virtas específicas resaltadas en el prompt cambiaban (por ejemplo, misericordia vs. firmeza), causando que los modelos alteraran sus veredictos morales sobre el mismo escenario.

Significado y Reivindicaciones
El artículo argumenta que la incoherencia interna no es simplemente una limitación técnica, sino una barrera fundamental para una IA confiable. Los autores afirman que:

Inestabilidad Epistémica: La IA generativa exhibe un fenómeno de inestabilidad epistémica donde los modelos no logran mantener la coherencia de manera fiable con sus propios resultados previos.
Impacto en el Razonamiento Humano: A medida que los sistemas generativos influyen en cómo las personas forman creencias y juzgan acciones, estas inconsistencias pueden moldear el razonamiento y la toma de decisiones humanas, propagando potencialmente la inestabilidad aguas abajo.
Requisito Previo para la Alineación: Los autores postulan que demostrar la incoherencia interna es un precursor necesario para la alineación de la IA. Antes de que un modelo pueda alinearse con un conjunto específico de valores humanos, debe primero ser capaz de adherirse consistentemente a sus propios principios. Sin coherencia interna, los esfuerzos de alineación de valores están fundamentalmente comprometidos.

El artículo concluye que la investigación futura debe priorizar métodos para imponer la coherencia de salida y desarrollar marcos de evaluación robustos para la estabilidad del razonamiento antes de que se pueda lograr una alineación significativa.

Más como este