💻 computer science

Agreement Is Not Alignment: Divergent Moral Grounds in Human and LLM Ethical Judgments

Este artículo demuestra que, si bien los modelos de lenguaje de gran tamaño suelen lograr una alta concordancia con los juicios morales humanos en las etiquetas finales, divergen sistemáticamente en los principios morales y las justificaciones subyacentes utilizados para alcanzar dichas conclusiones, lo que revela que la concordancia basada en etiquetas es un indicador insuficiente de una verdadera alineación ética.

Autores originales: Octavian M. Machidon, Alina L. Machidon, Vojko Strahovnik, Mateja Centa Strahovnik, Jonas Miklavčič, Marko Robnik Šikonja

Publicado 2026-08-14

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Octavian M. Machidon, Alina L. Machidon, Vojko Strahovnik, Mateja Centa Strahovnik, Jonas Miklavčič, Marko Robnik Šikonja

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran mimetismo moral: Cuando los robots están de acuerdo pero no entienden

Imagina que estás enseñando a un robot cómo ser una buena persona. Le muestras miles de historias sobre personas haciendo cosas buenas o malas, y le pides que dé una calificación simple: "Bueno" o "Malo". Si el robot empieza a dar exactamente las mismas calificaciones que tus amigos humanos, podrías pensar: "¡Genial! ¡El robot ha aprendido nuestros valores!". Este es el mundo de la alineación de la IA, un campo donde los científicos intentan que la Inteligencia Artificial (específicamente los Modelos de Lenguaje Extensos, o LLM) se comporte de maneras que coincidan con las expectativas humanas.

Durante mucho tiempo, la forma principal de comprobar si una IA está "alineada" ha sido observar la respuesta final. Si un humano dice: "Esa acción es incorrecta", y la IA también dice: "Esa acción es incorrecta", lo contamos como un éxito. Es como un estudiante que obtiene la respuesta correcta en un examen de matemáticas; asumimos que hizo bien los cálculos. Pero, ¿y si el estudiante obtuvo la respuesta correcta por adivinar, o usando una fórmula completamente diferente que casualmente funcionó esta vez? En el mundo de la ética de la IA, obtener la etiqueta correcta no es suficiente. Necesitamos saber por qué la IA piensa que algo está mal. Si el razonamiento interno de la IA es totalmente distinto al nuestro, podría actuar de forma extraña cuando se enfrente a una situación nueva y complicada. Este artículo profundiza en esa pregunta exacta: ¿Los modelos de IA realmente comprenden nuestras razones morales, o solo son muy buenos fingiendo?

La gran ilusión de la "respuesta correcta"

Los investigadores detrás de este estudio, un equipo de la Universidad de Liubliana, decidieron poner a prueba esta suposición de la "respuesta correcta". Crearon un desafío especial utilizando 500 escenarios morales, que iban desde dilemas cotidianos (como "¿Está bien mentirle a un amigo?") hasta acertijos filosóficos más complejos sobre la justicia y las promesas. Pidieron tanto a voluntarios humanos como a varios modelos de IA avanzados que hicieran dos cosas para cada escenario: primero, dar un veredicto final (la "etiquota"), y segundo, explicar su razonamiento (la "justificación").

Piénsalo como un juego de "Dos verdades y una mentira", pero en lugar de adivinar qué afirmación es falsa, intentas ver si la IA y el humano están pensando los mismos pensamientos. El equipo analizó dos grupos diferentes de modelos: los modelos "Frontier" (los superinteligentes, de última generación como Claude y ChatGPT) y los modelos "Open" (versiones de código abierto ligeramente más pequeñas).

Aquí está el giro que encontraron: Los modelos de IA eran increíblemente buenos obteniendo la calificación final correcta, pero a menudo se equivocaban sobre por qué era correcta.

Cuando los investigadores observaron únicamente las etiquetas finales de "Bueno" o "Malo", los modelos de IA coincidieron con la mayoría humana entre el 88% y el 89% de las veces. ¡Es una puntuación enorme! Si solo estuvieras comprobando las respuestas finales, dirías: "¡Perfecto! La IA está alineada con nosotros". Pero luego, los investigadores echaron un vistazo bajo el capó a las explicaciones.

El "por qué" importa más que el "qué"

El estudio reveló que, aunque la IA y los humanos a menudo llegaban al mismo destino, tomaban caminos completamente diferentes para llegar allí. Los autores llaman a esto "fundamentos morales divergentes".

Para usar una analogía lúdica: Imagina que un humano y un robot están juzgando a una persona que robó un coche.

El Humano podría decir: "Esto es malo porque rompió una promesa al dueño y mostró una falta de confianza". Se está centrando en la relación y en la promesa rota.
El Robot, sin embargo, podría decir: "Esto es malo porque causa daño y es irrespetuoso". El robot se está centrando en el daño y la cortesía.

Ambos dicen "Malo", por lo que la calificación final coincide. Pero su lógica interna es totalmente distinta. El humano está pensando en un contrato social específico (promesas), mientras que el robot está pensando en la seguridad general y los modales.

El artículo encontró que este desajuste ocurre todo el tiempo. En la sección de "Deontología" (que trata sobre deberes y reglas), los humanos a menudo observaban si una excusa era relevante para la regla. Por ejemplo, si alguien dice: "No puedo pasear al perro porque lo paseé ayer", un humano podría decir: "Esa excusa es irrelevante; todavía tienes el deber hoy". Pero los modelos de IA a menudo ignoraban la lógica de la excusa y simplemente decían: "Toda la situación es moralmente incorrecta". La IA estaba tan ocupada viendo la "incorrección moral" del acto que olvidó comprobar si la excusa tenía sentido en ese contexto específico.

Los números no mienten (pero no cuentan la historia completa)

Los datos fueron bastante claros. Cuando los investigadores midieron cuánto coincidía el razonamiento de la IA con el razonamiento humano, las puntuaciones bajaron significamente.

Para las reglas morales de "Sentido Común", la IA y los humanos solo coincidieron en las razones específicas el 35% de las veces (un solapamiento de Jaccard de 0.350).
Para las reglas de "Deontología", fue aún peor, con solo un 23.5% de acuerdo en las razones.

A pesar de que los modelos "Frontier" (los más inteligentes) coincidieron con los humanos en la respuesta final aproximadamente el 88.9% de las veces, sus razones eran a menudo de un sabor totalmente distinto. Tendían a usar en exceso palabras como "daño" e "irrespeto" y a usar en exceso menos palabras como "cumplimiento de promesas" o "confianza". Es como si la IA tuviera un vocabulario demasiado estrecho; ve casi todos los problemas como un problema de seguridad o un gesto grosero, perdiendo los matices sutiles y relacionales que los humanos valoran.

Por qué esto lo cambia todo

La conclusión principal de este artículo es una advertencia suave: El acuerdo no es Alineación.

Solo porque una IA te dé la misma respuesta que tú darías, no significa que comprenda el mundo de la misma manera que tú. Si solo comprobamos las respuestas finales, podríamos caer en una falsa sensación de seguridad. Podríamos pensar que nuestra IA es una compañera sabia, cuando en realidad es solo una imitadora muy buena que usa un diccionario diferente.

Los autores sugieren que debemos dejar de mirar solo la "A" o la "F" en el examen y empezar a leer el ensayo. Necesitamos preguntar a la IA por qué tomó una decisión. Si una IA dice que algo está mal porque es "inseguro", pero tú piensas que está mal porque es "injusto", eso es un problema. En el mundo real, estas diferencias importan. Si una IA está moderando una sala de chat o dando asesoría legal, y está usando el "daño" como su único lente cuando los humanos están pensando en la "equidad" o las "promesas", podría tomar decisiones que parecen correctas en la superficie pero que se sienten profundamente erróneas para las personas involucradas.

Así que, la próxima vez que veas una IA que parece estar de acuerdo contigo perfectamente, recuerda la lección de este estudio: Podría estar simplemente jugando un juego muy convincente de "Adivina la Respuesta", sin comprender realmente la historia que hay detrás. El camino hacia una IA verdaderamente segura y útil no es solo obtener la calificación correcta; es compartir las mismas razones.

Resumen Técnico: El Acuerdo no es Alineación

Planteamiento del Problema
Las evaluaciones actuales del alineamiento ético de los Modelos de Lenguaje de Gran Escala (LLM) dependen predominantemente del "acuerdo de etiquetas" (label agreement): el grado en que el juicio moral final de un modelo coincide con el de los anotadores humanos. Este artículo sostiene que el acuerdo de etiquetas es un proxy insuficiente para una verdadera alineación ética. Dos agentes pueden alcanzar la misma conclusión (por ejemplo, que una acción es "incorrecta") mientras dependen de fundamentos morales, principios o interpretaciones contextuales fundamentalmente distintos. Si un modelo coincide con los humanos en la etiqueta final pero justifica la decisión utilizando un vocabulario moral diferente (por ejemplo, enmarcando un incumplimiento de confianza como un "daño" genérico en lugar de una "violación de promesa" específica), el modelo puede fallar al generalizar correctamente en nuevos contextos, al explicar su razonamiento en términos no humanos, o al sobre-moralizar situaciones que los humanos consideran dependientes del contexto. El problema central es que los benchmarks estándar miden la convergencia de la salida sin verificar si los mecanismos de razonamiento subyacentes están alineados.

Metodología
Los autores realizaron un estudio empírico utilizando un subconjunto curado de 500 elementos del benchmark ETHICS, que abarca cinco dominios de juicio moral: moralidad de sentido común, deontología, justicia, utilitarismo y ética de la virtud.

Curación de Datos: El subconjunto fue seleccionado cuidadosamente para asegurar que los elementos requirieran razonamiento moral en lugar de inferencia factual o claves léxicas superficiales. El conjunto de datos incluye 100 ejemplos por dominio.
Protocolo de Anotación:
- Anotadores Humanos: Un grupo de cinco anotadores humanos (tres por elemento) proporcionó las etiquetas finales y las racionalidades de apoyo. Para los campos de selección múltiple, los anotadores podían elegir múltiples principios.
- Evaluación del Modelo: Se evaluaron dos grupos de modelos: un grupo "de frontera" (Claude Sonnet 4.5, Gemini 2.5 Pro y ChatGPT 5.2) y un grupo "abierto" (Gemma 12B/27B, GaMS-12B/27B). Los modelos fueron instruidos para producir un JSON estructurado que coincidiera con el esquema de anotación humana.
Métricas:
- Acuerdo de Etiquetas: Medido como la proporción de elementos donde la etiqueta final del modelo coincide con la etiqueta mayoritaria humana, junto con el $\kappa$ de Cohen.
- Alineación de la Racionalidad: Medida a través de la distribución de los principios morales seleccionados. Para los campos estructurados (sentido común, deontología, justicia), los autores calcularon el solapamiento de Jaccard para los principios de selección múltiple y el acuerdo por pares para las categorías de elección única.
- Desviación: Los autores computaron la Desviación Absoluta Media (MAD) entre la distribución de la categoría de la racionalidad del modelo y la distribución de los anotadores humanos para cuantificar la divergencia en los fundamentos morales.
Alcance: El análisis de racionalidad estructurada se restringió al sentido común, la deontología y la justicia, ya que el utilitarismo y la ética de la virtud utilizaron racionalidades de texto libre en este protocolo.

Contribuciones Clave

Distinción Empírica: El artículo proporciona evidencia empírica que distingue entre el acuerdo de etiquetas y la alineación a nivel de racionalidad, demostrando que un alto acuerdo en las etiquetas finales no garantiza la alineación en los fundamentos morales expresados.
Divergencia Sistemática: Revela que incluso los modelos de frontera de alto rendimiento redistribuyen sistemáticamente la atención a través de las categorías morales (por ejemplo, daño, respeto, cumplimiento de promesas, justicia) en comparación con los anotadores humanos, incluso cuando sus juicios finales coinciden.
Cambio Metodológico: Los autores abogan por pasar de una evaluación basada en etiquetas hacia un análisis "consciente de la racionalidad", sugiriendo que la alineación ética requiere que los modelos sean sensibles a la misma gama de razones morales reconocibles por humanos, no solo a los mismos resultados finales.

Resultados

Alto Acuerdo de Etiquetas: Los modelos de frontera lograron un alto acuerdo con las etiquetas mayoritarias humanas (0.883–0.889), con valores de $\kappa$ de Cohen que oscilaron entre 0.849 y 0.857. Los modelos abiertos mostraron un acuerdo ligeramente inferior, pero aún sustancial.
Divergencia de la Racionalidad: A pesar del alto acuerdo de etiquetas, el acuerdo a nivel de racionalidad fue significativamente menor.
- Deontología: La divergencia más significativa ocurrió aquí. Los anotadores humanos clasificaron frecuentemente las excusas déb como "irrelevantes" para un deber (37.9%), mientras que los modelos clasificaron abrumadoramente la situación como "moralmente incorrecta" (57.0%). Los modelos tendieron a moralizar la saliencia general del escenario en lugar de evaluar la relación lógica específica entre una excusa y un deber.
- Moralidad de Sentido Común: Aunque el "daño" fue la categoría dominante para ambos, los modelos sobre-seleccionaron el "respeto" y bajo-seleccionaron la "fidelidad de la promesa" y la "veracidad" en comparación con los humanos.
- Justicia: Los modelos mostraron una postura más cautelosa hacia las reclamaciones de "merecimiento", a menudo invirtiendo la preferencia humana de "merecido" frente a "no merecido".
Falta de Correlación: No hubo una relación lineal entre la precisión de la etiqueta y la alineación de la racionalidad. Por ejemplo, Gemini tuvo un acuerdo de etiquetas similar al de Claude, pero exhibió una desviación de la racionalidad sustancialmente mayor. Por el contrario, algunos modelos con menor precisión de etiqueta tenían perfiles de racionalidad más cercanos a los humanos en dominios específicos.

Significancia y Reivindicaciones
El artículo sostiene que tratar el acuerdo como equivalente a la alineación es engañoso. Un modelo que coincide con las etiquetas humanas pero depende de un vocabulario moral diferente puede parecer alineado en entornos de benchmark, pero podría ser frágil en despliegues de propósito abierto donde el contexto, las obligaciones implícitas y los deberes relacionales específicos (como el cumplimiento de promesas) son críticos.

Los autores concluyen que la evaluación de la alineación ética debe incluir una capa diagnóstica que analice las razones y los principios expresados en los juicios del modelo. No pretenden que los modelos repliquen perfectamente las racionalidades humanas (reconociendo la heterogeneidad humana), sino que los modelos deben expresar fundamentos morales que sean reconocibles, inspeccionables y contestables por los humanos. El estudio sugiere que las métricas actuales basadas en etiquetas son necesarias pero incompletas, y potencialmente ofrecen resultados "engañosamente tranquilizadores" si no se complementan con un análisis a nivel de racionalidad.

El gran mimetismo moral: Cuando los robots están de acuerdo pero no entienden

La gran ilusión de la "respuesta correcta"

El "por qué" importa más que el "qué"

Los números no mienten (pero no cuentan la historia completa)

Por qué esto lo cambia todo

Más como este