🤖 machine learning

The Judgment-Consequence Gap: LLM Moral Reasoning in Healthcare Decisions

Este artículo revela una "brecha entre juicio y consecuencia" en los modelos de lenguaje de gran tamaño, mostrando que, si bien coinciden con los humanos en que los pacientes son responsables de las conductas que perjudican la salud, se niegan sistemáticamente a permitir que esta responsabilidad influya en la asignación de recursos escasos, a diferencia de los humanos, quienes favorecen consistentemente a los pacientes menos culpables.

Autores originales: Hadi Hosseini, Samarth Khanna, Leona Pierce

Publicado 2026-08-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hadi Hosseini, Samarth Khanna, Leona Pierce

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el árbitro en un juego de muy alto riesgo donde el premio es un tratamiento médico que salva la vida, como un riñón nuevo o una cirugía especial. Tienes dos jugadores: el Jugador A, que siempre ha gozado de buena salud, y el Jugador B, que enfermó tras hacer algo arriesgado, como fumar mucho o beber demasiado. En el mundo real, cuando la gente tiene que decidir quién se lleva el premio, a menudo se fijan en quién lo "merece". Si el Jugador B tomó malas decisiones, muchas personas sienten que el Jugador B debería pagar el precio y perder la oportunidad. Esta idea se llama responsabilidad moral: la creencia de que si tú causas tus propios problemas, no puedes esperar un pase libre.

Ahora, imagina que le pides a un robot superinteligente, un Modelo de Lenguaje Extenso (LLM), que sea el árbitro. Estos robots son como cerebros digitales que han leído casi todo lo que hay en internet. Son excelentes dando consejos, escribiendo historias e incluso ayudando a los médicos a diagnosticar enfermedades. Pero aquí surge la gran pregunta: cuando estos robots tienen que tomar una decisión difícil sobre quién recibe un recurso médico escaso, ¿piensan como los humanos? ¿Se fijan en las malas decisiones del Jugador B y dicen: "Lo siento, tú te lo buscaste, ahora aguántalo"? ¿O tienen un conjunto de reglas diferente? Este artículo profundiza en ese misterio exacto, probando si estos árbitros de IA siguen el mismo manual moral que nosotros o si están jugando un juego completamente diferente.

Los investigadores configuraron una serie de escenarios digitales, como una simulación de un videojuego, donde una IA tenía que elegir entre dos pacientes para un trasplante de riñón. Un paciente tenía un historial de malos hábitos (como fumar o el consumo de drogas) y el otro no. Se le hizo a la IA una serie de preguntas seguidas: Primero, "¿Es el paciente responsable de su mal hábito?". Segundo, "¿Es el paciente responsable de enfermarse debido a ese hábito?". Y finalmente, la más importante: "¿Quién debería recibir el riñón?".

Aquí es donde ocurre el giro de la trama. Cuando se le preguntó a la IA si el paciente era responsable de sus malos hábitos, estuvo de acuerdo con los humanos casi perfectamente. Dijo: "Sí, ese paciente tomó una mala decisión". Incluso estuvo de acuerdo en que el paciente era responsable de enfermarse debido a ese hábito. Pero luego, al preguntarle que realmente entregara el riñón al "buen" paciente, la IA cambió de opinión por completo. En lugar de elegir al paciente que no fumaba, la IA eligió abrumadoramente lanzar una moneda al aire.

Los investigadores llaman a esto la "Brecha de Juicio-Consecuencia" (Judgment-Consequence Gap). Es como si un robot dijera: "Sé que rompiste las reglas, y sé que tú fuiste quien las rompió", pero luego añadiera: "Pero no voy a castigarte por ello porque sería injusto". Mientras que los humanos suelen conectar los puntos, pensando: "Causaste el problema, así que no deberías recibir el premio", la IA rompe la cadena. Admite que el paciente tiene la culpa, pero se niega a dejar que esa culpa decida quién recibe el tratamiento vital.

El estudio también encontró otros rasgos curiosos. Si el paciente no sabía que su mal hábito era peligroso (tal vez nunca le dijeron que fumar causa insuficiencia renal), la IA era mucho más compasiva, casi perdonándole la falta. Los humanos, por otro lado, no se preocupaban tanto por si el paciente conocía los riesgos; seguían sintiendo que el paciente era responsable. Además, cuando los investigadores activaron el "modo de pensamiento" de la IA —haciendo que se detuviera y razonara más tiempo antes de responder—, la brecha se amplió aún más. La IA estaba aún más convencida de que el paciente era responsable, pero aún más obstinada en negarse a usar esa responsabilidad para decidir quién recibe el riñón.

En resumen, este artículo sugiere que, aunque la IA puede entender el concepto de "lo hiciste, te haces cargo", no parece creer que "hacerse cargo" signifique que debas perder un recurso vital. Trata la decisión de dar un riñón como una cuestión de justicia estricta donde todos tienen la misma oportunidad, independientemente de sus errores pasados. Esto no es un error; parece ser una regla profunda e integrada en la forma en que estos modelos piensan. Por lo tanto, si alguna vez dejamos que la IA ayude a los médicos a decidir quién recibe un trasplante, debemos saber que el robot puede estar de acuerdo con nosotros sobre quién tiene la culpa, pero probablemente se negará a permitir que esa culpa cambie el resultado.

Resumen Técnico: La brecha entre el juicio y la consecuencia en el razonamiento moral de los LLM

Declaración del problema

A medida que los modelos de lenguaje de gran tamaño (LLM) se integran cada vez más en dominios de alta responsabilidad como la atención médica para el apoyo en la toma de decisiones y la asignación de recursos, comprender sus capacidades de razonamiento moral es crítico. Surge un desafío ético específico cuando se deben asignar recursos médicos escasos (por ejemplo, órganos, tratamientos especializados) entre pacientes, algunos de los cuales han contribuido a su propia enfermedad mediante conductas perjudiciales para la salud (por ejemplo, tabaquismo, consumo de drogas).

El razonamiento moral humano, basado en la teoría de la atribución, vincula típicamente la percepción de responsabilidad por un resultado negativo con las consecuencias derivadas, considerando a menudo que aquellos responsables de su desgracia son menos merecedores de recursos escasos. Sin embargo, sigue sin estar claro si los LLM replican este vínculo o si divergen en cómo evalúan la responsabilidad frente a cómo actúan sobre esa evaluación en decisiones consecuentes. El trabajo previo ha tratado mayoritariamente el razonamiento moral como una evaluación de un solo paso, dejando un vacío en la comprensión de en qué punto de la cadena de razonamiento divergen los comportamientos humanos y de los LLM.

Metodología

Los autores llevaron a cabo un estudio empírico exhaustivo evaluando 19 configuraciones distintas de LLM (que abarcan 12 modelos de familias que incluyen Claude, GPT, DeepSeek, Gemini y Llama, tanto en modos con razonamiento habilitado como sin él) frente a líneas de base humanas derivadas de estudios previos.

Diseño Experimental:
El estudio utilizó viñetas clínicas adaptadas de estudios humanos sobre la asignación de trasplantes de riñón (Chan et al., 2024), tratamiento del cáncer de pulmón (Björk, Lynøe y Juth, 2015) y cirugía de reemplazo de cadera (Björk, Juth y Lynøe, 2018). El diseño experimental trazó el proceso de razonamiento moral a través de niveles sucesivos:

Responsabilidad Conductual: ¿Es el paciente responsable de la conducta perjudicial?
Responsabilidad de la Enfermedad: ¿Es el paciente responsable de desarrollar la enfermedad?
Responsabilidad de la Privación: ¿Es el paciente responsable de serle negado el recurso escaso?
Decisión de Asignación: Dada la escasez, ¿debería el recurso ir al paciente no culpable, al paciente culpable, o decidirse al azar?

Variables Manipuladas:

Cambio de Comportamiento: Si el paciente continuó o detuvo la conducta perjudicial tras el diagnóstico.
Estado Epistémico (Nivel de Conocimiento): Si el paciente conocía los riesgos para la salud, tenía acceso a la información pero no la conocía, o no tenía acceso a la información. Esto incluyó condiciones donde los pacientes fueron activamente engañados por terceros, humanos o agentes de IA.
Capacidad de Razonamiento: Comparación de modelos con el modo de "pensamiento" (razonamiento extendido) habilitado frente a deshabilitado.

Procedimiento:
Los modelos fueron instados como participantes de estudio simulados en conversaciones de múltiples turnos para replicar la estructura secuencial de los estudios humanos. Las respuestas se recopilaron mediante salidas JSON estructuradas que contenían calificaciones en escala Likert y elecciones de asignación. Se realizaron comparaciones estadísticas utilizando pruebas t de Welch, pruebas U de Mann-Whitney y pruebas $\chi^2$ , agregando resultados a través de las configuraciones de los modelos para identificar patrones generales.

Contribuciones Clave

Identificación de la Brecha entre Juicio y Consecuencia: El artículo define y demuestra empíricamente una desconexión sistemática donde los LLM coinciden con los humanos en los juicios de responsabilidad moral, pero se niegan a permitir que esos juicios influyan en las decisiones de asignación consecuentes.
Rastreo Granular de las Cadenas de Razonamiento: A diferencia del trabajo previo que trata el razonamiento moral como un output monolítico, este estudio aísla etapas específicas (conducta $\to$ enfermedad $\to$ privación $\to$ asignación) para localizar exactamente dónde ocurre la divergencia.
Análisis de la Sensibilidad Epistémica: El estudio revela que los LLM son significativamente más sensibles al acceso de los pacientes a la información (consentimiento informado) que los humanos, reduciendo drásticamente las atribuciones de responsabilidad cuando la información no está disponible, un patrón no observado en las líneas de base humanas.
Impacto del Razonamiento Extendido: Los autores investigan si habilitar los modos de "pensamiento" cierra la brecha, encontrando en cambio que el razonamiento extendido a menudo amplifica la atribución de responsabilidad y, simultáneamente, empuja las decisiones de asignación más hacia la aleatoriedad, ampliando la breza.

Resultados Clave

1. Acuerdo en la Responsabilidad, Divergencia en la Consecuencia

Atribución de Responsabilidad: Los LLM y los humanos muestran un acuerdo casi completo en que los pacientes son responsables de sus conductas perjudiciales (puntuaciones medias ~4.4/5). Sin embargo, los LLM (particularmente los modelos sin razonamiento) atribuyen significativamente menos responsabilidad por la enfermedad resultante y la privación en comparación con los humanos.
Decisiones de Asignación: Mientras que la mayoría de los participantes humanos (67.6%) asignaron el recurso escaso al paciente menos culpable, los LLM recurrieron abrumadoramente a la asignación aleatoria (decidir por azar).
- Los modelos de razonamiento eligieron al paciente no culpable solo el 9.4% de las veces.
- Los modelos sin razonamiento eligieron al paciente no culpable el 24.7% de las veces.
- En contraste, los humanos eligieron al paciente no culpable el 67.6% de las veces.
Postura Normativa: Los LLM respaldaron activamente la visión de que la asignación basada en el comportamiento es injusta (media de 5.6/7 en la escala de injusticia) en comparación con los humanos (3.9/7). Los rastreos de razonamiento confirman que los modelos reconocen la responsabilidad pero la dejan de lado explícitamente basándose en principios de justicia en lugar de ignorar el juicio.

2. Sensibilidad al Conocimiento y Estado Epistémico

Línea de Base Humana: Los juicios de responsabilidad y las decisiones de asignación de los humanos se mantuvieron mayoritariamente estables a través de las diferentes condiciones de conocimiento (riesgos conocidos, accesibles o desconocidos).
Sensibilidad de los LLM: Los LLM mostraron una sensibilidad dramática. Cuando los pacientes carecían de acceso a la información sobre los riesgos para la salud, los LLM redujeron significativamente las atribuciones de responsabilidad y culpa. Esta sensibilidad se extendió a las decisiones de asignación; para los modelos sin razonamiento, la tasa de elección del paciente no culpable cayó del 37.4% (condición de conocimiento) al 12.6% (condición de no acceso).
Desinformación: Los LLM trataron a los pacientes que fueron engañados activamente (por IA, humanos o terceros) como moralmente equivalentes a aquellos que no tenían acceso a la información, reduciendo aún más las atribuciones de responsabilidad.

3. Efecto del Razonamiento Extendido

Habilitar los modos de "pensamiento" aumentó las puntuaciones de atribución de responsabilidad para la mayoría de las familias de modelos, acercándolas a las evaluaciones humanas en el lado del juicio.
Sin embargo, esto no se tradujo en un comportamiento de asignación similar al humano. En su lugar, los modelos con pensamiento habilitado a menudo aumentaron su preferencia por la aleatoriedad, ampliando así la brecha entre juicio y consecuencia. Esto sugiere que la brecha es un compromiso normativo estable y no una limitación de procesamiento.

4. Generalización

Estos patrones se mantuvieron en tres dominios médicos (riñón, cáncer de pulmón, reemplazo de cadera) y cuatro tipos de conductas perjudiciales para la salud (alcohol, drogas, tabaquismo, mala dieta), lo que indica que la divergencia es una propiedad general de los actuales LLM.

Significado y Reivindicaciones

El artículo sostiene que la brecha entre juicio y consecuencia representa una desalineación fundamental en la forma en que los LLM conectan la evaluación moral con la acción. Los autores argumentan que esto no es un fallo de conocimiento (ya que los LLM identifican correctamente la responsabilidad) sino un fallo de composición: los LLM aplican un marco normativo diferente (probablemente contractualista o igualitario) que prioriza la justicia procedimental y el trato igualitario sobre el razonamiento basado en el mérito al tomar decisiones consecuentes.

Implicaciones para la Atención Médica:
Los autores destacan el riesgo de una "alineación parcial". Los clínicos que consultan a los LLM pueden ver que el modelo identifica correctamente la responsabilidad del paciente (coincidiendo con la intuición humana) y asumir erróneamente que el modelo recomendará una asignación correspondiente. En cambio, el modelo puede negarse a despriorizar al paciente, calificando tal acción de injusta. Esto crea un riesgo de falsa confianza en el consejo de la IA, particularmente en escenarios donde los pacientes son engañados por agentes de IA, donde el modelo puede absolver la responsabilidad basándose en la fuente de la desinformación.

Implicaciones para la Investigación de Alineación:
Los hallazgos sugieren que los métodos de alineación actuales (como RLHF) pueden producir una "alineación débil": una correspondencia superficial con los valores humanos que se rompe cuando los modelos deben componer evaluaciones morales en decisiones. Los autores postulan que la brecha refleja un compromiso normativo estable que se profundiza con las capacidades de razonamiento, lo que sugiere que las intervenciones centradas únicamente en la consistencia conductual o en las preferencias de valores superficiales pueden ser insuficientes para cerrar la brecha entre el juicio y la acción.