💻 computer science

What Does the AI Doctor Value? Auditing Pluralism in the Clinical Ethics of Language Models

Este artículo presenta un marco para auditar el pluralismo de valores en la inteligencia artificial médica, revelando que, aunque los modelos de lenguaje de vanguardia exhiben diversidad en su razonamiento interno, sus decisiones finales son casi deterministas y subestiman sistemáticamente la autonomía del paciente, lo que plantea el riesgo de sustituir el pluralismo ético clínico por una monocultura de implementación dañina.

Autores originales: Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Koh

Publicado 2026-05-19

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Kohane, Gabriel A. Brat

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrando en un hospital. Sabes que los médicos son humanos. Si le pides consejo a cinco médicos diferentes sobre una decisión médica difícil, podrías obtener cinco respuestas ligeramente distintas. Un médico podría priorizar salvar tu vida a toda costa, mientras que otro podría priorizar tu derecho a decir "no" al tratamiento. Esta variedad es en realidad una característica, no un error. Se llama pluralismo. La medicina se basa en la idea de que no existe una única forma "correcta" de ponderar estos valores éticos; en cambio, los buenos médicos navegan la tensión entre ellos basándose en lo que más le importa a ti, el paciente.

Ahora, imagina reemplazar a esos cinco médicos con un programa informático súper inteligente (una IA) que te dé consejos. La gran pregunta que plantea este artículo es: ¿Qué tipo de "personalidad" tiene esta IA? ¿Tiene un conjunto único y rígido de valores que impone a todos, o entiende que diferentes personas valoran cosas diferentes?

Esto es lo que encontraron los investigadores, desglosado en conceptos simples:

1. El "Médico Robot" es Sorprendentemente Consistente (Demasiado Consistente)

Los investigadores crearon una prueba con 50 escenarios médicos complicados (como "¿Deberíamos mantener a un paciente en el hospital contra su voluntad para mantenerlo seguro?"). Pidieron a 12 modelos de IA diferentes y a 20 médicos reales que tomaran una decisión.

Los Humanos: Los médicos a menudo discrepaban entre sí. A veces el 55% elegía la opción A y el 45% la opción B. Esto es saludable; muestra que los humanos reales tienen prioridades éticas diferentes.
Las IAs: Los modelos de IA eran casi robóticos. Si le hacías la misma pregunta a la misma IA 10 veces, daba exactamente la misma respuesta 10 veces. No importaba si los médicos estaban divididos a la mitad; la IA simplemente elegía un lado y se aferraba a él.
La Metáfora: Imagina un grupo de amigos decidiendo dónde comer. Algunos quieren pizza, otros sushi. Discuten y llegan a compromisos. Ahora imagina un robot que, sin importar cómo se formule la pregunta o cómo discutan los amigos, siempre dice "Pizza". Es consistente, pero no refleja la realidad desordenada del desacuerdo humano.

2. La IA Tiene un "Sesgo Oculto"

Los investigadores profundizaron para ver por qué la IA elegía las opciones que elegía. Examinaron los valores subyacentes:

Autonomía: Respetar el derecho del paciente a elegir.
Beneficencia: Hacer lo mejor para el paciente.
No maleficencia: No causar daño.
Justicia: Ser justo con todos.

Descubrieron que, aunque la mayoría de los modelos de IA tenían prioridades de valores que se situaban dentro del rango normal de los médicos humanos, algunos modelos estaban extrañamente obsesionados con la "seguridad" y "hacer el bien" mientras ignoraban por completo la "autonomía".

La Metáfora: Piensa en una balanza. Un médico humano podría equilibrar la balanza cuidadosamente, a veces inclinándola hacia la seguridad y a veces hacia la libertad. Pero uno de los modelos de IA era como una balanza con un peso pesado pegado permanentemente al lado de la "Seguridad". Casi siempre elegiría restringir la libertad del paciente para mantenerlo seguro, incluso si el paciente quería correr un riesgo.

3. La IA "Habla" Como un Diplomático pero "Actúa" Como un Dictador

Aquí está la parte más interesante. Cuando se le pedía a la IA que explicara su razonamiento, sonaba muy equilibrada. Diría: "Veo que mantener al paciente seguro es importante, pero también veo que quiere irse a casa. Esta es una decisión difícil".

La Metáfora: La IA es como un político dando un discurso. Reconoce todos los diferentes lados del argumento (esto se llama Pluralismo de Overton). Suena como si entendiera el panorama completo.
La Realidad: Pero en el momento en que debe tomar una decisión final, elige un lado y nunca vacila. En realidad no cambia de opinión basándose en los valores específicos del paciente; simplemente sigue su propio guion interno.

4. El Peligro del Modelo "Talla Única"

El artículo advierte sobre un riesgo específico: El Monocultivo de Implementación.

El Escenario: Actualmente, hay muchos modelos de IA diferentes y realmente tienen "personalidades" distintas (a algunos les importa más la seguridad, otros la libertad). Esto es bueno porque es como tener un grupo diverso de médicos.
El Riesgo: Si un hospital o una empresa elige uno solo de estos modelos de IA para hablar con millones de pacientes, y ese modelo específico resulta ser el que ignora la "elección del paciente", entonces cada paciente individual al que sirve ese hospital recibirá consejos que ignoran su derecho a elegir.
La Metáfora: Imagina un pueblo donde todos solían tener un panadero diferente, y algunos hacían pan de masa madre, otros de centeno y otros pan dulce. La gente podía elegir el pan que se ajustaba a su gusto. Ahora, el pueblo contrata a una fábrica gigante para hornear pan para todos. Si esa fábrica decide hacer solo pan de masa madre, de repente todos se ven obligados a comer pan de masa madre, incluso si lo odian. La variedad desaparece y el "sabor de fábrica" se convierte en el único sabor.

5. Lo Que Sugiere el Artículo

El artículo no dice que debamos dejar de usar la IA. En cambio, sugiere que debemos tener cuidado:

No confíes solo en las palabras de la IA: Que una IA diga "Respeto tus elecciones" no significa que realmente las priorice en sus decisiones.
Revisa la "Receta": Necesitamos auditar estos modelos para ver qué valores están cocinando secretamente en sus decisiones.
Usa un "Jurado" de IAs: En lugar de confiar en una sola IA, quizás deberíamos usar un grupo de diferentes IAs (como un jurado de médicos) para obtener una visión más equilibrada, o encontrar formas de hacer que la IA cambie su "personalidad" para que coincida con los valores específicos del paciente.

En resumen: El artículo encontró que las IAs médicas actuales son muy consistentes, pero a menudo son demasiado consistentes. Actúan como un único médico opinado que nunca cambia de opinión, en lugar de una herramienta flexible que se adapta a los valores únicos de cada paciente. Si no tenemos cuidado, podríamos reemplazar accidentalmente la rica diversidad de la ética médica humana con una única "ética robótica" rígida que se impone a todos.

Resumen Técnico: Auditoría del Pluralismo en la Ética Clínica de los Modelos de Lenguaje

Enunciado del Problema

La medicina es inherentemente pluralista; la práctica clínica implica rutinariamente navegar conflictos entre principios éticos fundamentales —autonomía, beneficencia, no maleficencia y justicia— sin una ponderación única correcta. Mientras que los clínicos humanos navegan estas tensiones mediante la toma de decisiones compartida y la diversidad de valores, los Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en contextos médicos (por ejemplo, triaje, asistencia al paciente) sin un examen sistemático de sus prioridades de valor ético subyacentes.

Las evaluaciones actuales de la IA médica se centran en la precisión del razonamiento y la evitación de daños, pero no abordan el pluralismo de valores. Específicamente, existe una falta de comprensión respecto a:

Si los LLM exhiben el "pluralismo distribucional" observado en paneles de médicos humanos (es decir, decisiones variables basadas en el grado de desacuerdo ético).
Qué prioridades de valor específicas están "incrustadas" en los modelos de vanguardia cuando toman decisiones clínicas concretas.
Si el ecosistema de modelos representa una gama diversa de posturas éticas o un "monocultivo algorítmico" que podría sesgar sistemáticamente la atención al paciente hacia una única postura ética no examinada.

Metodología

Los autores proponen un marco para auditar el pluralismo de valores que comprende una pauta verificada por clínicos y un método de atribución de valores.

1. La Pauta

El estudio introduce un conjunto de datos de 50 dilemas clínicos que abarcan diversos dominios (cuidados críticos, psiquiatría, cuidados paliativos, etc.).

Estructura: Cada caso presenta una viñeta clínica y dos recomendaciones mutuamente excluyentes ( $c_1, c_2$ ).
Etiquetado de Valores: Una matriz de etiquetas ( $T_i$ ) codifica cómo cada opción se relaciona con los cuatro valores principialistas (Autonomía, Beneficencia, No maleficencia, Justicia), categorizados como promueve, viola o neutro.
Restricciones: Los casos están diseñados para garantizar compensaciones éticas genuinas (sin opción dominante, al menos dos valores en conflicto).
Validación: Los casos fueron generados mediante un flujo de trabajo de LLM, refinados mediante rúbricas y validados a través de una revisión interdisciplinaria ciega por dos médicos por caso.
Propiedades Pluralistas: La pauta es multiobjetivo, manejable en cuanto a compensaciones y pluralista ante un jurado, exhibiendo un desacuerdo normativo genuino entre un panel de 20 médicos ( $\kappa$ de Fleiss = 0.236).

2. Recolección de Datos

LLM: Se consultaron 12 modelos de vanguardia (incluyendo GPT-5.2, Claude Opus 4.5, Gemini 3 Pro, etc.) 10 veces por caso a una temperatura de 1.0.
Médicos: 20 médicos completaron una encuesta ciega, tomando una decisión binaria por caso.
Análisis Sintáctico: Un LLM secundario analizó las respuestas de texto libre en decisiones binarias, filtrando las negativas.

3. Marco de Análisis

Consistencia de Decisiones: Medida mediante la entropía de Shannon de las decisiones repetidas del modelo para evaluar si los modelos rastrean el desacuerdo de los médicos (pluralismo distribucional).
Atribución de Valores: Un modelo de regresión logística infiere pesos de prioridad de valor ( $w$ ) para cada tomador de decisiones basado en su frecuencia de selección a través de la pauta. Las probabilidades logarítmicas de seleccionar $c_1$ se modelan como una función lineal del vector de diferencia de valores ( $\Delta_i$ ). Los pesos se normalizan mediante un softmax escalado por temperatura para producir un perfil de valor ( $\pi$ ).
Calibración: Los perfiles de valor del modelo se comparan con el perfil de consenso de los médicos utilizando la Divergencia Jensen-Shannon (JSD). Una distribución de referencia de bootstrap de JSDs de médico a consenso determina si un modelo es un valor atípico.
Pluralismo de Overton: Los autores miden si los modelos discuten valores competidores en su razonamiento de texto libre antes de comprometerse con una decisión (utilizando métricas de cobertura y énfasis).
Diversidad del Ecosistema: Se calcula la JSD par entre todos los tomadores de decisiones para probar la existencia de un "monocultivo algorítmico" (es decir, si los modelos son más homogéneos que los médicos).

Resultados Clave

1. Los Modelos son Consistentes pero no Pluralistas

Decisiones Casi Deterministas: 11 de los 12 modelos exhibieron entropía de decisión cercana a cero (mediana 0). Los modelos dieron recomendaciones idénticas en el 82–86% de los casos en consultas repetidas.
Fallo del Pluralismo Distribucional: La entropía de decisión del modelo no se correlacionó con el desacuerdo de los médicos ( $\rho \approx 0$ ). A diferencia de los paneles humanos, los modelos no modularon su incertidumbre basándose en el grado de contestación ética en un caso.
Robustez: Las decisiones fueron robustas ante variaciones de redacción a nivel superficial (tasa de inversión <9%) pero sensibles a inversiones sustanciales de valores, confirmando que la consistencia refleja una toma de decisiones coherente y no artefactos de redacción.

2. Perfiles de Valores Distintos y Comprometidos

Prioridades Sistemáticas: La atribución de valores reveló que tanto los LLM como los médicos mantienen prioridades éticas comprometidas y no uniformes. La mayoría de los modelos (10/12) y el consenso de médicos rechazaron la hipótesis nula de ponderación uniforme ( $p < 0.05$ ).
Calibración: La mayoría de los modelos de vanguardia (8/12) cayeron dentro del rango natural de variación intermédica (JSD < percentil 95 de la distribución de bootstrap de médicos).
Valores Atípicos: Tres modelos (OpenAI GPT 5.2, X-AI Grok 4, Perplexity Sonar Pro) se desviaron significativamente del consenso de los médicos, principalmente subponderando sustancialmente la autonomía del paciente (asignando un peso del 6.1%–12.8% frente al 44.4% del consenso de médicos).

3. Pluralismo de Overton vs. Monocultivo Decisional

Razonamiento: Los modelos exhibieron un alto pluralismo de Overton en su razonamiento de texto libre (cobertura media = 0.86), reconociendo valores competidores en ambos lados de un dilema antes de comprometerse.
Acción: A pesar de este pluralismo discursivo, los modelos resolvieron los dilemas con una única recomendación consistente en todo momento.

4. Diversidad del Ecosistema

Sin Monocultivo Algorítmico: La diversidad de perfiles de valores entre los 12 LLM (JSD par media = 0.0916) fue estadísticamente indistinguible de la diversidad entre los 20 médicos (JSD par media = 0.1089). El ecosistema de modelos de vanguardia abarca una gama diversa de posturas éticas comparable a un panel de médicos en ejercicio.

Significado y Afirmaciones

El artículo argumenta que, si bien el ecosistema de modelos es diverso, el despliegue de un solo modelo plantea un riesgo significativo.

Riesgo de Monocultivo de Despliegue: Dado que los modelos individuales son casi deterministas y mantienen prioridades de valor comprometidas, desplegar un solo modelo sin tener en cuenta sus valores éticos predeterminados específicos podría "amplificar esas prioridades a escala". Si un modelo subpondera sistemáticamente la autonomía, podría hacerlo para cada paciente que atienda, reemplazando efectivamente el pluralismo clínico con un "monocultivo de despliegue".
Limitaciones de la Alineación Actual: El estudio destaca una brecha entre el "pluralismo de Overton" (discutir todos los valores) y el "pluralismo distribucional" (variar las decisiones para coincidir con el desacuerdo de la población). Los modelos actuales logran el primero pero fallan en el segundo.
Manejabilidad como Camino a Seguir: Los autores sugieren que el pluralismo manejable —la capacidad de ajustar el perfil de valor de un modelo bajo demanda para coincidir con los valores específicos de un paciente— podría ser la solución necesaria para mitigar los riesgos de despliegue, aunque la evidencia actual sugiere que la manejabilidad es limitada.
Implicaciones Regulatorias y Financieras: El artículo señala que los valores de los médicos impulsan el gasto sanitario regional; de manera similar, los valores codificados en los algoritmos impulsarán los patrones de reembolso y atención, haciendo de la auditoría de estas prioridades un imperativo financiero y regulatorio.

Los autores concluyen que el despliegue responsable de la IA médica requiere esfuerzos explícitos para equilibrar las perspectivas éticas, posiblemente mediante "jurados" de múltiples modelos o mecanismos de manejabilidad, en lugar de confiar en un único modelo no examinado.