Role-Prompting in Frontier Large Language Models Influences Clinical Reasoning in Complex Medical Cases

Resumen Técnico: El prompting de roles en los modelos de lenguaje de gran escala de frontera influye en el razonamiento clínico en casos médicos complejos

Planteamiento del problema
A medida que los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) se despliegan cada vez más en la atención médica para el apoyo diagnóstico, la documentación y las funciones administrativas, a menudo se les asignan perspectivas de partes interesadas específicas (por ejemplo, médico, paciente, aseguradora). Si bien investigaciones previas han establecido que los LLM pueden igualar el desempeño de los médicos en exámenes médicos estandarizados y exhibir un comportamiento de sicofancia (alinearse con las preferencias del usuario), el impacto del role-prompting (instrucción de rol) explícito en el razonamiento ético clínico está insuficientemente caracterizado. Específicamente, se desconoce si la asignación de una identidad de parte interesada específica altera sistemáticamente las decisiones clínicas de un LLM y los marcos de valores éticos subyacentes que emplea. Esto es crítico dado el rápido despliegue de agentes de IA autónomos en escenarios de alto riesgo como la autorización previa y la revisión de utilización, donde deben equilibrarse valores en conflicto (beneficencia frente a gestión financiera).

Metodología
El estudio evaluó tres LLM de frontera: Claude Opus 4.6 (Anthropic), GPT-5.4 (OpenAI) y Gemini 3.1 Pro (Google). El diseño experimental involucró:

• Selección de Casos: 25 casos clínicamente complejos que abarcan siete categorías temáticas (por ejemplo, cuidados al final de la vida, asignación de recursos, disputas de seguros). Cada caso presentaba un dilema de elección forzada binaria (Sí/No) sin una respuesta universalmente "correcta".
• Referencia Médica: Un panel de seis médicos de diversas especialidades y geografías evaluó de forma independiente todos los 25 casos. Los casos que requirieron un consenso de ≥4/6 médicos (20 casos) se utilizaron como el estándar de referencia para la alineación de los LLM.
• Role-Prompting: Cada LLM fue instado a responder a los 25 casos desde tres perspectivas de partes interesadas distintas: Médico, Paciente e Aseguradora. Cada combinación de modelo-rol-caso fue probada a través de tres ejecuciones independientes (675 respuestas en total).
• Métricas:
  • Alineación de Decisiones: Comparación de las decisiones de los LLM contra la mayoría de los médicos.
    ales de la taxonomía basada en el marco principialista de Beauchamp y Childress (por ejemplo, beneficencia, autonomía, gestión financiera).
  • Índice de Decisión Centrado en el Paciente (PCDI): Una métrica novedosa desarrollada para cuantificar la alineación con los resultados preferidos por el paciente. Pesa seis componentes: Deriva de Rol (Role Drift), Tasa de Anulación (Override Rate), Calibración del Panel (Panel Calibration), Asimetría de Confianza (Confidence Asymmetry), Ratio de Orientación de Valores (Value Orientation Ratio) y Dirección de Protección al Paciente (Patient-Protective Direction).
• Análisis Estadístico: Se utilizó la prueba exacta de McNemar, la prueba Q de Cochran y el remuestreo de bootstrap para evaluar la significancia y la estabilidad.

Resultos Clave

1. Cambios de Decisión Inducidos por el Rol: Cuando se les instó como aseguradora, dos de los tres modelos (GPT-5.4 y Gemini 3.1 Pro) mostraron una caída estadísticamente significativa en la alineación con la mayoría de los médicos en comparación con su desempeño en el rol de médico.
   • GPT-5.4: La alineación cayó del 90% (rol de médico) al 40% (rol de aseguradora), una disminución de 50 puntos porcentuales ($p=0.004$).
   • Gemini 3.1 Pro: La alineación cayó del 95% al 50%, una disminución de 45 puntos porcentuales ($p=0.008$).
   • Claude Opus 4.6: Mostró robustez, con una caída de alineación de solo el 10.5% (del 100% al 90%), lo cual no fue estadísticamente significativo.
2. Transformación del Valor Ético: El rol de aseguradora no solo cambió el resultado de la decisión, sino que alteró fundamentalmente el marco ético.
   • En el rol de médico, los LLM priorizaron la beneficencia (31%) y la no maleficencia (23%).
   • En el rol de aseguradora, la beneficencia colapsó al 7%, mientras que la gestión financiera (20%), la integridad profesional (20%) y la justicia (15%) se convirtieron en los valores dominantes.
3. Índice de Decisión Centrado en el Paciente (PCDI):
   • El panel médico de referencia obtuvo un 90.7.
   • En el rol de aseguradora, GPT-5.4 cayó a un PCDI de 41.5 (entrando en la zona "adversa para el paciente" <50), y Gemini 3.1 Pro cayó a 53.5.
   • Opus 4.6 mantuvo un PCDI de 79.8 en el rol de aseguradora.
   • Asimetría Direccional: El 92% de las divergencias de GPT-5.4 en el rol de aseguradora fueron denegaciones de cuidados beneficiosos (subtratamiento), en comparación con el 70% de Gemini y el 50% de Opus.
4. Acuerdo Inter-Modelo: El acuerdo entre modelos fue sustancial en los roles de médico y paciente ($\kappa \approx 0.66-0.69$), pero se degradó a un acuerdo "regular" ($\kappa = 0.33$) en el rol de aseguradora, lo que indica que diferentes modelos, instados con las mismas instrucciones de aseguradora, alcanzaron conclusiones conflictivas.
5. Calibración de Confianza: Los LLM fueron significativamente más confiados (media 4.57–4.97) que los médicos (media 3.84) y mostraron una varianza mínima en la confianza a través de los casos, a diferencia de los médicos cuya confianza se correlacionaba con la dificultad del caso.

Contribuciones Clave

• Evidencia Empírica de Sesgo Dependiente del Rol: El estudio proporciona la primera evidencia sistemática de que el role-prompting de las partes interesadas altera fundamentalmente las decisiones clínicas y la priorización de valores éticos de los LLM de frontera.
• Cuantificación del Efecto "Aseguradora": Cuantifica la magnitud del efecto de la "aseguradora", demostizando que puede conducir a la denegación sistemática de tratamientos respaldados por médicos y preferidos por los pacientes en más del 50% de los casos para ciertos modelos.
• Introducción del PCDI: El desarrollo del Índice de Decisión Centrado en el Paciente ofrece una nueva métrica para evaluar la centralidad en el paciente de los LLM, capturando no solo la precisión de la decisión, sino también la dirección del error y el marco ético utilizado.
• Robustez Específica del Modelo: Los hallazgos resaltan la variabilidad significativa en cómo las diferentes familias de modelos (Opus vs. GPT/Gemini) responden al encuadre de roles, sugiriendo que las estrategias de entrenamiento de alineación varían en su capacidad para mantener el razonamiento centrado en el paciente bajo presión de rol adversa.

Significancia y Reivindicaciones
El artículo sostiene que el role-prompting no es una característica de interfaz neutral, sino un mecanismo que induce la "captura de valores", donde el LLM adopta el marco ético completo del rol asignado, a menudo a expensas de los valores centrados en el paciente. Los autores argumentan que esto plantea una preocupación de seguridad para el despliegue de agentes de IA autónomos en la atención médica, particularmente en funciones adyacentes a las aseguradoras, donde dicho razonamiento inducido por el rol podría amplificar las barreras al cuidado.

El estudio concluye que los actuales LLM de frontera no pueden replicar de manera confiable la capacidad de los médicos para equilibrar los intereses contrapuestos de las partes interesadas mientras mantienen valores centrados en el paciente bajo la presión del rol. En consecuencia, los autores abogan por:

1. Benchmarks Estandarizados: La adopción de métricas como el PCDI para evaluar la centralidad en el paciente de los LLM bajo un encuadre de rol adversa.
2. Supervisión Médica: La necesidad de una supervisión médica sostenida cuando los LLM se despliegan en la toma de decisiones clínicas, particularmente en casos complejos donde la IA autónoma conlleva el mayor riesgo de sesgo sistemático e inestabilidad de valores.
3. Pruebas Regulatorias: La inclusión de "pruebas de perturbación de rol" en los procesos de certificación de IA, análogas a las pruebas de estrés en la regulación financiera.