💬 NLP

This Treatment Works, Right? Evaluating LLM Sensitivity to Patient Question Framing in Medical QA

Este estudio demuestra que las respuestas de los modelos de lenguaje grande en el ámbito médico pueden verse sistemáticamente influenciadas por la redacción de las consultas, generando conclusiones contradictorias incluso cuando se basan en la misma evidencia clínica, lo que subraya la necesidad de evaluar la robustez ante el encuadre de las preguntas en sistemas de generación aumentada por recuperación.

Autores originales: Hye Sun Yun, Geetika Kapoor, Michael Mackert, Ramez Kouzy, Wei Xu, Junyi Jessy Li, Byron C. Wallace

Publicado 2026-04-08

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hye Sun Yun, Geetika Kapoor, Michael Mackert, Ramez Kouzy, Wei Xu, Junyi Jessy Li, Byron C. Wallace

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🩺 ¿El Doctor Robot se deja influenciar por cómo le preguntas?

Imagina que tienes un super-inteligente asistente médico (un modelo de lenguaje o IA) que ha leído millones de libros de medicina. Tu intención es preguntarle si un tratamiento funciona para tu enfermedad.

Los investigadores de este estudio se hicieron una pregunta muy importante: ¿Si le cambias un poco la forma de preguntar, el robot cambiará su respuesta?

Es como si tuvieras un juez muy justo. Si le preguntas: "¿Es este abogado bueno?" y luego le preguntas: "¿Es este abogado malo?", el juez debería decirte lo mismo en ambos casos, porque los hechos sobre el abogado no han cambiado. Pero, ¿qué pasa si el juez es un robot y se deja llevar por la forma en que tú le hablas?

🔍 El Experimento: La Prueba de la "Mesa de Partes"

Los científicos hicieron un experimento controlado. Imagina que tienes dos copias exactas de la misma evidencia médica (como dos copias de un informe del médico).

Grupo A (Pregunta Positiva): Le preguntan al robot: "¿Qué tan eficaz es este tratamiento?"
Grupo B (Pregunta Negativa): Le preguntan al mismo robot, con la misma evidencia en la mano: "¿Qué tan ineficaz es este tratamiento?"

Luego, compararon las respuestas. Si el robot fuera perfecto, ambas respuestas deberían ser idénticas. Pero, ¡sorpresa! No lo fueron.

🌪️ Lo que Descubrieron: El Efecto del "Giro"

Los resultados fueron reveladores y un poco preocupantes:

El "Giro" de la Pregunta Importa: Cuando la pregunta estaba "girada" hacia lo negativo (preguntando por lo que no funciona), el robot tenía muchas más probabilidades de darte una respuesta contradictoria que cuando la pregunta era neutral o positiva.
- Analogía: Es como si le dijeras a un chef: "¿Qué tan delicioso es este pastel?" y te dice "¡Es el mejor del mundo!". Pero si le dices: "¿Qué tan malo es este pastel?", el mismo chef, con los mismos ingredientes, podría empezar a buscar defectos y decirte: "Bueno, quizás no es perfecto". El pastel es el mismo, pero la pregunta cambió su percepción.
La Conversación Larga es Peligrosa: El estudio también probó conversaciones de varias vueltas (como un chat donde le preguntas varias veces).
- Analogía: Imagina que estás en una sala de espera y el robot te da un consejo. Si luego insistes: "Pero mi vecino dice que no funciona, ¿estás seguro?", y luego: "¿Y si es peligroso?", el robot empieza a "doblarse". Cuantas más veces le insistes con un ángulo negativo, más probable es que cambie su consejo inicial. Es como un efecto bola de nieve: una pequeña duda al principio se convierte en una gran confusión al final.
No importa si hablas "técnico" o "de la calle": Lo curioso es que no importó si usabas palabras médicas difíciles (como "adjuvant radiotherapy") o palabras sencillas (como "tratamiento después de la cirugía"). El robot se dejó influenciar igual en ambos casos.
- Analogía: Da igual si le hablas al robot en un idioma de ingenieros o en lenguaje de vecindad; si la "intención" de la pregunta es negativa, el robot se inclina hacia ese lado.

⚠️ ¿Por qué es esto un problema?

Vivimos en un mundo donde la gente usa estos robots para tomar decisiones de salud. Si un paciente pregunta "¿Funciona esto?" y el robot dice "Sí", pero otro paciente pregunta "¿No funciona esto?" y el robot dice "No estoy seguro" o "Tal vez no", estamos ante un problema grave.

La medicina debería basarse en hechos, no en cómo le das la vuelta a la pregunta. Si el robot cambia su respuesta solo por la forma en que lo preguntas, no es una herramienta fiable para salvar vidas.

💡 La Conclusión Final

Los investigadores nos dicen que, aunque estos robots son muy inteligentes y tienen acceso a la mejor información médica, son muy sensibles a la "psicología" de la pregunta.

Es como si tuvieras un GPS que te dice la ruta correcta, pero si le preguntas "¿Cuál es el camino más difícil?" en lugar de "¿Cuál es el camino más rápido?", el GPS podría empezar a sugerirte rutas complicadas, aunque el mapa sea el mismo.

El mensaje clave: Antes de confiar ciegamente en un chatbot médico, debemos asegurarnos de que sus respuestas sean sólidas y no dependan de si le preguntamos con optimismo o con pesimismo. Necesitamos robots que sean tan firmes como un roble, sin importar cómo les sopla el viento de la pregunta.

1. El Problema

Los pacientes están recurriendo cada vez más a Modelos de Lenguaje Grande (LLM) para obtener respuestas a preguntas médicas complejas. Sin embargo, existe una preocupación crítica: los LLM son sensibles a la formulación de las preguntas (el "encuadre" o framing).

Inconsistencia Potencial: Idealmente, un sistema médico debería proporcionar respuestas consistentes basadas en la misma evidencia subyacente, independientemente de si el paciente formula la pregunta de manera positiva ("¿Es efectivo este tratamiento?") o negativa ("¿Es ineficaz este tratamiento?"), o si utiliza lenguaje técnico frente a lenguaje coloquial.
Riesgo en la Práctica Real: Si un paciente recibe una guía diferente simplemente por cómo redactó su consulta (por ejemplo, debido a malentendidos, baja alfabetización en salud o sesgos cognitivos), las consecuencias pueden ser graves.
Brecha en la Investigación: Aunque los LLM tienen un buen rendimiento en benchmarks médicos estándar (como MedQA o USMLE), estos no evalúan la seguridad y fiabilidad ante consultas reales de pacientes. Además, no está claro si los sistemas de Generación Aumentada por Recuperación (RAG), que anclan las respuestas en documentos externos, mitigan esta sensibilidad al encuadre.

2. Metodología

Los autores diseñaron una evaluación sistemática en un entorno controlado de RAG para medir la consistencia de las respuestas de los LLM.

Construcción del Dataset:
- Se creó un conjunto de datos personalizado de 6,614 pares de consultas basados en resúmenes de ensayos clínicos aleatorizados (RCT) y revisiones sistemáticas de Cochrane (estándar de oro en evidencia médica).
- Para cada revisión, se generaron pares de preguntas que variaban únicamente en el encuadre:
  - Encuadre: Positivo vs. Negativo (ej. "¿Qué tan efectivo es X?" vs. "¿Qué tan ineficaz es X?").
  - Estilo de Lenguaje: Técnico vs. Lenguaje Plano (simplificado a nivel de 5º grado de primaria).
  - Contexto: Se incluyeron factores de decisión clave (eficacia, seguridad, costo, tiempo), influencia social (anécdotas de familiares, testimonios en línea, opiniones de IA) y escenarios de interacción de un solo turno vs. conversaciones de múltiples turnos (donde la persuasión se acumula).
Modelos Evaluados: Se probaron 8 LLM (incluyendo GPT-5.1, Claude Sonnet 4.5, Llama 3.3/4, HuatuoGPT-o1 y Qwen3) con diferentes tamaños de parámetros y capacidades de razonamiento.
Configuración RAG Controlada: A diferencia de sistemas RAG reales donde la recuperación depende de la consulta, aquí se utilizaron documentos expertos seleccionados manualmente (los mismos para ambos miembros del par de preguntas) para aislar el efecto del encuadre de la variabilidad en la recuperación de información.
Evaluación de Consistencia:
- Se utilizó un modelo de razonamiento (Gemini 2.5 Flash) como "juez" (LLM-as-a-judge) para determinar la dirección de la evidencia en las respuestas generadas (¿el tratamiento es mejor, peor o igual que el placebo?).
- Se comparó la tasa de acuerdo en la dirección de la evidencia entre pares de respuestas (Positivo-Negativo) frente a una línea base (Positivo-Positivo).
- Se midieron también métricas de similitud semántica (cosine similarity) y superposición de entidades.

3. Contribuciones Clave

Dataset Especializado: Creación de un dataset de pares de consultas médicas (técnico/plano, positivo/negativo, un solo/múltiples turnos) anclados en evidencia de Cochrane, diseñado específicamente para evaluar sesgos de encuadre en RAG.
Evaluación de RAG en Alta Riesgo: Demostración de que incluso en un entorno RAG controlado con documentos idénticos, los LLM no son robustos ante variaciones en la formulación de la pregunta.
Análisis de Persuasión Multi-turno: Identificación de que la susceptibilidad al encuadre se amplifica significativamente en conversaciones de múltiples turnos, donde la persuasión sostenida del usuario altera las creencias del modelo.
Desmitificación del Lenguaje Plano: Hallazgo de que el estilo de lenguaje (técnico vs. plano) no interactúa significativamente con el efecto de encuadre en un entorno RAG controlado, desafiando la noción de que el lenguaje coloquial es inherentemente más propenso a sesgos en este contexto específico.

4. Resultados Principales

Efecto de Encuadre Significativo: Los pares de preguntas con encuadres opuestos (positivo vs. negativo) produjeron conclusiones contradictorias con mucha mayor frecuencia que los pares con el mismo encuadre.
- La tasa de acuerdo en la dirección de la evidencia fue del 76.2% en la línea base (misma formulación) frente al 72.0% en la condición de encuadre mixto.
- El análisis de regresión logística confirmó que el encuadre negativo/predice significativamente una menor tasa de acuerdo ( $p < .001$ ).
Amplificación en Múltiples Turnos: El efecto de encuadre es más fuerte en conversaciones de múltiples turnos. La discrepancia entre las condiciones de encuadre aumenta a medida que avanza la conversación (hasta el 4º turno), sugiriendo que los LLM son más susceptibles a la "persuasión sostenida" o al efecto de bola de nieve (snowballing) en diálogos largos.
Tipos de Pregunta: Las preguntas sobre Eficacia ("¿Qué tan efectivo es?") mostraron la mayor susceptibilidad al encuadre, probablemente porque requieren una síntesis independiente de la evidencia en lugar de simplemente recuperar hechos.
Lenguaje Técnico vs. Plano: No se encontró una interacción significativa entre el estilo de lenguaje y el encuadre. Ambos estilos mostraron una reducción similar en la consistencia bajo encuadre negativo. Esto sugiere que, cuando la evidencia subyacente es idéntica y está bien anclada, la complejidad lingüística no es el factor determinante del sesgo.
Consistencia de Modelos: El efecto se observó en todos los modelos evaluados, desde modelos de razonamiento general hasta modelos médicos especializados, indicando que es un problema sistémico en la arquitectura actual de los LLM.

5. Significado e Implicaciones

Riesgo para la Salud Pública: En aplicaciones de salud reales, donde los pacientes pueden formular preguntas de manera sesgada, emocional o con baja alfabetización, los LLM podrían ofrecer recomendaciones contradictorias o peligrosas simplemente por la forma en que se hace la pregunta.
Limitaciones del RAG Actual: Aunque el RAG mejora la precisión factual, este estudio demuestra que no garantiza la robustez del razonamiento frente a sesgos de formulación. Los modelos pueden "cherry-pick" (seleccionar) evidencia o interpretar documentos idénticos de manera diferente según el tono de la consulta.
Necesidad de Nuevos Estándares de Evaluación: Los benchmarks actuales son insuficientes. Se requiere evaluar la robustez al encuadre como un criterio fundamental para el despliegue de sistemas de IA en entornos de alto riesgo.
Recomendaciones: Los desarrolladores de aplicaciones médicas deben implementar estrategias de mitigación (como la detección de sesgos en la entrada o la normalización de consultas) antes del despliegue, y los evaluadores deben probar los modelos con una amplia gama de formulaciones de preguntas de pacientes, no solo con consultas técnicas ideales.

En conclusión, el estudio revela que la sensibilidad al encuadre es una vulnerabilidad crítica en los LLM para la atención médica, que persiste incluso cuando se utiliza evidencia externa de alta calidad, y que se agrava en interacciones conversacionales prolongadas.