Counterfactual Cultural Cues Reduce Medical QA Accuracy in LLMs: Identifier vs Context Effects

Resumen Técnico: Los indicios culturales contrafácticos reducen la precisión de las respuestas médicas en los LLM

Planteamiento del problema
La integración de los Modelos de Lenguaje de Gran Tamaño (LLM) en los flujos de trabajo clínicos enfrenta un desafío crítico de fiabilidad: la posibilidad de que los modelos alteren diagnósticos clínicamente correctos basándose en información cultural no decisiva. Mientras que investigaciones previas han examinado sesgos relacionados con la raza y el género, la interacción específica entre los identificadores culturales (p. ej., etnicidad, religión) y los indicios contextuales (p. ej., prácticas culturales, entornos) en el razonamiento médico permanece insuficientemente investigada. Los benchmarks existentes carecen a menudo de la granularidad necesaria para distinguir si los errores provienen de marcadores de identidad o del contexto narrativo. Este estudio aborda la brecha en la comprensión de si los indicios culturales en las narrativas de pacientes —como las referencias al ayuno de Ramadán o a reuniones comunitarias indígenas— desplazan espuramente las predicciones de los modelos lejos de los diagnósticos de referencia (gold-standard), incluso cuando los hechos clínicos permanecen inalterados.

Metodología
Los autores introducen un marco de evaluación contrafáctica diseñado para aislar los efectos de los indicios culturales en la precisión de las respuestas a preguntas médicas (QA).

• Construcción del conjunto de datos: Partiendo de 150 ítems del conjunto de datos MedQA, los autores generaron 1,650 variantes. Cada pregunta original fue aumentada con texto no médicamente decisivo dirigido a tres grupos culturales: indígenas canadienses, musulmanes de Oriente Medio y del sudeste asiático.
• Tipos de aumentación: El estudio varió sistemáticamente la entrada utilizando tres tipos de perturbación:
  1. Identificador (Id): Autoidentificación cultural explícita (p. ej., "un hombre musulmán de 35 años").
  2. Contexto (Ctx): Detalles situacionales culturalmente relacionados (p. ej., "los síntomas comenzaron durante la oración vespertina").
  3. Combinado (Id + Ctx): Tanto el identificador como el contexto insertados.
  • También se creó un control Neutral mediante la inserción de texto no cultural de longitud equivalente para descartar la longitud del prompt como una variable de confusión.
• Validación: Un clínico verificó que la respuesta de referencia permaneciera invariante en todas las variantes aumentadas, asegurando que cualquier caída en la precisión se debiera a una sensibilidad espuria a los indicios culturales y no a la ambigüedad clínica.
• Modelos evaluados: El estudio probó cinco modelos: GPT-5.2, Llama-3.1-8B, DeepSeek-R1 y MedGemma (4B y 27B).
• Protocolos de evaluación: Los modelos fueron probados bajo dos regímenes de prompting:
  1. Solo opción (Option-only): El modelo genera únicamente la opción seleccionada.
  2. Explicación breve (Brief-explanation): El modelo proporciona una justificación de 2 a 3 frases seguida de la opción.
• Métricas: El rendimiento se midió utilizando la precisión de la condición, las tasas de cambio (flip rates) y las tasas de cambios perjudiciales (harmful flip rates, donde las respuestas originales correctas pasan a ser incorrectas). Se utilizó un marco de "LLM como juez", validado por anotadores humanos (κ de Cohen = 0.76), para detectar el razonamiento referencial cultural en las explicaciones.

Contribuciones clave

1. Benchmark contrafáctico verificado por clínicos: Un nuevo conjunto de datos que aísla los identificadores culturales del contexto mientras preserva los diagnósticos de referencia, permitiendo la medición precisa del sesgo cultural.
2. Análisis granular de las fuentes de sesgo: Una evaluación multi-modelo que distingue los impactos específicos de los tokens de identidad frente al contexto narrativo en la precisión diagnóstica.
3. Marco de Razonamiento-a-Error: Un análisis que vincula los razonamientos referenciales culturales directamente con los fallos diagnósticos, demostiendo que los modelos a menudo dependen de prejuros culturales no sustentados en lugar de evidencia clínica.

Resultados

• Degradación sistemática de la precisión: En todos los modelos, los indicios culturales redujeron significamente la precisión diagnóstica (Q de Cochran, p < 10⁻¹⁴). Las caídas de rendimiento más sustanciales ocurrieron cuando los identificadores y el contexto coexistían, con reducciones de precisión de 3 a 7 puntos porcentuales bajo el régimen de prompting de solo opción.
• Dominancia del identificador: Contrario a la suposición de que el contexto impulsa el sesgo, el estudio encontró que los tokens de identificador por sí solos a menudo desencadenaban tasas de error comparables a la condición combinada (Id + Ctx). Las ediciones de solo contexto generalmente produjeron cambios menores y no sistemáticos.
• Efectos del régimen de prompting: Aunque el prompting de explicación breve mejoró la robustez en condiciones de un solo indicio (Id o Ctx), no logró prevenir la caída de la precisión cuando ambos indicios estaban presentes.
• Fallos de razonamiento: Más de la mitad de las explicaciones con base cultural generadas por los modelos terminaron en respuestas incorrectas. El análisis reveló que los modelos frecuentemente sustituyen características clínicas de alta saliencia por generalizaciones no sustentadas sobre la dieta, el estilo de vida o la prevalencia de enfermedades basadas en indicios culturales.
• Variabilidad de los modelos: DeepSeek-R1 y MedGemma-4B exhibieron la mayor sensibilidad a los indicios culturales, particularmente en contextos indígenas. MedGemma-27B demostró una estabilidad relativamente mayor, aunque también mostró sensibilidad.

Significancia y afirmaciones
El artículo afirma que los LLM médicos actuales exhiben una sensibilidad espuria a los indicios culturales, lo que conduce a fallos diagnósticos que comprometen la seguridad y la equidad del paciente. Los autores argumentan que estos modelos dependen de estereotipos culturales en lugar de una personalización clínicamente fundamentada al procesar las narrativas de los pacientes.

El estudio concluye que, para que los LLM médicos se desplieguen de manera confiable en entornos clínicos de alto riesgo, la auditoría rigurosa y la mitigación de los errores diagnósticos inducidos culturalmente son requisitos previos. Los autores enfatizan que el desarrollo de modelos debe tener en cuenta los trasfondos culturales de diversas poblaciones para asegurar que la alineación del conocimiento no introduzca sesgos inadvertidamente. Los prompts y las herramientas de aumentación liberados tienen como objetivo apoyar la evaluación futura y el desarrollo de sistemas de IA de salud más equitativos.