TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs

Resumen Técnico: TreeProbe – Un Benchmark de Medicina Tibetana para el Sesgo Cultural en LLMs

Declaración del Problema
Se propone cada vez más que los Modelos de Lenguaje Extensos (LLMs) son herramientas para mitigar las inequidades en la salud global. Sin embargo, los modelos actuales están predominantidos por corpus centrados en Occidente y de altos recursos, lo que conduce a una subrepresentación sistemática de contextos culturales localizados y conocimientos médicos específicos de cada región. Este problema es particularmente agudo en la medicina tibetana, uno de los cuatro grandes sistemas médicos tradicionales del mundo, que posee un marco teórico independiente y altamente estructurado. Cuando los LLMs carecen de una comprensión fundamentada de la epistemología médica tibetana, tienden a recurrir por defecto a sistemas externos dominantes —específicamente la biomedicina o la Medicina Tradicional China (MTC)— durante el razonamiento. Este "desplazamiento ontológico" distorsiona las estructuras de conocimiento nativas, lo que potencialmente refuerza las jerarquías de conocimiento existentes y exacerba las inequidades en la atención sanitaria. Existe una brecha crítica debido a la falta de herramientas cuantitativas para evaluar y diagnosticar esta forma específica de sesgo cultural dentro de los contextos médicos tibetanos.

Metodología: El Benchmark TreeProbe
Para abordar esta brecha, los autores presentan TreeProbe, el primer benchmark de sesgo cultural fundamentado en el marco nativo del "Árbol Médico" de la medicina tibetana, tal como se codifica en los Cuatro Tantras. El benchmark se estructura en torno a tres raíces: Fisiopatología, Diagnóstico y Terapia.

• Construcción del Dataset: TreeProbe comprende 4,719 ítems adjudicados por expertos que cubren 467 enfermedades y 10 subtareas (incluyendo tanto Preguntas de Opción Múltiple como QA Generativa). El proceso de construcción sigue un flujo de cuatro etapas:

  1. Extracción de Unidades de Conocimiento: Los anotadores nativos de habla tibetana extraen unidades de conocimiento atómicas de fuentes autorizadas (los Cuatro Tantras y el estándar nacional GB/T 46946–2025). Cada unidad es un cuádruple estructurado que vincula la evidencia de la fuente, códigos de enfermedad y vectores de atributos que cubren etiología, patogénesis, diagnóstico y tratamiento.
  2. Instanciación Guiada por Operadores: Los ítems se derivan utilizando una familia de operadores de sondeo que mapean ranuras de atributos específicos a preguntas objetivo. Esto asegura que la dificultad provenga del razonamiento y no de la filtración de información.
  3. Autoría de Distractores Trans-Ontológicos: Para probar rigurosamente el sesgo, el benchmark emplea una taxonomía de distractores específica:
     • Respuesta Fiel (RF): La respuesta correcta bajo el razonamiento médico tibetano.
     • Distractor Intra-Tibetano (DIT): Utiliza terminología tibetana correcta pero viola la lógica relacional específica requerida por la pregunta.
     • Distractor con Desplazamiento hacia la MTC (DDM): Es plausible bajo la MTC pero incorrecto bajo la teoría tibetana.
     • Distractor con Desplazamiento Biomédico (DBM): Se alinea con la clasificación biomédica pero es incorrecto en el contexto tibetano.
       Crucialmente, los distractores son elaborados por expertos en el dominio (médicos de la MTC y biomédicos) utilizando viñetas clínicas ontológicamente neutrales para prevenir el sesgo de autopreferencia del modelo.
  4. Adjudicación: Los ítems se someten a un estricto filtrado de separabilidad ontológica y seguridad, seguido de una adjudicación ciega por un panel de cinco expertos independientes (tres tibetanos, uno de la MTC y uno biomédico). Un ítem solo se retiene si al menos cuatro expertos están de acuerdo.

• Métricas de Evaluación: El artículo define dos métricas de log-odds para cuantificar el sesgo:

  • Log-Odds de Desplazamiento Ontológico (ODLO): Mide la desviación general de la ontología tibetana (desplazamiento hacia sistemas externos).
  • Log-Odds de Desplazamiento Biomédico–MTC (BTD-LO): Caracteriza la dirección del desplazamiento externo (positivo para biomedicina, negativo para la MTC).

Resultados Experimentales
Los autores evaluaron seis LLMs representativos de frontera (incluyendo GPT-5.4, Claude Sonnet 4.6, Gemini 3.1, GLM-4.7, DeepSeek-V3.2 y Qwen3.5-397B-A17B) en TreeProbe.

• Limitaciones de Rendimiento: Los modelos actuales exhiben limitaciones significativas en los contextos médicos tibetanos nativos. Incluso el modelo con mejor desempeño en zero-shot, Qwen3.5-397B-A17B, alcanzó una precisión promedio de solo 60.55% en las preguntas de opción múltiple, mientras que el rendimiento en la QA generativa fue sustancialmente menor (puntuaciones promedio alrededor de 0.47–0.55 en una escala normalizada de [0, 1]).
• Desplazamiento Ontológico Sistemático: El análisis de los patrones de error revela que los modelos no solo fallan por falta de conocimiento; se desplazan sistemáticamente hacia ontologías externas. Todos los modelos probados mostraron un ODLO > 0.48, lo que indica que los errores toman consistentemente la forma de sustitución con sistemas médicos externos en lugar de confusión dentro de las alternativas internas tibetanas.
• Sesgo Direccional: Los modelos divergen en su dirección de desplazamiento según la composición de sus datos de preentrenamiento y la similitud semántica superficial:
  • Inclinación Biomédica: Modelos como Claude Sonnet 4.6 y GPT-5.4 mostraron una fuerte tendencia a desplazarse hacia el razonamiento biomédico.
  • Inclinación hacia la MTC: Modelos como GLM-4.7, DeepSeek-Chat y Gemini mostraron un mayor desplazamiento hacia la MTC. Los autores atribuyen esto a la alta similitud semántica superficial entre los conceptos médicos tibetanos y chinos, lo que reduce el "costo" de la sustitución incluso para modelos sin una exposición desproporcionada a la MTC.
• Competencia Lingüística vs. Ontológica: En las tareas generativas, los modelos demostraron una alta "Calidad Lingüística" (fluidez en tibetano) pero una baja "Fidelidad Ontológica". Esto indica que los modelos pueden generar texto en tibetano gramaticalmente correcto mientras fallan en preservar el razonamiento médico subyacente o lo sustituyen por paradigmas externos.
• Pruebas de Diagnóstico Controladas: Los experimentos donde se obligó a los modelos a elegir entre respuestas tibetanas, de la MTC y biomédicas correctas revelaron que, incluso cuando los modelos demostraban acceso a la respuesta tibetana correcta, frecuentemente revertían a su paradigma externo preferido. En algunos casos, los modelos seleccionaron respuestas clínicamente incorrectas de su sistema externo preferido sobre la respuesta tibetana correcta, lo que sugiere una preferencia profunda por las ontologías externas.

Contribuciones Clave

1. Benchmark TreeProbe: La introducción del primer benchmark de sesgo cultural específicamente para la medicina tibetana, organizado en torno al marco del Árbol Médico nativo, que contiene 4,719 ítems adjudicados por expertos.
2. Paradigma de Construcción: Una metodología reutilizable para la evaluación de la medicina tradicional de bajos recursos, utilizando unidades de conocimiento estructuradas y distractores trans-sistemas elaborados por expertos para aislar el desplazamiento ontológico de las brechas de conocimiento.
3. Caracterización Sistemática del Sesgo: Una evaluación exhaustiva de los LLMs de frontera que revela los mecanismos del sesgo cultural, demostrando que los errores no son aleatorios sino que siguen patrones estructurados de desplazamiento ontológico hacia la biomedicina o la MTC, moldeados por los datos de preentrenamiento y las similitudes semánticas superficiales.

Significancia y Reivindicaciones
El artículo posiciona a TreeProbe como una herramienta de diagnóstico esencial para desarrollar sistemas de IA médica que sean tanto lingüísticamente inclusivos como epistémicamente justos. Los autores sostienen que, sin una evaluación tan rigurosa, el sesgo cultural no controlado en los LLM corre el riesgo de transformar estos modelos en mecanismos que sobrescriban o reemplacen los sistemas de conocimiento vulnerables con paradigmas médicos dominantes. Al cuantificar y rastrear estos sesgos, TreeProbe proporciona una base para el diagnóstico, la atribución de sesgo y la alineación de modelos, asegurando que las aplicaciones de IA en la atención médica no marginen inadvertidamente a las tradiciones médicas tradicionales. Los autores declaran explícitamente que TreeProbe es un benchmark de investigación para la evaluación y el diagnóstico de sesgos, no un sistema de apoyo para la decisión clínica.