TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs

Resumo Técnico: TreeProbe – Um Benchmark de Medicina Tibetana para Viés Cultural em LLMs

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) são cada vez mais propostos como ferramentas para mitigar as inequidades na saúde global. No entanto, os modelos atuais são predominantamente treinados em corpora centrados no Ocidente e de altos recursos, levando a uma sub-representação sistemática de contextos culturais localizados e de conhecimentos médicos específicos de regiões. Este problema é particularmente agudo na medicina tibetana, um dos quatro grandes sistemas médicos tradicionais do mundo, que possui um arcabouço teórico independente e altamente estruturado. Quando os LLMs carecem de uma compreensão fundamentada da epistemologia médica tibetana, eles tendem a recorrer por padrão aos sistemas externos dominantes — especificamente à biomedicina ou à Medicina Tradicional Chinesa (MTC) — durante o raciocínio. Este "desvio de ontologia" (ontology drift) distorce as estruturas de conhecimento nativas, potencialmente reforçando as hierarquias de conhecimento existentes e exacerbando as inequidades na saúde. Existe uma lacuna crítica na falta de ferramentas quantitativas para avaliar e diagnosticar esta forma específica de viés cultural dentro dos contextos médicos tibetanos.

Metodologia: O Benchmark TreeProbe
Para abordar esta lacuna, os autores apresentam o TreeProbe, o primeiro benchmark de viés cultural fundamentado na estrutura nativa da "Árvore Médica" da medicina tibetana, conforme codificado nos Quatro Tantras. O benchmark é estruturado em torno de três raízes: Fisiopatologia, Diagnóstico e Terapia.

• Construção do Dataset: O TreeProbe compreende 4.719 itens adjudicados por especialistas, cobrindo 467 doenças e 10 subtarefas (incluindo tanto Questões de Múltipla Escolha quanto QA Generativo). O processo de construção segue um pipeline de quatro estágios:

  1. Extração de Unidades de Conhecimento: Unidades de conhecimento atômicas são extraídas de fontes autoritativas (os Quatro Tantras e o padrão nacional GB/T 46946–2025) por anotadores nativos de língua tibetana. Cada unidade é um quadruplo estruturado ligando evidência de origem, códigos de doença e vetores de atributos cobrindo etiologia, patogênese, diagnósticos e tratamento.
  2. Instanciação Guiada por Operadores: Os itens são derivados usando uma família de operadores de sondagem que mapeiam slots de atributos específicos para perguntas alvo. Isso garante que a dificuldade derive do raciocínio e não de vazamento de informação.
  3. Autoria de Distratores de Cross-Ontologia: Para testar rigorosamente o viés, o benchmark emprega uma taxonomia específica de distratores:
     • Resposta Fiel (FA - Faithful Answer): A resposta correta sob o raciocínio médico tibetano.
     • Distrator Intra-Tibetano (ITD - Intra-Tibetan Distractor): Utiliza terminologia tibetana correta, mas viola a lógica relacional específica exigida pela questão.
     • Distrator de Desvio da MTC (TCD - TCM-drift Distractor): Plausível sob a MTC, mas incorreto sob a teoria tibetana.
     • Distrator de Desvio Biomédico (BID - Biomedical-drift Distractor): Alinha-se com a classificação biomédica, mas é incorreto no contexto tibetano.
       Crucialmente, os distratores são elaborados por especialistas de domínio (médicos de MTC e biomédicos) usando vinhetas clínicas ontologicamente neutras para evitar o viés de auto-preferência do modelo.
  4. Adjudicação: Os itens passam por uma filtragem rigorosa de separabilidade ontológica e segurança, seguida de adjudicação cega por um painel de cinco especialistas independentes (três tibetanos, um de MTC e um biomédico). Um item é retido apenas se pelo menos quatro especialistas concordarem.

• Métricas de Avaliação: O artigo define duas métricas de log-odds para quantificar o viés:

  • Log-Odds de Desvio de Ontologia (ODLO - Ontology Drift Log-Odds): Mede o afastamento geral da ontologia tibetana (desvio em direção a sistemas externos).
  • Log-Odds de Desvio Biomédico–MTC (BTD-LO - Biomedical–TCM Drift Log-Odds): Caracteriza a direção do desvio externo (positivo para biomédico, negativo para MTC).

Resultos Experimentais
Os autores avaliaram seis LLMs de fronteira representativos (incluindo GPT-5.4, Claude Sonnet 4.6, Gemini 3.1, GLM-4.7, DeepSeek-V3.2 e Qwen3.5-397B-A17B) no TreeProbe.

• Limitações de Desempenho: Os modelos atuais exibem limitações significativas nos contextos médicos tibetanos nativos. Mesmo o modelo zero-shot mais forte, o Qwen3.5-397B-A17B, alcançou uma precisão média de apenas 60,55% em MCQs, enquanto o desempenho em QA generativo foi substancialmente inferior (pontuações médias em torno de 0,47–0,55 em uma escala normalizada de [0, 1]).
• Desvio de Ontologia Sistemático: A análise dos padrões de erro revela que os modelos não falham meramente por falta de conhecimento; eles derivam sistematicamente para ontologias externas. Todos os modelos testados mostraram um ODLO > 0,48, indicando que os erros assumem consistentemente a forma de substituição por sistemas médicos externos, em vez de confusão dentro das alternativas internas tibetanas.
• Viés Direcional: Os modelos divergem em sua direção de desvio baseando-se na composição dos dados de pré-treinamento e na similaridade semântica de superfície:
  • Tendência Biomédica: Modelos como Claude Sonnet 4.6 e GPT-5.4 mostraram uma forte tendência de desviar para o raciocínio biomédico.
  • Tendência MTC: Modelos como GLM-4.7, DeepSeek-Chat e Gemini mostraram um desvio mais forte para a MTC. Os autores atribuem isso à alta similaridade semântica de superfície entre conceitos médicos tibetanos e chineses, o que reduz o "custo" da substituição mesmo para modelos sem exposição desproporcional à MTC.
• Competência Linguística vs. Ontológica: Em tarefas generativas, os modelos demonstraram alta "Qualidade Linguística" (fluência em tibetano), mas baixa "Fidelidade Ontológica". Isso indica que os modelos podem gerar texto em tibetano gramaticalmente correto, enquanto falham em preservar o raciocínio médico subjacente ou o substituem por paradigmas externos.
• Testes Diagnósticos Controlados: Experimentos onde os modelos foram forçados a escolher entre respostas tibetanas, de MTC e biomédicas corretas revelaram que, mesmo quando os modelos demonstravam acesso à resposta tibetana correta, eles frequentemente revertiam ao seu paradigma externo preferido. Em alguns casos, os modelos selecionaram respostas clinicamente incorretas de seu sistema externo preferido em vez da resposta tibetana correta, sugerindo uma preferência profunda pelas ontologias externas.

Principais Contribuições

1. Benchmark TreeProbe: A introdução do primeiro benchmark de viés cultural especificamente para a medicina tibetana, organizado em torno da estrutura nativa da Árvore Médica, contendo 4.719 itens adjudicados por especialistas.
2. Paradigma de Construção: Uma metodologia reutilizável para avaliação de medicina tradicional de baixo recurso, utilizando unidades de conhecimento estruturadas e distratores de cross-sistema elaborados por especialistas para isolar o desvio de ontologia das lacunas de conhecimento.
3. Caracterização Sistemática do Viés: Uma avaliação abrangente de LLMs de fronteira que revela os mecanismos do viés cultural, demonstrando que os erros não são aleatórios, mas seguem padrões estruturados de desvio de ontologia em direção à biomedicina ou à MTC, moldados pelos dados de pré-treinamento e similaridades semânticas de superfície.

Significância e Alegações
O artigo posiciona o TreeProbe como uma ferramenta de diagnóstico essencial para o desenvolvimento de sistemas de IA médica que sejam tanto linguisticamente inclusivos quanto epistemicamente justos. Os autores alegam que, sem tal avaliação rigorosa, o viés cultural não controlado nos LLMs corre o risco de transformar esses modelos em mecanismos que sobrescrevem ou substituem sistemas de conhecimento vulneráveis por paradigmas médicos dominantes. Ao quantificar e rastrear esses vieses, o TreeProbe fornece uma base para o diagnóstico, atribuição de viés e alinhamento de modelos, garantindo que as aplicações de IA na saúde não marginalizem inadvertidamente as tradições médicas tradicionais. Os autores declaram explicitamente que o TreeProbe é um benchmark de pesquisa para avaliação e diagnóstico de viés, não um sistema de suporte à decisão clínica.