TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs

Sintesi Tecnica: TreeProbe – Un benchmark della medicina tibetana per il bias culturale nei LLM

Problematica
I Large Language Models (LLM) sono sempre più proposti come strumenti per mitigare le iniquità sanitarie globali. Tuttavia, i modelli attuali sono prevalentemente addestrati su corpora occidentocentrici ad alta densità di risorse, portando a una sistematica sottorappresentazione dei contesti culturali localizzati e delle conoscenze mediche specifiche regionali. Questo problema è particolarmente acuto nella medicina tibetana, uno dei quattro principali sistemi medici tradizionali al mondo, che possiede un quadro teorico indipendente e altamente strutturato. Quando i LLM mancano di una comprensione radicata dell'epistemologia medica tibetana, tendono a ripiegare su sistemi esterni dominanti — specificamente la biomedicina o la Medicina Tradizionale Cinese (MTC) — durante il ragionamento. Questo "drift ontologico" distorce le strutture di conoscenza autoctone, rischiando di rafforzare le esistenti gerarchie della conoscenza ed esacerbare le iniquità nell'assistenza sanitaria. Esiste una lacuna critica nella mancanza di strumenti quantitativi per valutare e diagnosticare questa specifica forma di bias culturale all'interno dei contesti medici tibetani.

Metodologia: Il Benchmark TreeProbe
Per affrontare questa lacuna, gli autori introducono TreeProbe, il primo benchmark del bias culturale basato sul framework nativo dell' "Albero Medico" della medicina tibetana, come codificato nei Quattro Tantra. Il benchmark è strutturato attorno a tre radici: Fisiopatologia, Diagnosi e Terapia.

• Costruzione del Dataset: TreeProbe comprende 4.719 elementi adjudicati da esperti che coprono 467 malattie e 10 sottotask (inclusi sia quesiti a scelta multipla che QA generativa). Il processo di costruzione segue una pipeline in quattro fasi:

  1. Estrazione delle Unità di Conoscenza: Le unità atomiche di conoscenza vengono estratte da fonti autorevoli (i Quattro Tantra e lo standard nazionale GB/T 46946–2025) da annotatori madrelingua tibetani. Ogni unità è un quadruplo strutturato che collega l'evidenza della fonte, i codi della malattia e i vettori di attributo che coprono eziologia, patogenesi, diagnostica e trattamento.
  2. Istanziazione Guidata da Operatori: Gli item sono derivati utilizzando una famiglia di operatori di probing che mappano specifici slot di attributi verso domande target. Ciò garantisce che la difficoltà derivi dal ragionamento piuttosto che dalla fuga di informazioni (information leakage).
  3. Autore di Distrattori Cross-Ontologici: Per testare rigorosamente il bias, il benchmark impiega una specifica tassonomia di distrattori:
     • Risposta Fedele (FA): La risposta corretta secondo il ragionamento medico tibetano.
     • Distrattore Intra-Tibetano (ITD): Utilizza la terminologia tibetana corretta ma viola la specifica logica relazionale richiesta dalla domanda.
     • Distrattore di Drift verso la MTC (TCD): Plausibile secondo la MTC ma errato sotto la teoria tibetana.
     • Distrattore di Drift Biomedico (BID): Si allinea alla classificazione biomedica ma è errato nel contesto tibetano.
       Crucialmente, i distrattori sono redatti da esperti del dominio (medici della MTC e biomedici) utilizzando vignette cliniche ontologicamente neutre per prevenire il bias di auto-preferenza del modello.
  4. Adjudicazione: Gli item sono sottoposti a un rigoroso filtraggio per separabilità ontologica e sicurezza, seguiti da un'adjudicazione cieca da parte di un panel di cinque esperti indipendenti (tre tibetani, uno della MTC, uno biomedico). Un item viene mantenuto solo se almeno quattro esperti concordano.

• Metriche di Valutazione: Il paper definisce due metriche log-odds per quantificare il bias:

  • Ontology Drift Log-Odds (ODLO): Misura la deviazione complessiva dall'ontologia tibetana (drift verso sistemi esterni).
  • Biomedical–TCM Drift Log-Odds (BTD-LO): Caratterizza la direzione del drift esterno (positivo per il biomedico, negativo per la MTC).

Risultati Sperimentali
Gli autori hanno valutato sei rappresentativi LLM di frontiera (inclusi GPT-5.4, Claude Sonnet 4.6, Gemini 3.1, GLM-4.7, DeepSeek-V3.2 e Qwen3.5-397B-A17B) su TreeProbe.

• Limitazioni delle Prestazioni: Gli attuali modelli mostrano limitazioni significative nei contesti medici tibetani nativi. Anche il modello zero-shot più forte, Qwen3.5-397B-A17B, ha raggiunto un'accuratezza media del 60,55% nei MCQ, mentre le prestazioni sulla QA generativa sono state sostanzialmente inferiori (punteggi medi intorno a 0,47–0,55 su una scala normalizzata [0, 1]).
• Drift Ontologico Sistematico: L'analisi dei pattern di errore rivela che i modelli non falliscono semplicemente per mancanza di conoscenza; essi subiscono sistematicamente un drift verso ontologie esterne. Ogni modello testato ha mostrato un ODLO > 0,48, indicando che gli errori assumono costantemente la forma di sostituzione con sistemi medici esterni piuttosto che confusione tra alternative interne tibetane.
• Bias Direzionale: I modelli divergono nella direzione del loro drift in base alla composizione dei dati di pre-training e alla somiglianza semantica superficiale:
  • Inclinazione Biomedica: Modelli come Claude Sonnet 4.6 e GPT-5.4 hanno mostrato una forte tendenza a driftare verso il ragionamento biomedico.
  • Inclinazione MTC: Modelli come GLM-4.7, DeepSeek-Chat e Gemini hanno mostrato un drift più forte verso la MTC. Gli autori attribuiscono ciò all'alta somiglianza semantica superficiale tra i concetti medici tibetani e cinesi, che abbassa il "costo" della sostituzione anche per i modelli privi di una sproporzionata esposizione alla MTC.
• Competenza Linguistica vs. Ontologica: Nei compiti generativi, i modelli hanno dimostrato un'alta "Qualità Linguistica" (fluidità nel tibetano) ma una bassa "Fedeltà Ontologica". Ciò indica che i modelli possono generare testi in tibetano grammaticalmente corretti pur fallendo nel preservare il ragionamento medico sottostante o sostituendolo con paradigmi esterni.
• Test Diagnostici Controllati: Esperimenti in cui i modelli sono stati costretti a scegliere tra risposte tibetane, MTC e biomediche corrette hanno rivelato che, anche quando i modelli dimostravano l'accesso alla risposta tibetana corretta, spesso revertivano al loro paradigma esterno preferito. In alcuni casi, i modelli hanno selezionato risposte clinicamente errate dal loro sistema esterno preferito rispetto alla risposta tibetana corretta, suggerendo una preferenza profonda per le ontologie esterne.

Contributi Chiave

1. Benchmark TreeProbe: L'introduzione del primo benchmark di bias culturale specificamente per la medicina tibetana, organizzato attorno al framework nativo dell'Albero Medico, contenente 4.719 elementi adjudicati da esperti.
2. Paradigma di Costruzione: Una metodologia riutilizzabile per la valutazione della medicina tradizionale a basse risorse, utilizzando unità di conoscenza strutturate e distrattori creati da esperti per isolare il drift ontologico dai gap di conoscenza.
3. Caratterizzazione Sistematica del Bias: Una valutazione completa dei LLM di frontiera che rivela i meccanismi del bias culturale, dimostrando che gli errori non sono casuali ma seguono pattern strutturati di drift ontologico verso la biomedicina o la MTC, modellati dai dati di pre-training e dalle somiglianze semantiche superficiali.

Significatività e Rivendicazioni
Il paper posiziona TreeProbe come uno strumento diagnostico essenziale per lo sviluppo di sistemi di IA medica che siano sia linguisticamente inclusivi che epistemicamente equi. Gli autori sostengono che, senza una valutazione così rigorosa, il bias culturale non controllato nei LLM rischia di trasformare questi modelli in meccanismi che sovrascrivono o sostituiscono sistemi di conoscenza vulnerabili con paradigmi medici dominanti. Quantificando e tracciando questi bias, TreeProbe fornisce una base per la diagnosi del modello, l'attribuzione del bias e l'allineamento, garantendo che le applicazioni dell'IA nella sanità non marginalizzino involontariamente le tradizioni mediche tradizionali. Gli autori dichiarano esplicitamente che TreeProbe è un benchmark di ricerca per la valutazione e la diagnosi del bias, non un sistema di supporto alle decisioni cliniche.