TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs

Technische Samenvatting: TreeProbe – Een Tibetaanse Geneeskunde Benchmark voor Culturele Bias in LLM's

Probleemstelling
Large Language Models (LLM's) worden steeds vaker voorgesteld als instrumenten om wereldwijde ongelijkheid in de gezondheidszorg te verminderen. De huidige modellen zijn echter overwegend getraind op westerse, hoogwaardige corpora, wat leidt tot een systematische ondervertegenwoordiging van gelokaliseerde culturele contexten en regio-specifieke medische kennis. Dit probleem is bijzonder acuut binnen de Tibetaanse geneeskunde, een van de vier grote traditionele medische systemen ter wereld, die beschikt over een onafhankelijk en hooggestructureerd theoretisch kader. Wanneer LLM's een gegrond begrip missen van de Tibetaanse medische epistemologie, hebben ze de neiging om terug te vallen op dominante externe systemen—specifiek de biomedische wetenschap of de Traditionele Chinese Geneeskunde (TCM). Deze "ontologische drift" vervormt inheemse kennisstructuren, wat de bestaande hiërarchieën van kennis kan versterken en de ongelijkheid in de gezondheidszorg kan verergeren. Er bestaat een kritiek gat door het gebrek aan kwantitatieve instrumenten om deze specifieke vorm van culturele bias binnen Tibetaanse medische contexten te evalueren en te diagnosticeren.

Methodologie: De TreeProbe Benchmark
Om dit gat te dichten, introduceren de auteurs TreeProbe, de eerste culturele bias-benchmark die geworteld is in het inheemse "Medische Boom"-kader van de Tibetaanse geneeskunde, zoals gecodificeerd in de Vier Tantra's. De benchmark is gestructureerd rond drie wortels: Fysiopathologie, Diagnose en Therapie.

• Dataset Constructie: TreeProbe bestaat uit 4.719 door experts beoordeelde items die 467 ziekten en 10 subtaken beslaan (inclusief zowel meerkeuzevragen als Generatieve QA). Het constructieproces volgt een vierfasige pijplijn:

  1. Extractie van Kennisunits: Atomaire kennisunits worden geëxtraheerd uit gezaghebbende bronnen (de Vier Tantra's en de nationale standaard GB/T 46946–2025) door inheemse Tibetaans sprekende annotatoren. Elke unit is een gestructureerde quadruplet die bronbewijs, ziektecodes en attribuutvectoren koppelt die etiologie, pathogenese, diagnostiek en behandeling beslaan.
  2. Operator-gestuurde Instantiatie: Items worden afgeleid met behulp van een familie van probeeroperators die specifieke attribuutslots mappen naar doelvragen. Dit zorgt ervoor dat de moeilijkheidsgraad voortkomt uit redenering in plaats van informatielekken.
  3. Cross-Ontologie Afleider-creatie: Om culturele bias rigoureus te testen, maakt de benchmark gebruik van een specifieke afleider-taxonomie:
     • Getrouwe Antwoord (FA - Faithful Answer): Het correcte antwoord onder Tibetaans medisch redeneren.
     • Intra-Tibetaanse Afleider (ITD - Intra-Tibetan Distractor): Gebruikt correcte Tibetaanse terminologie, maar schendt de specifieke relationele logica die vereist is door de vraag.
     • TCM-drift Afleider (TCD - TCM-drift Distractor): Plausibel onder TCM, maar incorrect onder de Tibetaanse theorie.
     • Biomedische-drift Afleider (BID - Biomedical-drift Distractor): Komt overeen met biomedische classificatie, maar is incorrect in de Tibetaanse context.
       Cruciaal is dat de afleiders worden geschreven door domeinexperts (TCM- en biomedische artsen) met behulp van ontologie-neutrale klinische vignettes om zelfvoorkeur-bias bij het model te voorkomen.
  4. Beoordeling (Adjudication): Items ondergaan strikte filtering voor ontologische scheidbaarheid en veiligheid, gevolgd door blindelings oordeel door een panel van vijf onafhankelijke experts (drie Tibetaans, één TCM, één biomedisch). Een item wordt alleen behouden als ten minste vier experts instemmen.

• Evaluatiemetrieken: Het artikel definieert twee log-odds metrieken om bias te kwantificeren:

  • Ontologie Drift Log-Odds (ODLO): Meet de algehele afwijking van de Tibetaanse ontologie (drift richting externe systemen).
  • Biomedische–TCM Drift Log-Odds (BTD-LO): Karakteriseert de richting van de externe drift (positief voor biomedisch, negatief voor TCM).

Experimentele Resultaten
De auteurs evalueerden zes representatieve frontier LLM's (waaronder GPT-5.4, Claude Sonnet 4.6, Gemini 3.1, GLM-4.7, DeepSeek-V3.2 en Qwen3.5-397B-A17B) op TreeProbe.

• Prestatiebeperkingen: Huidige modellen vertonen significante beperkingen in inheemse Tibetaanse medische contexten. Zelfs het sterkste zero-shot model, Qwen3.5-397B-A17B, behaalde een gemiddelde nauwkeurigheid van slechts 60,55% op MCQs, terwijl de prestaties op generatieve QA aanzienlijk lager lagen (gemiddelde scores rond 0,47–0,55 op een genormaliseerde [0, 1] schaal).
• Systematische Ontologische Drift: Analyse van foutpatronen laat zien dat modellen niet enkel falen door een gebrek aan kennis; ze vertonen systematische drift naar externe ontologieën. Elk geteste model vertoonde een ODLO > 0,48, wat aangeeft dat fouten consequent de vorm aannemen van substitutie met externe medische systemen in plaats van verwarring binnen de interne Tibetaanse alternatieven.
• Directionele Bias: Modellen divergeren in hun driftrichting op basis van de samenstelling van de pretraining-data en oppervlakkige semantische gelijkenis:
  • Biomedisch-gericht: Modellen zoals Claude Sonnet 4.6 en GPT-5.4 vertoonden een sterke neiging tot drift naar biomedisch redeneren.
  • TCM-gericht: Modellen zoals GLM-4.7, DeepSeek-Chat en Gemini vertoonden een sterkere drift naar TCM. De auteurs schrijven dit toe aan de hoge oppervlakkige semantische gelijkenis tussen Tibetaanse en Chinese medische concepten, wat de "kosten" van substitutie verlaagt, zelfs voor modellen zonder disproportionele blootstelling aan TCM.
• Linguïstische versus Ontologische Competentie: In generatieve taken vertoonden modellen een hoge "Linguïstische Kwaliteit" (vloeiendheid in het Tibetaans) maar een lage "Ontologische Getrouwheid". Dit geeft aan dat modellen grammaticaal correcte Tibetaanse tekst kunnen generen terwijl ze erin falen de onderliggende medische redenering te bewaren of deze te vervangen door externe paradigma's.
• Gecontroleerde Diagnostische Tests: Experimenten waarbij modellen werden gedwongen te kiezen tussen correcte Tibetaanse, TCM en biomedische antwoorden, toonden aan dat zelfs wanneer modellen toegang hadden tot het correcte Tibetaanse antwoord, ze vaak terugvielen op hun geprefereerde externe paradigma. In sommige gevallen kozen modellen klinisch incorrecte antwoorden uit hun geprefereerde externe systeem boven het correcte Tibetaanse antwoord, wat wijst op een diepgewortelde voorkeur voor externe ontologieën.

Belangrijkste Bijdragen

1. TreeProbe Benchmark: De introductie van de eerste culturele bias-benchmark specifiek voor de Tibetaanse geneeskunde, georganiseerd rond het inheemse Medische Boom-kader, bevattende 4.719 door experts beoordeelde items.
2. Constructieparadigma: Een herbruikbare methodologie voor de evaluatie van laag-resource traditionele geneeskunde, gebruikmakend van gestructureerde kennisunits en door experts geschreven cross-systeem afleiders om ontologische drift te isoleren van kenniskloven.
3. Systematische Karakterisering van Bias: Een uitgebreide evaluatie van frontier LLM's die de mechanismen van culturele bias onthult, waarbij wordt aangetoond dat fouten niet willekeurig zijn maar gestructureerde patronen van ontologische drift volgen naar biomedische wetenschap of TCM, gevormd door pretraining-data en oppervlakkige semantische gelijkenissen.

Betekenis en Claims
Het artikel positioneert TreeProbe als een diagnostisch instrument dat essentieel is voor de ontwikkeling van medische AI-systemen die zowel linguïstisch inclusief als epistemisch rechtvaardig zijn. De auteurs stellen dat zonder dergelijke rigoureuze evaluatie, ongecontroleerde culturele bias in LLM's het risico loopt deze modellen te transformeren in mechanismen die kwetsbare kennissystemen overschrijven of vervangen door dominante medische paradigma's. Door deze biases te kwantificeren en te traceren, biedt TreeProbe een fundament voor modeldiagnose, bias-toeschrijving en alignment, om te waarborgen dat AI-toepassingen in de gezondheidszorg niet onbedoeld traditionele medische tradities marginaliseren. De auteurs verklaren expliciet dat TreeProbe een onderzoeksbenchmark is voor evaluatie en bias-diagnose, en geen klinisch beslissingsondersteunend systeem.