Technische Samenvatting: Betrouwbare Multilinguale Orthopedische Beslissingsondersteuning vanuit Klinische Narratieven

1. Probleemstelling

Multilinguale klinische beslissingsondersteuning (Clinical Decision Support - CDS) staat voor aanzienlijke hindernissen in taalkundig diverse, minder kapitaalkrachtige gezondheidszorgomgevingen, met name in Zuid-Azië waar klinische interacties plaatsvinden in regionale talen (bijv. Hindi, Punjabi), terwijl AI-instrumenten voornamelijk Engels-gecentreerd blijven. Orthopedische beslissingsondersteuning is een kritieke use case vanwege de aard van patiëntnarratieven, die vaak overlappende symptomen, onvolledige bewijslast, heterogene terminologie en taalafhankelijke documentatiepatronen bevatten.

Bestaande benaderingen worstelen met verschillende specifieke uitdagingen:

• Taalconditionele Instabiliteit: De prestaties en kalibratie van modellen variëren aanzienlijk per taal, vooral onder natuurlijke klinische prevalentieverdelingen waar de klassenimbalans ernstig is.
• Domeinspecialisatie: Algemene meertalige encoders en zero-shot Large Language Models (LLM's) missen vaak de specifieke gronding die vereist is voor veiligheidgevoelige, closed-set klinische categorisatie.
• Betrouwbaarheidsgaten: Geaggregeerde nauwkeurigheidsmetrieken verhullen klinisch betekenisvolle foutmodi, zoals overmoedige voorspellingen bij onzekere gevallen of taalspecifieke biases.
• Gebrek aan Deferral-mechanismen: Huidige systemen missen vaak expliciete mechanismen om onzekere voorspellingen door te verwijzen (defer) voor menselijke beoordeling, wat een cruciale vereiste is voor veiligheidsgeoriënteerde CDS.

2. Methodologie

De studie stelt een betrouwbaarheid georiënteerd framework voor bestaande uit een gecureerde dataset, een domein-adaptieve modelarchitectuur en een deterministische post-predictie verificatielaag.

2.1 Dataset Constructie

De auteurs hebben een grootschalige, gecureerde meertalige orthopedische klinische corpus samengesteld met 134.979 records in het Engels, Hindi en Punjabi. De data werd afkomstig uit een tertiair ziekenhuis in Pakistan (met samenwerking van Indiase ziekenhuizen) en bevat natuurlijk geschreven aantekeningen, geen vertalingen.

• Diagnostische Labels: Zes categorieën: Spinaal, Musculoskeletaal, Bot, Heup, Overig, en Onbekend (duidend op onvoldoende bewijs).
• Evaluatie-instellingen: Twee verdelingen werden gedefinieerd:
  1. Gecontroleerd Gebalanceerd: 18.000 records (1.000 per klasse per taal) om een eerlijke cross-language vergelijking mogelijk te maken.
  2. Natuurlijke Prevalentie: De volledige verfijnde corpus die de realistische klinische label-skew reflecteert (bijv. Heupklachten domineren in het Engels/Hindi; Spinaal domineert in het Punjabi).

2.2 Voorgestelde Architectuur: IndicBERT-HPA

Om domein- en taalverschillen aan te pakken, introduceerden de auteurs IndicBERT-HPA (Hindi–Punjabi Adapters).

• Basis: Een gedeelde IndicBERT-encoder biedt een gemeenschappelijke meertalige representatieruimte.
• Adaptatie:
  • Engels: Volgt het directe gedeelde encoder-pad.
  • Hindi & Punjabi: Passeren door taal-specifieke, lichtgewicht orthopedische adapter-koppen. Deze adapters gebruiken een bottleneck residual transformatie om gedeelde representaties te projecteren in een klinisch discriminerende ruimte zonder de volledige encoder te dupliceren.
• Training: Het model wordt end-to-end getraind met cross-entropy loss, waarbij de gedeelde encoder, de adapters en de classificatiekop gezamenlijk worden geoptimaliseerd.

2.3 Baselines en Vergelijkingen

De studie vergelijkt IndicBERT-HPA met:

• Supervised Encoders: XLM-RoBERTa, mDeBERTa, standaard IndicBERT en DistilBERT (fine-tuned op de taak).
• Zero-Shot LLM's: DeepSeek Open, Mistral-7B Instruct, en Zephyr-7B, geëvalueerd in een zero-shot, closed-label setting zonder taakspecifieke fine-tuning of retrieval augmentatie.

2.4 Deterministische Selectieve Verificatielaag

Een post-predictie laag is geïmplementeerd om diagnostische voorspelling te scheiden van beslissingsautorisatie. Het wijzigt de modelparameters niet, maar bepaalt of een voorspelling automatisch geaccepteerd of doorverwezen (deferred) moet worden. De beslissingsfunctie $g$ steunt op drie signalen:

1. Confidence Gating: Wijst voorspellingen af die onder een drempelwaarde $\tau$ liggen (gesteld op 0,60).
2. Evidence-Consistency Checking: Verifieert of de voorspelde categorie wordt ondersteund door symptoom-diagnose bewijsregels.
3. Language-Risk Screening: Vlagt records met script-mismatches, abnormale vermenging of excessieve transliteratie-ruis.
   Indien een conditie faalt ($s_i < \tau$ OF bewijs $\neq$ ondersteund OF risico = hoog), wordt de casus doorgeverst (deferred) voor menselijke beoordeling.

3. Belangrijkste Bijdragen

1. Gecureerde Meertalige Orthopedische Corpus: Een grootschalige dataset die Engels, Hindi en Punjabi beslaat, ondersteunend voor zowel gebalanceerde als natuurlijke prevalentie evaluatie om klasse-imbalans en taalheterogeniteit te analyseren.
2. Domein-Adaptieve Encoder (IndicBERT-HPA): Een architectuur die IndicBERT aanvult met taalbewuste orthopedische adapters, waardoor gedeelde representaties behouden blijven terwijl gerichte specialisatie voor minder kapitaalkrachtige talen mogelijk wordt.
3. Betrouwbaarheid-Georiënteerd Evaluatieprotocol: Een uitgebreide evaluatie die verder gaat dan geaggregeerde nauwkeurigheid door gebruik te maken van per-klasse prestaties, ROC-AUC, AUPRC, Expected Calibration Error (ECE) en cross-language stabiliteit onder natuurlijke prevalentie.
4. Deterministische Selectieve Verificatielaag: Een regelgebaseerd systeem dat vertrouwen, bewijsconsistentie en taalrisico combineert om acceptatie te autoriseren of onzekere gevallen door te verwijzen, waarmee expliciet wordt ingegaan op veiligheid en human-in-the-loop vereisten.

4. Experimentele Resultaten

4.1 Prestaties van Supervised Encoders

• Gecontroleerde Setting: IndicBERT-HPA behaalde de hoogste algehele prestaties, met een gemiddelde Macro-F1 van 0,8177, Macro-AUROC van 0,9302 en AUPRC van 0,9147. Het presteerde consistent beter dan de baselines in Musculoskeletale en "Onbekend" (onvoldoende bewijs) classificatie.
• Natural-Prevalence Setting: IndicBERT-HPA behield zijn robuustheid en behaalde een gemiddelde Macro-F1 van 0,8792, Macro-AUROC van 0,894 en AUPRC van 0,902. Het presteerde significant beter dan alle baselines, inclusief XLM-RoBERTa en DistilBERT.
• Kalibratie: Hoewel IndicBERT-HPA een sterke discriminatie vertoonde, vertoonde het een hogere Expected Calibration Error (ECE) dan sommige baselines in specifieke talen (bijv. Engels), wat de noodzaak voor de verificatielaag motiveert in plaats van enkel te vertrouwen op vertrouwen (confidence) alleen.

4.2 Zero-Shot LLM Prestaties

Zero-shot LLM's presteerden aanzienlijk slechter dan taak-geadapteerde encoders voor closed-set classificatie:

• DeepSeek Open (de sterkste LLM) behaalde een gemiddelde F1-score van 0,6121 onder natuurlijke prevalentie.
• IndicBERT-HPA presteerde aanzienlijk beter dan de beste LLM (0,8792 vs. 0,6121).
• LLM's vertoonden significante taalafhankelijke instabiliteit en misten de taakspecifieke gronding die vereist is voor gestructureerde klinische categorisatie zonder fine-tuning.

4.3 Uitkomsten van Selectieve Verificatie

Geëvalueerd op een hold-out subset van 5.000 records:

• Accept-All Baseline: 71,5% nauwkeurigheid, 0,65 Macro-F1.
• Met Verificatie: Het systeem accepteerde 72,3% van de gevallen (en verwees 27,7% door) en behaalde een selectieve nauwkeurigheid van 84,4% en een selectieve Macro-F1 van 0,76.
• Veiligheidsimpact: De laag verminderde de onveilige geaccepteerde fouten met 60,4% vergeleken met het accept-all beleid, waardoor onzekere gevallen effectief naar menselijke beoordeling werden gerouteerd zonder de onderliggende classifier te wijzigen.

5. Betekenis en Claims

Het artikel beweert dat meertalige orthopedische beslissingsondersteuning een verschuiving vereist van autonome diagnose naar betrouwbaarheid-georiënteerde assistentie. De studie demonstreert dat:

• Domeinadaptatie Cruciaal is: Expliciete domeinadaptatie (IndicBERT-HPA) presteert significant beter dan zowel algemene meertalige encoders als zero-shot LLM's in minder kapitaalkrachtige, meertalige klinische omgevingen.
• Natuurlijke Prevalentie Ertoe Doet: Evaluatie onder natuurlijke klinische verdelingen onthult foutmodi en kalibratieproblemen die gebalanceerde benchmarks verbloemen.
• Deferral de Veiligheid Verhoogt: Deterministische selectieve verificatie verbetert de betrouwbaarheid van automatisch geaccepteerde voorspellingen effectief door lage-vertrouwen of inconsistente gevallen te filteren, waardoor het risico op automatische fouten in klinische workflows wordt verminderd.
• Noodzaak van Human-in-the-loop: De resultaten ondersteunen een workflow waarbij AI voorlopige categorisatie levert met expliciete onzekerheidssignalen, en complexe of risicovolle gevallen doorverwijst naar clinici, in plaats van te streven naar volledig autonome diagnose.

De auteurs benadrukken dat deze bevindingen retrospectief en subset-specifiek zijn; prospectieve clinician-in-the-loop validatie is vereist voordat implementatie in real-world workflows plaatsvindt. De studie claimt niet dat zero-shot LLM's klaar zijn voor deze specifieke taak zonder adaptatie, noch claimt het dat de verificatielaag de klinische beoordeling vervangt.