Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework

Technische Samenvatting: Betrouwbaarheidsgerichte Meertalige Orthopedische Diagnose

Probleemstelling
Meertalige klinische besluitvormingsondersteuning staat voor aanzienlijke uitdagingen in taalkundig diverse, hulpbronnenarme zorgomgevingen, met name daar waar elektronische patiëntendossiers en AI-tools voornamelijk Engels-georiënteerd zijn, terwijl klinische interacties plaatsvinden in regionale talen zoals Hindi en Punjabi. Deze taalkundige mismatch vergroot het risico op misinterpretatie en inconsistente zorgverlening. Orthopedische diagnose fungeert als een hoog-risico testomgeving voor dit probleem vanwege overlappende symptomen, heterogene terminologie en de kritieke behoefte aan betrouwbare, gestructureerde classificatie in plaats van open-ended generatie. Bestaande benaderingen vertrouwen vaak op algemene meertalige encoders of zero-shot Large Language Models (LLM's), wat de auteurs betogen onvoldoende domeinspecialisatie mist, taal-voorwaardelijke instabiliteit vertoont en te kampen heeft met kalibratiekloven in veiligheidskritieke contexten.

Methodologie
De studie stelt een systeemniveau-analyse voor die drie modelleringregimes vergelijkt met zero-shot LLM's voor orthopedische diagnose in het Engels, Hindi en Punjabi.

1. Datasetconstructie: De auteurs hebben een grootschalig meertalig orthopedisch corpus samengesteld uit het Bahawalpur Victoria Hospital en Indiase partners, bestaande uit ongeveer 135.000 klinische notities. De data ondergingen een rigoureuze verfijning, inclusief deduplicatie, ruisfiltering en labeluitlijning door bevoegde orthopedisch chirurgen. Er werden twee evaluatiescenario's vastgesteld:

   • Gereguleerd (Gebalanceerd): 18.000 notities gelijkmatig verdeeld over talen en zes diagnostische categorieën (Wervelkolom, Musculoskeletaal, Bot, Heup, Overig, Onbekend).
   • Natuurlijk (Real-world): ~135.000 notities die de oorspronkelijke class-scheefheid en prevalentie behouden om implementatieomstandigheden te simuleren.

2. Modelleringregimes:

   • Alleen-Taal Fijnafstemming: Evaluatie van algemene meertalige encoders (XLM-RoBERTa, IndicBERT, mDeBERTa) en een lichtgewicht Engels-georiënteerde baseline (DistilBERT) die end-to-end is fijnafgestemd op de orthopedische taak.
   • Domein-Adaptieve Architectuur (IndicBERT-HPA): Een voorgestelde uitbreiding van IndicBERT die taal-specifieke orthopedische adapterkoppen integreert. Deze architectuur gebruikt bottleneck-projecties om algemene taalkundige representaties af te beelden op een klinisch discriminerende orthopedische subspace, terwijl de capaciteit voor taal-overdracht behouden blijft.
   • Zero-Shot LLM's: Evaluatie van instructie-gefineerde LLM's (DeepSeek Open, Mistral-7B Instruct, Zephyr-7B) in een zero-shot setting om hun generatieve vlotheid versus gestructureerde diagnostische betrouwbaarheid te beoordelen zonder fijnafstemming.

3. Evaluatieprotocol: De prestaties werden gemeten aan de hand van precisie, recall, F1-score, nauwkeurigheid, ROC-AUC en AUPRC. Cruciaal incorporateerde de studie de Expected Calibration Error (ECE) om de betrouwbaarheid van het vertrouwen te beoordelen.

4. Conceptueel Validatiekader: Op basis van empirische faalmodi stellen de auteurs een deterministische, agent-gebaseerde validatielaag voor. Dit kader scheidt diagnosegeneratie van besluitautorisatie, waarbij agents voor bewijscontrole, taal-consistentiechecks en conservatieve mens-in-de-lus-gating worden ingezet om predictions met laag vertrouwen of tegenstrijdige voorspellingen uit te stellen.

Belangrijkste Bijdragen

1. Gecureerde Meertalige Dataset: Het creëren van een grootschalige, door artsen gevalideerde orthopedische dataset die Engels, Hindi en Punjabi omvat, en zowel analyse op basis van gebalanceerde als natuurlijke verdeling ondersteunt.
2. IndicBERT-HPA Architectuur: De introductie van een domein-adaptief model dat domeinstructuur expliciet modelleert via taal-specifieke adapters, en aantoont dat architecturale specialisatie schaal kan overtreffen in hulpbronnenarme klinische settings.
3. Betrouwbaarheidsgerichte Evaluatie: Een uitgebreid protocol dat verder gaat dan aggregate nauwkeurigheid om prestaties per klasse, kalibratiegedrag (ECE) en taal-overstijgende instabiliteit te analyseren, en benadrukt dat hoge discriminatie geen garantie biedt voor veilige implementatie.
4. Conceptueel Validatiekader: Een theoretisch ontwerp voor een deterministisch, agent-gebaseerd systeem dat bewijsconsistentie en conservatieve gating afdwingt, en de scheiding van voorspelling en autorisatie positioneert als een kernvereiste voor veiligheidskritieke systemen.

Resultaten

• Zero-Shot LLM's: Ondanks sterke taalkundige vlotheid vertoonden zero-shot LLM's instabiele kalibratie, zwakke labelverankering en aanzienlijke taal-overstijgende variabiliteit. Hun prestaties waren consequent lager dan die van supervised encoders, met name in hulpbronnenarme talen (Punjabi) en voor gestructureerde classificatietaken.
• Alleen-Taal versus Domein-Adaptief: Hoewel modellen die alleen op de taak zijn fijnafgestemd (zoals DistilBERT) sterke aggregate scores behaalden, vertoonden ze broze kalibratie en ongelijke prestaties over talen heen. IndicBERT-HPA behaalde de sterkste algehele discriminatie (Macro-F1 ~0,88–0,89 in real-world settings) en het meest consistente taal-overstijgende gedrag. Het toonde superieure rangschikkingskwaliteit (AUROC/AUPRC) en voorspelbaardere confidence-signalen in vergelijking met baselines.
• Kalibratie en Robuustheid: De studie vond dat modellen met een hoge AUROC toch last konden hebben van overmoedigheid (hoge ECE). IndicBERT-HPA, hoewel het een matige kalibratiefout vertoonde, behield stabiele scheidbaarheid, wat volgens de auteurs kritischer is voor veiligheid dan ruwe nauwkeurigheid, aangezien mis-kalibratie achteraf kan worden gecorrigeerd terwijl slechte discriminatie dat niet kan.
• Real-world Prestaties: Onder natuurlijke class-imbalance presteerden supervised encoders aanzienlijk beter dan zero-shot LLM's. Echter, alle modellen toonden gevoeligheid voor distributieverschuivingen, wat de noodzaak van expliciete validatielagen bevestigt.

Betekenis en Claims
Het paper betoogt dat betrouwbare meertalige klinische besluitvormingsondersteuning niet uitsluitend kan vertrouwen op modelschaal of generatieve vlotheid. In plaats daarvan vereist het een systeemniveau-aanpak die integreert:

1. Domein-Adaptieve Specialisatie: Expliciete architecturale uitlijning met medische taxonomie en taalbeperkingen is effectiever dan algemeen doel pretraining voor gestructureerde taken.
2. Betrouwbaarheidsbewuste Evaluatie: Metrieken moeten kalibratie en stabiliteit per klasse omvatten, niet alleen aggregate nauwkeurigheid, om faalmodi in veiligheidskritieke contexten te identificeren.
3. Bestuur en Validatie: De scheiding van voorspellingsgeneratie van besluitautorisatie via deterministische, regelgebaseerde validatielagen is essentieel voor risicomanagement, het waarborgen van auditbaarheid en het mogelijk maken van mens-in-de-lus-toezicht.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn in generatieve taken, hun zero-shot toepassing op gestructureerde, hoog-risico meertalige diagnose momenteel ontoereikend is. De voorgestelde IndicBERT-HPA architectuur en het conceptuele validatiekader bieden een weg naar veiligere, betrouwbaardere klinische AI-systemen die verantwoordingsplicht en risicobeperking prioriteren boven autonome besluitvorming.