Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework

Technische Zusammenfassung: Zuverlässigkeitsorientierte mehrsprachige orthopädische Diagnostik

Problemstellung
Die mehrsprachige klinische Entscheidungsunterstützung steht in sprachlich diversen, ressourcenarmen Gesundheitsumgebungen vor erheblichen Herausforderungen, insbesondere dort, wo elektronische Patientenakten und KI-Tools überwiegend englischzentriert sind, während klinische Interaktionen in regionalen Sprachen wie Hindi und Punjabi stattfinden. Diese Sprachdiskrepanz erhöht das Risiko von Fehlinterpretationen und inkonsistenter Versorgungsqualität. Die orthopädische Diagnostik dient als hochriskantes Testfeld für dieses Problem aufgrund überlappender Symptome, heterogener Terminologie und der kritischen Notwendigkeit einer zuverlässigen, strukturierten Klassifizierung anstelle einer offenen Generierung. Bestehende Ansätze verlassen sich häufig auf allgemeine mehrsprachige Encoder oder Zero-Shot Large Language Models (LLMs), die laut den Autoren eine unzureichende Domänenspezialisierung aufweisen, eine sprachbedingte Instabilität zeigen und in sicherheitskritischen Kontexten unter Kalibrierungslücken leiden.

Methodik
Die Studie schlägt eine systemische Analyse vor, die drei Modellierungsregime gegenüber Zero-Shot LLMs für die orthopädische Diagnostik in den Sprachen Englisch, Hindi und Punjabi vergleicht.

1. Datensatzkonstruktion: Die Autoren erstellten einen groß angelegten mehrsprachigen orthopädischen Korpus aus dem Bahawalpur Victoria Hospital und in Zusammenarbeit mit indischen Partnern, der etwa 135.000 klinische Notizen umfasst. Die Daten durchliefen eine rigorose Verfeinerung, einschließlich Deduplizierung, Rauschfilterung und Label-Ausrichtung durch lizenzierte Orthopäden. Zwei Evaluierungsszenarien wurden etabliert:

   • Kontrolliert (Ausgewogen): 18.000 Notizen, gleichmäßig über die Sprachen und sechs Diagnosekategorien (Wirbelsäule, Bewegungsapparat, Knochen, Hüfte, Sonstige, Unbekannt) verteilt.
   • Natürlich (Realwelt): Ca. 135.000 Notizen, die die ursprüngliche Klassenverteilung und Prävalenz beibehalten, um Einsatzbedingungen zu simulieren.

2. Modellierungsregime:

   • Aufgaben-spezifisches Fine-Tuning: Evaluation allgemeiner mehrsprachiger Encoder (XLM-RoBERTa, IndicBERT, mDeBERTa) und eines leichtgewichtigen englischzentrierten Baseline-Modells (DistilBERT), die end-to-end für die orthopädische Aufgabe feinabgestimmt wurden.
   • Domänenadaptive Architektur (IndicBERT-HPA): Ein vorgeschlagener Erweiterungsschritt von IndicBERT, der sprachspezifische orthopädische Adapter-Köpfe integriert. Diese Architektur nutzt Engpass-Projektionen, um allgemeine linguistische Repräsentationen in einen klinisch diskriminativen orthopädischen Unterraum abzubilden und dabei die Fähigkeit zum sprachübergreifenden Transfer zu bewahren.
   • Zero-Shot LLMs: Evaluation von instruktionsfeinabgestimmten LLMs (DeepSeek Open, Mistral-7B Instruct, Zephyr-7B) in einem Zero-Shot-Szenario, um ihre generative Flüssigkeit gegenüber der strukturierten diagnostischen Zuverlässigkeit ohne Fine-Tuning zu bewerten.

3. Evaluierungsprotokoll: Die Leistung wurde mittels Precision, Recall, F1-Score, Genauigkeit, ROC-AUC und AUPRC gemessen. Entscheidend ist, dass die Studie den Expected Calibration Error (ECE) einbezog, um die Zuverlässigkeit der Konfidenz zu bewerten.

4. Konzeptueller Validierungsrahmen: Aufbauend auf empirischen Fehlermustern schlagen die Autoren eine deterministische, agentenbasierte Validierungsschicht vor. Dieser Rahmen trennt die Diagnosegenerierung von der Entscheidungsautorisierung und setzt auf Beweisprüfungs-Agenten, Sprachkonsistenzprüfungen sowie konservative menschliche Eingriffe im Regelkreis (Human-in-the-Loop), um Vorhersagen mit niedriger Konfidenz oder widersprüchliche Prognosen zurückzustellen.

Hauptbeiträge

1. Kurierter mehrsprachiger Datensatz: Die Erstellung eines groß angelegten, von Ärzten validierten orthopädischen Datensatzes, der Englisch, Hindi und Punjabi abdeckt und sowohl Analysen mit ausgewogener als auch natürlicher Verteilung unterstützt.
2. IndicBERT-HPA-Architektur: Die Einführung eines domänenadaptiven Modells, das die Domänenstruktur explizit über sprachspezifische Adapter modelliert und zeigt, dass architektonische Spezialisierung in ressourcenarmen klinischen Umgebungen die reine Skalierung übertreffen kann.
3. Zuverlässigkeitsorientierte Evaluation: Ein umfassendes Protokoll, das über die aggregierte Genauigkeit hinausgeht, um die Leistung pro Klasse, das Kalibrierungsverhalten (ECE) und die sprachübergreifende Instabilität zu analysieren. Es hebt hervor, dass eine hohe Diskriminierung keine sichere Einsatzfähigkeit garantiert.
4. Konzeptueller Validierungsrahmen: Ein theoretisches Design für ein deterministisches, agentenbasiertes System, das Beweis-Konsistenz und konservative Gate-Mechanismen durchsetzt und die Trennung von Vorhersage und Autorisierung als Kernanforderung für sicherheitskritische Systeme positioniert.

Ergebnisse

• Zero-Shot LLMs: Trotz starker linguistischer Flüssigkeit zeigten Zero-Shot LLMs eine instabile Kalibrierung, eine schwache Label-Verankerung und eine erhebliche sprachübergreifende Variabilität. Ihre Leistung war durchgängig niedriger als die überwachter Encoder, insbesondere in ressourcenarmen Sprachen (Punjabi) und bei strukturierten Klassifizierungsaufgaben.
• Aufgaben-spezifisches vs. Domänenadaptives Fine-Tuning: Während task-feinabgestimmte Modelle (wie DistilBERT) starke aggregierte Scores erzielten, zeigten sie eine brüchige Kalibrierung und eine ungleiche Leistung über die Sprachen hinweg. IndicBERT-HPA erzielte die stärkste Gesamtdiskriminierung (Macro-F1 ~0,88–0,89 in Realwelt-Szenarien) und das konsistenteste sprachübergreifende Verhalten. Es zeigte eine überlegene Ranking-Qualität (AUROC/AUPRC) und vorhersehbarere Konfidenzsignale im Vergleich zu den Baselines.
• Kalibrierung und Robustheit: Die Studie ergab, dass Modelle mit hoher AUROC dennoch unter Übervertrauen (hoher ECE) leiden können. IndicBERT-HPA zeigte zwar einen moderaten Kalibrierungsfehler, behielt jedoch eine stabile Trennschärfe bei, was den Autoren zufolge für die Sicherheit kritischer ist als die rohe Genauigkeit, da eine Fehlkalibrierung nachträglich korrigiert werden kann, eine schlechte Diskriminierungsfähigkeit jedoch nicht.
• Leistung in der Realwelt: Unter natürlicher Klassenungleichheit schnitten überwachte Encoder Zero-Shot LLMs deutlich ab. Allerdings zeigten alle Modelle eine Sensitivität gegenüber Verteilungsverschiebungen, was die Notwendigkeit expliziter Validierungsschichten unterstreicht.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass eine zuverlässige mehrsprachige klinische Entscheidungsunterstützung nicht allein auf Modellgröße oder generative Flüssigkeit angewiesen sein kann. Stattdessen erfordert sie einen systemischen Ansatz, der Folgendes integriert:

1. Domänenadaptive Spezialisierung: Eine explizite architektonische Ausrichtung auf medizinische Taxonomien und Sprachbeschränkungen ist für strukturierte Aufgaben effektiver als allgemeine Vortrainings.
2. Zuverlässigkeitsbewusste Evaluation: Metriken müssen Kalibrierung und Stabilität pro Klasse umfassen, nicht nur die aggregierte Genauigkeit, um Fehlermodi in sicherheitskritischen Kontexten zu identifizieren.
3. Governance und Validierung: Die Trennung der Vorhersagegenerierung von der Entscheidungsautorisierung durch deterministische, regelbasierte Validierungsschichten ist unerlässlich für das Risikomanagement, die Gewährleistung der Auditierbarkeit und die Ermöglichung einer menschlichen Aufsicht im Regelkreis.

Die Autoren schließen, dass LLMs zwar bei generativen Aufgaben vielversprechend sind, ihre Zero-Shot-Anwendung auf strukturierte, hochriskante mehrsprachige Diagnosen derzeit jedoch unzureichend ist. Die vorgeschlagene IndicBERT-HPA-Architektur und der konzeptionelle Validierungsrahmen bieten einen Weg hin zu sichereren, zuverlässigeren klinischen KI-Systemen, die Rechenschaftspflicht und Risikominderung gegenüber autonomen Entscheidungen priorisieren.