Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework

Résumé Technique : Diagnostic Orthopédique Multilingue Orienté Fiabilité

Énoncé du Problème
L'aide à la décision clinique multilingue fait face à des défis majeurs dans des environnements de soins de santé linguistiquement diversifiés et à ressources limitées, particulièrement là où les dossiers de santé électroniques et les outils d'IA sont principalement centrés sur l'anglais, tandis que les interactions cliniques se déroulent dans des langues régionales comme l'hindi et le pendjabi. Ce décalage linguistique accroît le risque de mauvaise interprétation et de prestation de soins incohérente. Le diagnostic orthopédique sert de terrain d'essai à haut risque pour cette problématique en raison de symptômes chevauchants, d'une terminologie hétérogène et du besoin critique d'une classification fiable et structurée plutôt que d'une génération ouverte. Les approches existantes reposent souvent sur des encodeurs multilingues à usage général ou sur des Modèles de Langage (LLM) en mode zéro-shot, que les auteurs estiment manquer de spécialisation suffisante dans le domaine, présenter une instabilité conditionnelle à la langue et souffrir de lacunes de calibration dans des contextes critiques pour la sécurité.

Méthodologie
L'étude propose une analyse au niveau système comparant trois régimes de modélisation par rapport aux LLM en mode zéro-shot pour le diagnostic orthopédique en anglais, hindi et pendjabi.

1. Construction du Jeu de Données : Les auteurs ont constitué un corpus orthopédique multilingue à grande échelle à partir de l'hôpital Bahawalpur Victoria et de partenaires indiens, comprenant environ 135 000 notes cliniques. Les données ont fait l'objet d'un affinage rigoureux, incluant la déduplication, le filtrage du bruit et l'alignement des étiquettes par des médecins orthopédistes agréés. Deux configurations d'évaluation ont été établies :

   • Contrôlée (Équilibrée) : 18 000 notes réparties uniformément entre les langues et six catégories diagnostiques (Colonne vertébrale, Musculo-squelettique, Os, Hanche, Autre, Inconnu).
   • Naturelle (Monde Réel) : ~135 000 notes conservant le déséquilibre de classe et la prévalence d'origine pour simuler les conditions de déploiement.

2. Régimes de Modélisation :

   • Affinage « Tâche-Seulement » : Évaluation d'encodeurs multilingues à usage général (XLM-RoBERTa, IndicBERT, mDeBERTa) et d'une base légère centrée sur l'anglais (DistilBERT) affinés de bout en bout sur la tâche orthopédique.
   • Architecture Adaptative au Domaine (IndicBERT-HPA) : Une extension proposée d'IndicBERT intégrant des têtes d'adaptateur orthopédique spécifiques à la langue. Cette architecture utilise des projections de goulot d'étranglement pour mapper les représentations linguistiques générales dans un sous-espace orthopédique cliniquement discriminant tout en préservant la capacité de transfert interlingue.
   • LLM en Mode Zéro-Shot : Évaluation de LLM entraînés par instruction (DeepSeek Open, Mistral-7B Instruct, Zephyr-7B) dans une configuration zéro-shot pour évaluer leur fluidité générative par rapport à la fiabilité diagnostique structurée sans affinage.

3. Protocole d'Évaluation : La performance a été mesurée à l'aide de la précision, du rappel, du score F1, de l'exactitude, du ROC-AUC et du AUPRC. Crucialement, l'étude a intégré l'Erreur de Calibration Attendue (ECE) pour évaluer la fiabilité de la confiance.

4. Cadre de Validation Conceptuelle : S'appuyant sur des modes d'échec empiriques, les auteurs proposent une couche de validation déterministe et basée sur des agents. Ce cadre sépare la génération du diagnostic de l'autorisation de décision, en employant des agents de vérification des preuves, des contrôles de cohérence linguistique et un verrouillage conservateur avec intervention humaine pour différer les prédictions à faible confiance ou contradictoires.

Contributions Clés

1. Jeu de Données Multilingue Curé : La création d'un jeu de données orthopédique à grande échelle validé par des médecins, couvrant l'anglais, l'hindi et le pendjabi, supportant à la fois l'analyse de distribution équilibrée et naturelle.
2. Architecture IndicBERT-HPA : L'introduction d'un modèle adaptatif au domaine qui modélise explicitement la structure du domaine via des adaptateurs spécifiques à la langue, démontrant que la spécialisation architecturale peut surpasser l'échelle dans des contextes cliniques à ressources limitées.
3. Évaluation Orientée Fiabilité : Un protocole complet qui va au-delà de l'exactitude agrégée pour analyser la performance par classe, le comportement de calibration (ECE) et l'instabilité interlingue, soulignant qu'une forte discrimination ne garantit pas un déploiement sûr.
4. Cadre de Validation Conceptuelle : Une conception théorique pour un système déterministe basé sur des agents qui impose la cohérence des preuves et un verrouillage conservateur, positionnant la séparation entre la génération de prédictions et l'autorisation de décision comme une exigence fondamentale pour les systèmes critiques pour la sécurité.

Résultats

• LLM en Mode Zéro-Shot : Malgré une forte fluidité linguistique, les LLM en mode zéro-shot ont présenté une calibration instable, un ancrage faible des étiquettes et une variabilité interlingue significative. Leurs performances ont été constamment inférieures à celles des encodeurs supervisés, en particulier dans les langues à ressources limitées (pendjabi) et pour les tâches de classification structurée.
• Affinage « Tâche-Seulement » vs Adaptatif au Domaine : Bien que les modèles affinés pour la tâche (comme DistilBERT) aient obtenu de fortes scores agrégés, ils ont montré une calibration fragile et des performances inégales entre les langues. IndicBERT-HPA a atteint la meilleure discrimination globale (Macro-F1 ~0,88–0,89 dans des configurations monde réel) et le comportement interlingue le plus cohérent. Il a démontré une qualité de classement supérieure (AUROC/AUPRC) et des signaux de confiance plus prévisibles par rapport aux bases de référence.
• Calibration et Robustesse : L'étude a révélé que des modèles avec un AUROC élevé pouvaient toujours souffrir d'une surconfiance (ECE élevé). IndicBERT-HPA, bien que montrant une erreur de calibration modérée, a maintenu une séparabilité stable, ce que les auteurs jugent plus critique pour la sécurité que l'exactitude brute, car une mauvaise calibration peut être corrigée a posteriori tandis qu'une mauvaise discrimination ne peut pas l'être.
• Performance Monde Réel : Sous un déséquilibre de classe naturel, les encodeurs supervisés ont nettement surpassé les LLM en mode zéro-shot. Cependant, tous les modèles ont montré une sensibilité aux décalages de distribution, renforçant la nécessité de couches de validation explicites.

Signification et Revendications
L'article soutient qu'une aide à la décision clinique multilingue fiable ne peut reposer uniquement sur l'échelle du modèle ou la fluidité générative. Au contraire, elle nécessite une approche au niveau système intégrant :

1. Spécialisation Adaptative au Domaine : L'alignement architectural explicite avec la taxonomie médicale et les contraintes linguistiques est plus efficace que le pré-entraînement à usage général pour les tâches structurées.
2. Évaluation Consciente de la Fiabilité : Les métriques doivent inclure la calibration et la stabilité par classe, et non seulement l'exactitude agrégée, pour identifier les modes d'échec dans des contextes critiques pour la sécurité.
3. Gouvernance et Validation : La séparation de la génération de prédictions de l'autorisation de décision via des couches de validation déterministes et basées sur des règles est essentielle pour gérer les risques, assurer l'auditabilité et permettre une supervision avec intervention humaine.

Les auteurs concluent que, bien que les LLM montrent des promesses dans les tâches génératives, leur application en mode zéro-shot au diagnostic multilingue structuré et à haut risque est actuellement insuffisante. L'architecture IndicBERT-HPA proposée et le cadre de validation conceptuel offrent une voie vers des systèmes d'IA clinique plus sûrs et plus fiables, qui privilégient la responsabilité et l'atténuation des risques par rapport à la prise de décision autonome.