Résumé Technique : Combler le fossé des connaissances médicales Anglais-Arabe via une Adaptation de Bas Rang Ciblée

1. Énoncé du Problème

Les grands modèles de langage (LLM) démontrent de solides performances dans les tâches médicales en anglais mais souffrent d'une dégradation substantielle lorsqu'ils sont appliqués à l'arabe. Bien que ce fossé soit largement attribué à la limitation des données d'entraînement, les auteurs soutiennent que le mécanisme sous-jacent reste mal compris. Les approches existantes traitent largement cela comme un problème de données, s'appuyant sur la traduction de données médicales anglaises ou sur l'ajustement fin (fine-tuning) sur des corpus arabes natifs. Cependant, ces méthodes héritent souvent de biais anglocentrés, ne parviennent pas à traiter l'ancrage natif et peuvent même dégrader les performances sur certains benchmarks. De plus, les travaux antérieurs traitent le modèle comme une boîte noire, échouant à investiguer où dans le réseau l'échec se produit ou pourquoi les requêtes en arabe ne parviennent pas à susciter les connaissances que le modèle possède pourtant de manière démontrable.

Les auteurs identorisent que l'échec n'est pas un déficit de connaissance, mais une rupture de routage des connaissances (knowledge-routing breakdown). Plus précisément, le modèle possède la connaissance médicale correcte pour les requêtes en arabe (comme en témoigne sa capacité à répondre correctement à des requêtes anglaises identiques) mais échoue à faire émerger cette connaissance dans la couche de sortie lors du traitement d'une entrée en arabe.

2. Méthodologie : Diagnostic Mécaniste et Adaptation Ciblée

La solution proposée, l'Adaptation de Bas Rang Ciblée (TLoRA), est fondée sur un diagnostic mécaniste des représentations internes du modèle. La méthodologie procède en deux phases : le diagnostic et l'adaptation.

2.1 Diagnostic Mécaniste

En utilisant le modèle Mistral-Small-3.2-24B sur le jeu de données MedAraBench, les auteurs emploient trois sondes complémentaires pour localiser l'échec :

1. Sonde de Lentille Accordée (Tuned Lens Probing) : Le suivi de la probabilité de la réponse correcte couche par couche révèle que les représentations arabes accumulent les connaissances correctes à travers les couches intermédiaires, atteignant une confiance de niveau anglais au milieu du réseau, pour ensuite s'effondrer avant la sortie. Cela exclut un déficit général de décodage.
2. Patching d'Activation Causal (Causal Activation Patching) : Le remplacement des états cachés arabes par leurs équivalents anglais couche par couche montre que l'injection d'états anglais à une couche spécifique ($L_{patch} = 24$) récupère plus de 80 % de l'écart de performance, avec une récupération maximale atteignant 171 %. Cela confirme que l'échec est causal et précisément localisé.
3. Profilage de la Divergence KL Cross-Linguale : Ceci identifie le point où les trajectoires anglaise et arabe divergent de manière irréconciliable. La divergence augmente brusquement à la couche $L_{KL} = 34$.

Ces sondes définissent une fenêtre de couche critique ($L_{1}$ à $L_{KL}$, spécifiquement les couches 1 à 34) où les représentations translinguistiques divergent et où l'échec de routage des connaissances se manifeste.

2.2 Adaptation Ciblée (TLoRA)

Plutôt que d'ajuster l'ensemble du réseau, TLoRA restreint l'Adaptation de Bas Rang (LoRA) à la fenêtre de couche identifiée ($L_{1}$ à $L_{KL}$). L'objectif d'entraînement combine :

• Perte d'Entropie Croisée ($L_{CE}$) : Entraînée sur des questions à choix multiples (QCM) médicales en arabe.
• Perte d'Alignement Translinguistique ($L_{align}$) : Un terme de divergence KL qui aligne les distributions de la lentille de logit (logit-lens) anglaises et arabes au niveau de la couche de sonde ($L_{KL}$). Cela force les états cachés arabes à s'aligner avec les états "enseignants" anglais au point de divergence.

Le poids d'alignement $\beta^*$ est calibré à l'initialisation sur la base du ratio entre les pertes initiales d'entropie croisée et d'alignement, garantissant une optimisation équilibrée sans nécessiter de réglage manuel des hyperparamètres pour le poids de la perte.

3. Contributions Clés

1. Analyse Mécaniste de l'Échec Médical en Arabe : Le papier fournit la première analyse mécaniste identifiant que l'échec médical en arabe dans les LLM est un échec de routage des connaissances localisé dans une fenêtre de couche spécifique, plutôt qu'un manque de connaissances.
2. TLoRA (Targeted Low-Rank Adaptation) : Une stratégie d'adaptation novatrice qui restreint la LoRA à la fenêtre de couche causalement identifiée et emploie un objectif d'alignement translinguistique dérivé de preuves mécanistes.
3. Benchmark AraClinicDialog : L'introduction d'un nouveau benchmark de dialogue médical en arabe construit par des cliniciens en arabe standard moderne (MSA), avec des variantes validées dans quatre dialectes arabes (émirati, jordanien, marocain et égyptien). Ce jeu de données répond au manque de données de dialogue clinique de haute qualité en arabe natif.

4. Résultats Expérimentaux

Les auteurs ont évalué TLoRA sur trois tâches : Réponse à des Questions à Choix Multiples (MCQA), Génération de Réponses Courtes, et Dialogue Clinique Multi-Tours.

• Performance MCQA : TLoRA a atteint la précision moyenne macro la plus élevée (62,1 %) parmi les méthodes d'adaptation sur le test in-domain de MedAraBench, surpassant la LoRA sur l'ensemble du réseau (61,9 %) et les baselines zero-shot (52,6 %). Crucialement, TLoRA a montré une meilleure généralisation sur les benchmarks hors domaine (MedArabiQ, ArabicMMLU, AraSTEM), surpassant la LoRA complète par des marges significatives. Spécifiquement, TLoRA a surpassé la variante LoRA sans le terme d'alignement KL (LoRA sans KL) de 20,6 points, tandis que l'écart avec la LoRA sur l'ensemble du réseau n'était que de 0,2 point.
• Généralisation à la Génération et au Dialogue : Contrairement à l'ajustement fin sur l'ensemble du réseau, qui entraîne souvent une dégradation des capacités de génération (oubli catastrophique), TLoRA préserve les capacités générales. Sur la tâche de Génération de Réponses Courtes, TLoRA est resté statistiquement indiscernable de la baseline zero-shot, alors que la LoRA complète a subi une baisse de performance. Dans le Dialogue Clinique Multi-Tours, TLoRA s'est montré compétitif, démontrant que l'adaptation ciblée n'induit pas l'oubli de génération observé dans l'ajustement fin plus large.
• Études d'Ablation : Les expériences ont confirmé que les gains de performance sont principalement pilotés par la sélection de la couche (restreindre l'adaptation à la fenêtre $L_{1}$–$L_{34}$) plutôt que par la formulation spécifique de la perte ou le taux d'apprentissage. Il a été constaté que le terme d'alignement KL contribue spécifiquement à la préservation de la qualité de la génération plutôt qu'à la précision de la classification.
• Généralisabilité : L'approche a été validée sur une seconde famille de modèles (Llama-3.1-8B-Instruct), où un pipeline de diagnostic similaire a identifié une fenêtre optimale différente qui a également surpassé la LoRA sur l'ensemble du réseau, suggérant que la méthode n'est pas spécifique à l'architecture Mistral.

5. Signification et Revendications

Le papier affirme qu'un diagnostic mécaniste peut servir de guide pratique pour une adaptation ciblée dans les LLM médicaux de langues sous-représentées. En identifiant où le modèle échoue, les auteurs démontrent que l'adaptation peut être hautement efficace et efficiente sans nécessiter de réentraînement de l'ensemble du réseau ou de quantités massives de données natives.

Les auteurs concluent que TLoRA offre une voie praticable pour combler le fossé du NLP médical en arabe. Ils soulignent que leur approche traite la cause profonde représentationnelle (échec de routage) plutôt que le simple symptôme lié aux données. Ce travail suggère qu'à mesure que des données cliniques arabes de plus haute qualité deviendront disponibles, les gains d'une telle adaptation ciblée et mécanistiquement informée sont susceptibles de se cumuler.

L'étude est modeste dans son étendue, reconnaissant que l'analyse mécaniste et la méthode TLoRA sont actuellement validées principalement sur la famille Mistral-Small-3.2-24B, et que le nouveau benchmark de dialogue, bien que couvrant quatre dialectes majeurs, ne comprend pas encore toutes les variétés régionales de l'arabe. Les auteurs positionnent leur travail comme une étape vers des systèmes de NLP médical multilingues plus équitables, précisant explicitement que la méthodologie ne remplace pas un avis clinique.