GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: Insights from 82-Class Arabic Medical Classification

Cette étude démontre que les encodeurs bidirectionnels spécialisés, tels qu'AraBERTv2, surpassent les décodeurs causaux pour la classification précise de textes médicaux arabes en 82 catégories, grâce à une meilleure capture du contexte global malgré les déséquilibres et le bruit des données.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, comme si on en discutait autour d'un café.

🏥 Le Défi : Trier 82 Boîtes de Médicaments

Imaginez que vous êtes le responsable d'une immense pharmacie arabe. Vous avez reçu des milliers de demandes écrites par des patients (des phrases comme "J'ai mal au ventre" ou "Je cherche un traitement pour la peau").

Votre mission ? Ranger chaque demande dans l'une des 82 boîtes différentes (par exemple : "Cardiologie", "Dermatologie", "Grossesse", etc.).

Le problème ?

1. C'est déséquilibré : Certaines boîtes sont pleines à craquer (des centaines de demandes), tandis que d'autres sont presque vides (parfois seulement 7 demandes !).
2. C'est flou : Parfois, les étiquettes sur les boîtes sont mal collées. Une demande sur la peau pourrait être rangée par erreur dans la boîte "Médecine générale" au lieu de "Dermatologie".
3. C'est difficile : Il faut distinguer des nuances très fines entre des boîtes qui se ressemblent beaucoup.

L'équipe de l'auteur (Ahmed Khaled Khamis) a construit un robot intelligent pour faire ce tri. Ils voulaient savoir : Quel type de cerveau est le meilleur pour ce travail ?

---

🧠 Le Duel : Le "Lecteur" vs Le "Raconteur"

Pour résoudre ce problème, ils ont comparé deux types d'intelligences artificielles (IA) très populaires :

1. Le "Lecteur" (Les Encodeurs Bidirectionnels)

• L'analogie : Imaginez un médecin expert qui lit tout votre dossier médical d'un seul coup, de la première à la dernière ligne, en même temps. Il peut voir le lien entre un symptôme mentionné au début et un médicament cité à la fin.
• La technologie : Ils ont utilisé AraBERT, un modèle entraîné spécifiquement sur la langue arabe.
• Pourquoi ça marche : Ce "médecin" est excellent pour comprendre le contexte global et les nuances précises. C'est comme avoir un expert qui a lu des millions de dossiers médicaux arabes et qui sait exactement où ranger chaque cas.

2. Le "Raconteur" (Les Décodeurs Causaux)

• L'analogie : Imaginez un grand conteur très cultivé (comme Llama ou Qwen) qui a lu toute la bibliothèque du monde. Mais il a une habitude : il raconte des histoires mot par mot, de gauche à droite. Il ne peut pas voir la fin de l'histoire quand il commence le début.
• La technologie : Des modèles géants comme Llama 3.3 ou Qwen.
• Le problème : Bien qu'ils soient très intelligents pour inventer des histoires ou répondre à des questions générales, ils sont moins bons pour ce tri précis. Comme ils lisent "mot par mot", ils ont tendance à se concentrer sur ce qui vient juste avant, et ils oublient parfois le contexte global. C'est comme essayer de ranger des dossiers en ne regardant que la dernière phrase écrite par le patient.

---

🛠️ Les Astuces du "Lecteur" (L'Architecture Gagnante)

L'équipe n'a pas juste utilisé le "médecin" AraBERT tel quel. Ils lui ont donné des lunettes spéciales et un système de sécurité :

1. La "Double Vue" (Hybrid Pooling) :
   Au lieu de se fier à une seule impression, le modèle regarde le texte de deux façons :

   • Une vue d'ensemble (la moyenne de tout le texte).
   • Une vue focalisée (l'attention sur les mots clés importants, comme "cœur" ou "fièvre").
   • Analogie : C'est comme regarder une photo de loin pour voir le paysage, puis zoomer pour lire les panneaux de signalisation.

2. Le "Jeu de l'Équipe" (Multi-Sample Dropout) :
   Pour éviter que le modèle ne se trompe à cause des étiquettes floues, ils l'ont entraîné comme un coach sportif qui fait faire 5 exercices différents à ses joueurs en même temps, puis prend la moyenne des résultats. Cela rend le modèle plus robuste et moins susceptible de paniquer face aux cas rares (les boîtes presque vides).

3. L'Adaptation Douce (Label Smoothing) :
   Puisque certaines étiquettes sont peut-être fausses, le modèle n'est pas forcé d'être 100% sûr à chaque fois. On lui dit : "Sois sûr à 90%, mais garde un peu de doute". Cela l'empêche de devenir trop rigide et de faire des erreurs bêtes.

---

📉 Ce qui a échoué : L'approche "Géante"

Ils ont essayé une idée séduisante : utiliser le "Grand Conteur" (Llama 3.3) pour vérifier le travail du "Médecin".

• L'idée : Le Médecin propose 15 boîtes possibles, et le Grand Conteur choisit la meilleure.
• Le résultat : Catastrophe ! Le Grand Conteur a souvent choisi la réponse "logique" (ex: "C'est de la peau") mais pas la réponse "technique" attendue par le concours (ex: "C'est de la cosmétique").
• Pourquoi ? Le Grand Conteur est trop intelligent pour les règles strictes du jeu. Il veut raisonner, alors que le "Médecin" (AraBERT) a appris par cœur les règles spécifiques de ce tri médical.

---

🏆 Le Verdict Final

Les résultats sont clairs :

• Le Gagnant : Le "Médecin" spécialisé (AraBERT) avec ses lunettes et son système d'équipe. Il a obtenu le meilleur score.
• Le Perdant : Les "Géants" (Llama, Qwen). Bien qu'ils soient immenses et puissants, ils sont trop "génériques" pour ce travail de précision chirurgicale.

La leçon à retenir :
Quand il s'agit de trier des documents médicaux très spécifiques et déséquilibrés, un expert spécialisé et bien entraîné vaut mieux qu'un génie généraliste qui essaie de tout deviner. Parfois, pour ranger des dossiers, il vaut mieux avoir un archiviste qui connaît la maison par cœur qu'un bibliothécaire qui a lu tous les livres du monde mais qui ne connaît pas vos règles de classement.

Résumé technique

Voici un résumé technique détaillé du papier de recherche de GATech (Ahmed Khaled Khamis) concernant la tâche de classification de textes médicaux en arabe pour le défi AbjadMed.

1. Problématique

Le défi AbjadMed consiste à classifier des requêtes médicales en arabe dans 82 catégories distinctes. Ce problème présente deux défis majeurs :

• Déséquilibre extrême des classes : La distribution des données d'entraînement (27 951 échantillons) suit une loi de puissance. Certaines classes majeures (ex: maladies hématologiques) comptent jusqu'à 600 échantillons, tandis que des classes minoritaires (ex: biochimie, chirurgie vasculaire) n'en comptent que 7.
• Bruit d'étiquetage (Label Noise) : Une analyse manuelle a révélé des incohérences sémantiques. Des requêtes cliniquement similaires sont parfois étiquetées de manière inconsistante (ex: confusion entre "Médecine générale" et "Médecine interne", ou entre "Santé sexuelle" et "Plantes médicinales"). Cela crée des frontières sémantiques floues ("soft boundaries") difficiles à apprendre.

L'objectif est de déterminer si les décodeurs causaux (LLM génératifs massifs comme Llama ou Qwen), optimisés pour la prédiction du token suivant, peuvent surpasser les encodeurs bidirectionnels spécialisés (comme BERT) pour cette tâche de classification fine et discriminative.

2. Méthodologie

L'approche principale repose sur un encodeur bidirectionnel finement ajusté (Fine-tuning), enrichi par plusieurs stratégies architecturales et d'optimisation :

• Architecture de Base : Utilisation de AraBERTv2 (bert-base-arabertv02), pré-entraîné sur un vaste corpus de texte arabe, ce qui lui permet de mieux capturer les nuances du Médical Arabe Standard Moderne (MSA) que les modèles multilingues.
• Stratégie de Pooling Hybride : Au lieu d'utiliser uniquement le token [CLS], le système concatène deux représentations :
  1. Mean Pooling : Moyenne de tous les embeddings de tokens (résumé thématique global).
  2. Attention Pooling : Un mécanisme d'attention apprenable qui pondère l'importance des tokens clés (symptômes, noms d'organes) par rapport aux mots de liaison.
     Résultat : Un vecteur de caractéristiques de dimension double, capturant à la fois le contexte global et les mots-clés spécifiques.
• Régularisation et Gestion du Bruit :
  • Multi-Sample Dropout : Au lieu d'un seul masque de dropout, cinq chemins parallèles avec des taux variables (0.1 à 0.3) sont créés. Les logits sont moyennés, agissant comme un "ensemble interne" pour stabiliser les frontières de décision, crucial pour les classes minoritaires.
  • Lissage d'étiquettes (Label Smoothing) : Un facteur de 0.1 est appliqué à la fonction de perte pour éviter que le modèle ne devienne trop confiant face aux étiquettes potentiellement erronées, favorisant ainsi une généralisation sur les zones sémantiques ambiguës.
• Optimisation : Utilisation de la décroissance du taux d'apprentissage par couche (Layer-wise Learning Rate Decay) pour préserver les connaissances linguistiques des couches basses, couplée à un optimiseur AdamW et un planificateur de taux d'apprentissage Cosine.

Approches comparatives (Benchmarks) :

• Encodeurs : Comparaison avec d'autres modèles (CamelBERT, mDeBERTa, multilingual-E5-large, EuroBERT).
• Décodeurs Causaux (LLM) :
  • Extraction de caractéristiques : Utilisation des états cachés de Qwen 3B pour une classification.
  • Ré-ranking Zero-shot : Pipeline hybride où AraBERT génère les 15 meilleures candidates, puis Llama 3.3 70B (Instruct) sélectionne la réponse finale via un prompt structuré.

3. Résultats Principaux

Les performances sont évaluées sur le jeu de données de test public en utilisant le Macro-F1 (moyenne non pondérée) pour tenir compte du déséquilibre des classes.

Modèle / Configuration	Macro-F1
AraBERTv2 (Proposé)	0.3934
multilingual-E5-large	0.3804
CamelBert	0.3603
AraBERTv2 + Llama 3.3 70B (Ré-ranking)	0.3035
Qwen 3 3B (Extraction de features)	0.1278

• Supériorité des Encodeurs : AraBERTv2 a obtenu les meilleurs résultats, surpassant les modèles multilingues et les décodeurs causaux.
• Échec des Décodeurs Causaux :
  • L'extraction de features de Qwen 3B a échoué (F1 très faible), car les représentations causales sont biaisées par l'historique de la séquence et ne compressent pas efficacement la sémantique globale d'une requête médicale.
  • L'ajout de Llama 3.3 70B pour le ré-ranking a dégradé les performances (0.3035). Le modèle génératif a souffert d'un "décalage de schéma" (Schema Mismatch) : bien que son raisonnement général soit logique, il ne respecte pas les frontières de classification spécifiques et étroites définies par les annotateurs de la tâche (ex: choisir "Dermatologie" alors que l'étiquette attendue était "Peau et Beauté").

4. Contributions Clés

1. Preuve empirique de la supériorité des encodeurs bidirectionnels : Pour des tâches de classification à haute cardinalité dans un domaine spécialisé (médical), le fine-tuning d'un encodeur bidirectionnel est plus efficace que l'utilisation de LLMs génératifs massifs, même pour des tâches de compréhension sémantique.
2. Architecture robuste au bruit et au déséquilibre : La combinaison de Hybrid Pooling, Multi-Sample Dropout et Label Smoothing démontre une capacité supérieure à gérer les classes minoritaires et les étiquettes bruitées sans nécessiter de données synthétiques complexes.
3. Analyse des limites des embeddings génératifs : Le papier met en lumière que les états cachés des décodeurs causaux (optimisés pour la génération) sont sous-optimaux pour la compression sémantique nécessaire à la discrimination fine entre 82 catégories médicales.

5. Signification et Conclusion

Ce travail démontre que dans le contexte du NLP médical en arabe, la spécialisation (via le fine-tuning sur un corpus de domaine) et la nature discriminative (attention bidirectionnelle) priment sur la généralité et la taille des modèles génératifs.

Les décodeurs causaux, bien que puissants pour le raisonnement et la génération, produisent des embeddings biaisés par la séquence qui échouent à capturer les frontières sémantiques précises requises pour une classification fine. Pour les tâches de classification à haute granularité avec des données déséquilibrées et bruitées, une architecture d'encodeur bidirectionnel soigneusement régularisée (comme celle proposée avec AraBERTv2) reste l'approche la plus performante et la plus fiable.