StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

Résumé Technique : StrokeID-NER

Énoncé du Problème
L'accident vasculaire cérébral (AVC) est la principale cause de décès et de handicap en Indonésie, pourtant les outils de traitement du langage naturel (NLP) cliniques pour le triage des AVC sont entravés par l'absence de ressources annotées spécifiques au domaine pour les textes générés par les patients. Bien que les plateformes de santé numérique comme Alodokter.com hébergent de vastes archives de requêtes de santé informelles en indonésien, ces textes présentent des défis de NLP uniques : une variation orthographique extrême, l'usage de dialectes régionaux (ex. : javanais), des métaphores profanes, le mélange de codes (code-mixing) et des références temporelles culturellement spécifiques (ex. : événements du calendrier islamique). Les jeux de données NER médicaux indonésiens existants se concentrent soit sur les dossiers cliniques formels, soit sur les actualités de santé, ou encore sur des dialogues mixtes patients-médecins, échouant ainsi à traiter les complexités linguistiques et cliniques spécifiques des requêtes de patients uniquement sur l'AVC, qui sont informelles.

Méthodologie
L'étude introduit StrokeID-NER, un jeu de données de reconnaissance d'entités nommées (NER) spécialisé et un cadre de référence construit à travers quatre phases :

1. Construction des Données : Le jeu de données comprend 1 742 requêtes de patients filtrées à partir du jeu de données « Indonesia-medical-qna » (provenant d'Alodokter.com), se concentrant exclusivement sur les sujets de l'AVC et de l'AVC hémorragique. Les réponses des médecins ont été exclues pour simuler des conditions de triage réelles reposant uniquement sur les entrées du patient.
2. Schéma d'Annotation : Les requêtes ont été annotées selon le schéma BIO (Begin-Inside-Outside) avec neuf étiquettes réparties en quatre types d'entités cliniquement fondées :
   • Symptôme (SYM) : Manifestations physiques/neurologiques (ex. : lemas, drodog).
   • Diagnostic (DGN) : Sous-types d'AVC et conditions (ex. : stroke ringan, pendarahan otak).
   • Temporel (TMP) : Début, durée et chronologie (ex. : tiba-tiba, saat hari ke-20 puasa).
   • Facteur de Risque (RF) : Conditions préexistantes et démographie (ex. : hipertensi, usia 65 tahun).
   • L'accord inter-annotateurs a été évalué sur un échantillon stratifié, produisant un Kappa de Cohen de $\kappa = 0,857$.
3. Statistiques du Jeu de Données : Le corpus contient 6 765 segments d'entités. Une caractéristique déterminante est le taux élevé de hapax (expressions uniques n'apparaissant qu'une seule fois), allant de 72,0 % pour le Diagnostic à 86,9 % pour les Facteurs de Risque, reflétant la nature informelle et diversifiée du texte.
4. Évaluation de Référence (Benchmarking) : Cinq systèmes NER ont été évalués sur un échantillon stratifié d'entraînement/validation/test (1 211/256/275 requêtes) :
   • M1 : IndoBERT-base + tête linéaire.
   • M2 : IndoBERT-base + couche CRF.
   • M3 : XLM-RoBERTa-large (multilingue) + tête linéaire.
   • M4 : IndoBERT-large + tête linéaire.
   • Baseline : GPT-5.4 évalué dans un contexte zero-shot.
   • Métrique d'évaluation : Score F1 macro-moyenné par segment en utilisant seqeval.

Résultats Clés

• Performance des Modèles : Le modèle fine-tuné XLM-RoBERTa-large (M3) a obtenu la meilleure performance avec un F1 macro de 0,7823. Il a surpassé l'IndoBERT-large monolingue (M4, F1=0,7614) et la baseline zero-shot GPT-5.4 (F1=0,6682) de 2,1 et 11,4 points, respectivement.
• Aperçus par Entité :
  • Le Diagnostic (DGN) était l'entité la plus facile à reconnaître (F1 0,86–0,89) en raison de la haute fréquence du terme « stroke » et de ses variantes.
  • Les Symptômes (SYM) et les Facteurs de Risque (RF) étaient les plus difficiles, ce qui corrèle avec leurs taux de hapax élevés.
  • Le LLM zero-shot a performé de manière comparable sur le DGN mais a accusé un retard significatif sur le SYM et le RF, échouant à capturer les expressions informelles et la terminologie régionale.
• Analyse d'Erreur :
  • Contrainte de Hapax : Une forte corrélation négative existe entre le taux de hapax et le score F1. 68,3 % des segments faux négatifs ont été manqués par tous les quatre modèles fine-tunés, indiquant un plafond de performance dicté par la couverture lexicale plutôt que par l'architecture du modèle.
  • Fine-tuning vs Zero-shot : Le modèle fine-tuné a correctement identifié 204 segments que le modèle zero-shot avait manqués, contre seulement 57 dans le sens inverse (ratio de 3,6:1). Cet avantage était plus prononcé pour le SYM (4,6:1) et le RF (7,0:1).
  • Entraînement Binaire vs Conjoint : L'entraînement de classifieurs binaires pour des entités spécifiques a amélioré la performance pour le DGN et le TMP, mais a dégradé la performance pour le RF de 0,08 point F1, suggérant que le contexte inter-entités est crucial pour identifier les facteurs de risque.

Signification et Revendications
L'article revendique quatre contributions primaires :

1. Premier Corpus Public : Il publie le premier corpus disponible publiquement, cliniquement fondé pour le NER de l'AVC en indonésien, ciblant spécifiquement les textes informels générés par les patients.
2. Aperçus de Benchmarking : Il démontre que pour le NER clinique informel dans les langues à faibles ressources, le pré-entraînement multilingue (XLM-RoBERTa) offre des gains de performance supérieurs à l'augmentation de l'échelle d'un modèle monolingue (IndoBERT-large), particulièrement pour les entités présentant une grande diversité lexicale.
3. Analyse Linguistique : Il documente les phénomènes linguistiques uniques des requêtes indonésiennes sur l'AVC, incluant la variation orthographique, les expressions familières javanaises et les expressions temporelles culturellement spécifiques, que les ressources de NLP standards ne parviennent pas à capturer.
4. Nécessité du Fine-tuning : Il valide empiriquement que le fine-tuning spécifique au domaine surpasse substantiellement le prompting zero-shot des grands modèles de langage pour cette tâche, surtout lorsqu'il s'agit de langage informel et de contexte clinique.

Les auteurs concluent que les améliorations futures de la performance sont limitées par la couverture lexicale plutôt que par l'architecture du modèle. Ils postulent que l'expansion du vocabulaire d'entraînement via une annotation supplémentaire ou l'augmentation des données est la voie la plus efficace, plutôt que des modifications architecturales. Le jeu de données, les directives et les modèles sont rendus publics pour soutenir la recherche ultérieure en NLP clinique indonésien.