TalkTag: Fine-Grained Morphosyntactic Error Annotation for Transcribed Speech

Résumé technique de « TalkTag : Annotation fine des erreurs morphosyntaxiques pour la parole transcrite »

Énoncé du problème
L'annotation fine des erreurs morphosyntaxiques est une composante critique de la linguistique clinique et de la psycholinguistique du développement, fournissant des preuves sur le développement, les troubles et la variation du langage dans des populations telles que les enfants présentant des troubles du langage développemental, le syndrome de Down et les troubles du spectre autistique. Cependant, cette tâche est actuellement laborieuse, dépendante d'une expertise spécialisée et difficile à mettre à l'échelle. Contra\à l'étiquetage morphosyntaxique standard, l'annotation d'erreurs nécessite d'identifier des divergences structurées entre les productions erronées et les cibles visées, ce qui nécessite souvent la reconstruction de la morphologie absente de la chaîne de surface. Bien que les grands modèles de langage (LLM) offrent un potentiel pour l'évaluation holistique des énoncés, le domaine manque d'outils automatisés capables de générer des annotations d'erreurs en ligne de style CHAT, particulièrement dans les contextes à faibles ressources où les données cliniques annotées sont rares et l'accès restreint.

Méthodologie
Les auteurs présentent TalkTag, un outil léger basé sur les LLM, conçu pour automatiser l'annotation des erreurs de style CHAT dans les transcriptions de langage parlé. Le système est construit dans des conditions d'extrême rareté de données, en utilisant les données narratives d'enfants du corpus ENNI (Edmonton Narrative Norms Instrument).

• Architecture du modèle : Le système utilise un modèle Meta-Llama-3.1-8B-Instruct ajusté par instruction, chargé sous forme quantifiée en 4 bits pour plus d'efficacité. Il est affiné via LoRA (Low-Rank Adaptation) avec un rang de 32 et $\alpha=64$, en maintenant les poids de base gelés.
• Stratégie d'entraînement : Pour pallier la rareté des données réelles annotées (4 585 énoncés, dont la plupart sont exempts d'erreurs), les auteurs ont employé une augmentation de données synthétiques. Des exemples synthétiques curatés couvrant les configurations de directives CHAT ont été générés et examinés manuellement pour assurer un support minimal d'environ 100 instances par étiquette. Les données d'entraînement incluaient également des énoncés propres pour apprendre au modèle quand ne pas modifier le texte.
• Annotation comme génération structurée : Plutôt que de traiter les balises d'erreur CHAT comme un inventaire plat de chaînes opaques, les auteurs traitent le schéma d'annotation comme un langage symbolique structuré. Le tokenizer a été étendu avec des composants réutilisables (marqueurs entre crochets, indicateurs de domaine, fragments de sous-types) pour encourager le modèle à composer des balises autorisées à partir de parties significatives plutôt que de les extraire d'un ensemble fermé.
• Conception de l'évaluation : Le système a été évalué via une approche à trois niveaux :
  1. Score automatique : Correspondance exacte (exact match), précision micro, rappel et F1 sur les données de test réservées.
  2. Adjudication post-hoc en aveugle : Des réviseurs humains ont évalué les cas de désaccord sans connaître la source (modèle vs référence de référence) afin de distinguer les véritables échecs du modèle de l'ambiguïté de l'annotation de référence.
  3. Révision humaine sur des données non vues : Un audit manuel de la production du modèle sur une grande partie du corpus ENNI non utilisé pour l'entraînement ou la validation.

Principales contributions

1. Outil TalkTag : Un outil Python évolable pour l'annotation d'erreurs morphosyntaxiques fines respectant les directives CHAT, ciblant spécifiquement l'encodage des erreurs au niveau du mot (ex. : [* m:0ed] pour l'absence de passé, [* s:r:gc:pro] pour les erreurs de catégorie de pronom).
2. Faisabilité en contexte de faibles ressources : Une démonstration que l'analyse linguistique fine est réalisable dans des contextes à faibles ressources en combinant l'augmentation de données synthétiques avec l'ajustement efficace des paramètres d'un LLM léger.
3. Cadre de génération structurée : Une formulation novatrice de l'encodage d'erreurs CHAT comme une tâche de génération structurée contrainte, où le modèle apprend à composer des balises à partir de blocs de construction linguistiques plutôt que de mémoriser des étiquettes fixes.

Résultats

• Performance automatique : Sur le premier split de test, TalkTag a atteint 93,6 % de correspondance exacte et 80,4 % de micro-F1. Lorsqu'il est restreint au sous-ensemble d'énoncés contenant au moins une étiquette d'erreur (87 énoncés), le micro-F1 est de 82,7 % (Précision : 91,4 %, Rappel : 75,5 %).
• Adjudication post-hoc : Après l'examen humain en aveugle des cas de désaccord, le taux de production acceptable pour les énoncés porteurs d'erreurs est passé à 82,8 %, indiquant que de nombreuses erreurs apparentes étaient dues à l'ambiguïté linguistique ou à l'indétermination de la référence plutôt qu'à un échec du modèle.
• Évaluation humaine sur des données non vues : Sur 3 145 énoncés examinés provenant de données ENNI non vues, 93,4 % des productions au niveau de l'énoncé ont été jugées acceptables. Au niveau de l'étiquette, 83,7 % des cas portant des étiquettes examinés étaient corrects. Les prédictions les plus fréquentes et précises concernaient les erreurs d'accord, les formes de passé surrégularisées et les substitutions de pronoms.
• Profils d'erreurs : Le modèle a démontré une haute précision mais un rappel plus faible, particulièrement pour les erreurs nécessitant un contexte de discours plus large. Un mode d'échec notable concernait les formes verbales non déclinées suivant des sujets à la troisième personne du singulier, où le modèle préférait souvent des analyses basées sur l'accord plutôt que des interprétations d'absence de passé, notamment avec des verbes à changement nul (ex. : hurt, put).

Signification et affirmations
L'article affirme que TalkTag fournit un système de support pratiquement viable pour l'annotation des erreurs morphosyntaxiques, offrant une alternative évolable à l'annotation entièrement manuelle. Les auteurs positionnent explicitement l'outil non pas comme un remplacement du jugement expert, mais comme une aide à la pré-annotation qui fait émerger des candidats d'erreurs plausibles pour révision humaine. Cette approche vise à réduire l'intensité de la main-d'œuvre et le coût de l'annotation tout en maintenant une haute qualité.

La portée de ce travail réside dans sa capacité à gérer les complexités spécifiques des données linguistiques cliniques et développementales — telles que les disfluences, les énoncés incomplets et la nécessité de la reconstruction de la cible — au sein d'un cadre à faibles ressources. Les résultats suggèrent que, bien que le système ne couvre pas encore toute la gamme des phénomènes d'erreur CHAT, il traite avec succès les types d'erreurs les plus cliniquement pertinents et fréquents (accord, temps, pronoms), soutenant ainsi la recherche sur les troubles du développement du langage et l'acquisition typique du langage. Les auteurs soulignent que l'actuel prototype est une première étape vers l'annotation fine, et que des travaux futurs seront nécessaires pour étendre la couverture à d'autres corpus et populations cliniques.