S-DiverSe: Spanish Diverse Speech

Résumé Technique : S-DiverSe : Spanish Diverse Speech

Énoncé du Problème
Bien que la reconnaissance automatique de la parole (ASR) ait atteint un succès remarquable sur les benchmarks de parole standard, elle continue de peiner face à la parole affectée par des conditions neurologiques telles que la sclérose latérale amyotrophique (SLA), la maladie de Parkinson (MP) et les accidents vasculaires cérébraux (AVC). Ces conditions provoquent souvent une dysarthrie, caractérisée par une réduction de la clarté de l'articulation, une prosodie altérée et une intelligibilité variable. Un obstacle majeur au progrès de l'ASR pour ces populations est la rareté des jeux de données volumineux et de haute qualité, particulièrement pour l'espagnol. Les ressources espagnoles existantes sont limitées en termes de couverture clinique, de diversité de domaine ou de conditions d'enregistrement, reposant souvent sur des contextes cliniques contrôlés ou des démographies biaisées (par exemple, les locuteurs âgés). Ce manque de benchmarks entrave le développement de systèmes ASR robustes pour la parole pathologique et limite les progrès des outils de communication assistée.

Méthodologie
Les auteurs présentent S-DiverSe (Spanish Diverse Speech), un corpus conçu pour combler cette lacune. Le jeu de données se compose de 3,2 heures de parole espagnole « in-the-wild » enregistrée à partir de 22 locuteurs diagnostiqués avec une SLA, une MP ou des conditions post-AVC.

• Collecte de Données : L'audio provient de YouTube, filtré sur la base de diagnostics autodéclarés et de preuves perceptuelles de parole non normative, avec une préférence pour les contextes spontanés comme les entretiens.
• Annotation : Le corpus contient 444 segments audio transcrits manuellement. Trois linguistes natifs espagnols ont effectué la transcription orthographique, étiqueté le sexe et la pathologie du locuteur, et attribué des scores d'intelligibilité sur une échelle ordinale de 1 à 5. Les segments inintelligibles ont été marqués par un symbole spécifique et les pauses de remplissage ont été conservées.
• Composition du Jeu de Données : Le corpus est dominé par les hommes (87,4 %) et par la SLA (78,1 %), reflétant la disponibilité des données « in-the-wild » plutôt qu'un biais de collecte. Il inclut des métadonnées sur le sexe, la pathologie et l'intelligibilité.
• Configuration Expérimentale : S-DiverSe a été utilisé exclusivement pour l'évaluation en raison de sa grande variabilité et de sa taille modeste, ce qui rendrait les divisions d'entraînement peu fiables. L'étude a évalué quatre systèmes ASR : Whisper-large-v3, Voxtral-Mini, omniASR CTC 1B v2 et le système commercial ElevenLabs Scribe v2.
• Stratégies d'Adaptation : Les auteurs ont étudié deux approches d'adaptation utilisant des données provenant d'autres corpus affectés par des troubles neurologiques (TORGO et NeuroVoz) ainsi que l'espagnol de Spanish Common Voice :
  1. Fine-tuning (Ajustement fin) : Incluant le fine-tuning complet (FFT) et l'adaptation de faible rang (LoRA) appliqués à diverses composantes du modèle (encodeur, couches d'attention, etc.).
  2. Post-traitement du Texte (PP) : Une approche heuristique basée sur des règles pour atténuer les hallucinations en analysant la répétition de caractères, en regroupant les mots répétés consécutifs et en réduisant les phrases répétées.

Contributions Clés

1. Corpus S-DiverSe : Le premier jeu de données espagnol « in-the-wild » couvrant plusieurs conditions neurologiques (SLA, MP, AVC) avec des transcriptions humaines et des métadonnées. Les auteurs publient les annotations pour favoriser la recherche ouverte.
2. Benchmarking : Évaluation de quatre systèmes ASR de pointe sur S-DiverSe, fournissant une base de référence pour la reconnaissance de la parole pathologique en espagnol.
3. Analyse d'Adaptation : Une étude comparative du fine-tuning par rapport au post-traitement de texte pour adapter les modèles ASR à la parole neurologique espagnole hors domaine.

Résultats

• Performance de Référence : Parmi les modèles à poids ouverts, omniASR CTC 1B v2 a obtenu le taux d'erreur de mots (WER) le plus bas sur S-DiverSe, tandis que le système commercial Scribe v2 a obtenu la meilleure performance globale. Aucun modèle à poids ouverts unique n'a dominé sur tous les corpus testés (S-DiverSe, TORGO, NeuroVoz), suggérant que l'architecture et les données d'entraînement interagissent différemment avec des pathologies spécifiques.
• Intelligibilité vs WER : Une relation inverse a été observée entre l'intelligibilité et le WER. À de faibles niveaux d'intelligibilité, les modèles à poids ouverts se dégradent considérablement, tandis que Scribe v2 maintient une robustesse relative.
• Constats d'Adaptation :
  • Post-traitement : Le post-traitement de texte heuristique s'est avéré être la stratégie d'adaptation la plus robuste pour S-DiverSe. Il a systématiquement réduit le WER sans nuire à la performance in-domain sur TORGO, indiquant qu'une part substantielle des erreurs est correctable au niveau du texte.
  • Fine-tuning : Le fine-tuning a systématiquement amélioré la performance in-domain (sur TORGO/NeuroVoz) mais a échoué à se généraliser aux données hors-domaine de S-DiverSe. Dans certains cas (par exemple, Whisper-large-v3 avec FFT), le fine-tuning a provoqué un oubli catastrophique, entraînant des WER dépassant 100 % sur S-DiverSe en raison de l'augmentation des insertions et des substitutions.
  • Composition des Données : L'ajout de Spanish Common Voice (parole lue) au mélange d'entraînement n'a pas amélioré la performance sur S-Diverse par rapport à l'utilisation de données purement pathologiques, confirmant que le goulot d'étranglement est le décalage de domaine (conditions acoustiques) plutôt que le déséquilibre linguistique.

Signification et Revendications
L'article affirme que S-DiverSe établit un benchmark nécessaire qui expose les limites des systèmes ASR actuels pour gérer la parole pathologique espagnole hétérogène et « in-the-wild ». Les conclusions soulignent un véritable écart de domaine : la parole lue propre et les corpus cliniques contrôlés ne peuvent remplacer les données pathologiques diversifiées du monde réel.

Crucialement, les auteurs concluent que pour la parole neurologique espagnole hors domaine, le post-traitement de texte heuristique est plus robuste que le fine-tuning. Les méthodes de mise à jour des paramètres échouent à se généraliser au-delà de la distribution d'entraînement, quelle que soit la composition linguistique. Cela souligne un besoin urgent pour la communauté de collecte de données dédiées avec une couverture plus large des accidents vasculaires cérébraux et des locutrices, afin de faire progresser l'ASR robuste pour la parole pathologique espagnole. Le jeu de données est destiné à l'évaluation et au développement, et non à l'inférence clinique.