Scaling Conversational Hungarian ASR: The BEA-Dialogue+ Corpus

Résumé technique : Mise à l'échelle de la reconnaissance automatique de la parole (ASR) conversationnelle en hongrois avec le corpus BEA-Dialogue+

Énoncé du problème
La reconnaissance automatique de la parole (ASR) conversationnelle pour le hongrois est actuellement limitée par la rareté des données d'entraînement de type dialogue disponibles publiquement. Bien que le corpus existant BEA-Dialogue réponde au besoin de données conversationnelles, son critère de conception strict — exigeant une disjointivité totale des locuteurs entre les ensembles de division (splits) d'entraînement, de validation et d'évaluation — a considérablement limité la taille utilisable du jeu de données à seulement 85 heures. Cette réduction est particulièrement préjudiciable pour les systèmes ASR modernes basés sur des réseaux de neurones, qui dépendent fortement tant du volume que de la diversité des données d'entraînement pour atteindre des performances élevées. Les auteurs postulent qu'il existe un compromis entre le maintien d'une séparation stricte des données pour éviter les fuites (leakage) et l'expansion du jeu de données pour améliorer l'entraînement des modèles, un équilibre qui n'avait pas été systématiquement exploré pour l'ASR de dialogue en hongrois.

Méthodologie
Pour remédier à cette limitation, les auteurs ont introduit BEA-Dialogue+, une version étendue du corpus dérivée des enregistrements de la base de données BEA originale. Le changement méthodologique central consiste à assouplir la contrainte de disjointivité des locuteurs :

• Critères de division (Split Criteria) : Alors que le BEA-Dialogue original garantissait qu'aucun locuteur n'apparaissait dans plusieurs divisions, BEA-Dialogue+ maintient une séparation stricte uniquement pour les locuteurs primaires (les informateurs principaux). Il permet aux expérimentateurs et aux partenaires de dialogue d'apparaître dans différentes divisions (entraînement, développement, évaluation), à condition que le locuteur primaire d'un enregistrement ne se chevauche pas.
• Traitement des données : Le corpus est constitué de conversations naturelles segmentées en unités d'environ 30 secondes. Les auteurs ont utilisé l'entraînement par sortie sérialisée (Serialized Output Training - SOT) pour l'entraînement du modèle, où les changements de locuteurs sont explicitement marqués par un jeton <sc>. Cela permet au modèle de reconnaître les frontières entre les locuteurs tout en préservant l'intégrité linguistique des énoncés, même lors de chevauchements.
• Configuration expérimentale : L'étude a comparé plusieurs modèles, notamment les architectures Whisper (medium, large-v2, large-v3) et FastConformer. Les modèles ont été évalués selon deux configurations : zero-shot (pré-entraînés uniquement) et fine-tunés (ft) sur les données hongroises. Les métriques d'évaluation incluaient le taux d'erreur de mots (WER), le taux d'erreur de caractères (CER) et leurs variantes spécifiques au dialogue (cpWER et cpCER), qui minimisent les erreurs sur les permutations d'unités délimitées par les locuteurs. La précision du changement de locuteur (scAcc) a également été mesurée pour les modèles fine-tunés.

Contributions clés

1. Corpus BEA-Dialogue+ : La publication d'un corpus de parole conversationnelle hongroise de 200 heures (une augmentation d'environ 2,5x par rapport aux 85 heures originales). Ce jeu de données préserve la séparation des locuteurs primaires tout en augmentant considérablement le volume de matériel d'entraînement utilisable.
2. Analyse quantitative de l'assouplissement des divisions : Une comparaison détaillée entre BEA-Dialogue et BEA-Dialogue+, démontrant que l'assouplissement des contraintes de division augmente la complexité de la tâche. Le nouveau corpus contient moins de segments avec zéro ou un seul changement de locuteur et une fréquence plus élevée de paroles chevauchantes, ce qui en fait un benchmark plus difficile.
3. Benchmarking unifié : Une évaluation complète des modèles Whisper et FastConformer sur les deux versions du corpus sous un protocole unifié, analysant spécifiquement l'impact du fine-tuning basé sur SOT pour la transcription de dialogues.
4. Étude du compromis : Une analyse du compromis entre l'augmentation du volume de données et le risque de chevauchement des locuteurs (fuite de données), fournissant des preuves empiriques sur la manière dont ces facteurs influencent la performance des modèles.

Résultats

• Performance Zero-Shot : Les modèles sans fine-tuning ont obtenu des performances nettement moins bonnes sur BEA-Dialogue+ par rapport au BEA-Dialogue original, montrant une dégradation relative d'au moins 10 % des taux d'erreur. Les auteurs attribuent cela à la complexité accrue du nouveau corpus, spécifiquement la fréquence plus élevée de changements de locuteurs et de paroles chevauchantes, ce qui met au défi les modèles dépourvus d'informations de frontière explicites.
• Performance Fine-Tunée : Le fine-tuning a produit des améliorations constantes sur toutes les métriques (WER, CER, cpWER, cpCER). Notamment, les modèles FastConformer pré-entraînés sur des données hongroises puis fine-tunés ont obtenu les meilleurs résultats, surpassant même les modèles Whisper.
• Impact du chevauchement : Bien que le corpus étendu ait introduit un chevauchement de locuteurs (fuite potentielle de données), les résultats suggèrent que les gains de performance dans les modèles fine-tunés ne sont pas uniquement dus à cette fuite. Les modèles ont montré une amélioration particulière sur les segments complexes avec plusieurs changements de locuteurs, indiquant que l'augmentation du volume de données a permis une meilleure adaptation aux structures de dialogue.
• Corrélation des métriques : L'étude a observé que le cpWER et le cpCER étaient systématiquement plus bas que le WER/CER standard, l'écart s'élargissant pour les modèles fine-tunés. De plus, la scAcc (précision du changement de locuteur) était corrélée à la difficulté de la tâche ; à mesure que le nombre de changements de locuteurs augmentait, la scAcc diminuait, reflétant la difficulté inhérente de la tâche plutôt qu'un simple échec du modèle.

Signification
L'article affirme que BEA-Dialogue+ fournit un benchmark substantiellement plus large mais toujours exigeant pour l'ASR de dialogue en hongrois. Il sert de ressource pratique pour l'entraînement et l'évaluation des systèmes de transcription de dialogue, démontrant que l'assouplissement des contraintes strictes de disjointivité des locuteurs peut générer des bénéfices significatifs en termes de volume de données sans rendre le benchmark trivial. Les auteurs concluent que, bien que le corpus étendu présente une tâche plus difficile pour les modèles pré-entraînés, il permet un entraînement plus efficace pour les systèmes fine-tunés, soulignant la valeur de l'entraînement continu spécifique au dialogue. Le corpus est destiné à soutenir la recherche future en IA conversationnelle et en ASR hongrois, avec la réserve que l'étendue précise des effets de fuite de données nécessite des investigations supplémentaires via des ensembles d'évaluation indépendants.