SloPal: A 60-Million-Word Slovak Parliamentary Corpus with Aligned Speech and Fine-Tuned ASR Models

Ce papier présente SloPal, un corpus parlementaire slovaque de 66 millions de mots et un jeu de données audio aligné de 2 806 heures, accompagnés de modèles Whisper affinés qui réduisent le taux d'erreur de reconnaissance vocale de 70 % pour cette langue à faible ressource.

L'essentiel

Imaginez que vous essayez d'apprendre à parler une langue, mais que vous n'avez à votre disposition que quelques phrases de manuel et un seul vieux livre de grammaire. C'est un peu la situation de la langue slovaque pour les ordinateurs qui doivent comprendre la parole (la reconnaissance vocale). Jusqu'à présent, il y avait très peu de données pour entraîner ces intelligences artificielles.

Ce papier de recherche, intitulé SloPal, est comme une grande fête de données qui change tout cela. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Un enfant qui a faim de mots

Les ordinateurs modernes (comme les modèles "Whisper" d'OpenAI) sont comme des enfants géniaux qui apprennent très vite, mais seulement s'ils ont beaucoup de livres à lire. Pour l'anglais, ils ont des bibliothèques entières. Pour le slovaque, ils n'avaient qu'une petite étagère (moins de 100 heures d'enregistrements). Résultat ? L'ordinateur fait beaucoup de fautes d'orthographe quand il écoute un Slovaque parler.

2. La Solution : La Bibliothèque du Parlement

Les auteurs ont eu une idée brillante : le Parlement slovaque.
Imaginez que le Parlement est une immense usine à parler. Depuis 2001, chaque fois qu'un député parle, il y a un enregistrement audio ET un texte écrit exact de ce qui a été dit. C'est une mine d'or !

Les chercheurs ont collecté :

• 330 000 discours (66 millions de mots !).
• 2 806 heures d'audio (c'est énorme, c'est comme écouter de la radio non-stop pendant plus de 116 jours).

Ils ont nommé ce trésor SloPal.

3. Le Défi : L'Alignement (Le jeu du "Qui a dit quoi ?")

C'était facile de télécharger les fichiers, mais il y avait un gros problème de timing.

• L'audio était parfois coupé en petits morceaux ou ne couvrait que la matinée.
• Le texte était un gros bloc de 3 heures.

C'est comme essayer de coller un puzzle où les pièces de l'image (le texte) ne correspondent pas exactement aux pièces du fond (l'audio). Pour résoudre cela, les chercheurs ont créé un système d'ancres.

• L'analogie : Imaginez que vous avez deux bandes magnétiques. L'une est le texte parfait, l'autre est l'enregistrement brut. Le système cherche des mots communs (les "ancres") dans les deux bandes. Une fois qu'il trouve un mot sûr (comme "Monsieur le Président"), il utilise ce point pour aligner tout le reste, comme si vous étiriez ou rétrécissiez la bande audio pour qu'elle colle parfaitement au texte.

4. Le Résultat : Des oreilles d'or pour l'ordinateur

Une fois qu'ils ont eu cet ensemble de données parfaitement aligné (audio + texte), ils ont pris un modèle d'intelligence artificielle existant (Whisper) et l'ont "entraîné" spécifiquement avec ces données slovaques. C'est comme donner à un étudiant brillant qui parle un peu slovaque un stage intensif de 3 mois dans le Parlement.

Les résultats sont spectaculaires :

• Moins d'erreurs : Le nombre de mots mal compris par l'ordinateur a chuté de 70 %. C'est énorme !
• L'astuce de taille : Le petit modèle entraîné (qui est 6 fois plus léger et rapide que le géant) est devenu presque aussi bon que le plus gros modèle du monde. C'est comme si un petit chien de garde, après une formation spéciale, protégeait la maison aussi bien qu'un lion.

5. Pourquoi c'est important pour tout le monde ?

Ce n'est pas juste pour les linguistes. Grâce à SloPal :

• Les personnes malentendantes pourront avoir des sous-titres beaucoup plus précis en direct.
• Les chercheurs pourront analyser les discours politiques slovaques (qui a parlé, de quoi, et comment) grâce aux métadonnées riches (noms, rôles, dates).
• L'avenir : Les chercheurs ont partagé toutes leurs recettes (le code, les données, les modèles) gratuitement sur internet. Ils espèrent que d'autres pays avec des langues "pauvres en données" (comme le croate, le polonais, etc.) utiliseront la même méthode pour créer leurs propres bibliothèques numériques.

En résumé : Les chercheurs ont pris les enregistrements ennuyeux mais précieux du Parlement slovaque, les ont nettoyés et organisés comme un chef d'orchestre, et ont utilisé cette symphonie pour apprendre aux ordinateurs à comprendre le slovaque presque parfaitement. C'est une victoire majeure pour la technologie dans les langues moins connues.

Résumé technique

1. Problématique

Le slovaque est classé comme une langue à ressources limitées pour la reconnaissance automatique de la parole (ASR). À ce jour, moins de 100 heures de données d'entraînement publiques sont disponibles, ce qui est insuffisant pour entraîner des modèles performants.

• Limites actuelles : Les modèles multilingues de pointe (comme Whisper d'OpenAI) montrent des performances médiocres sur le slovaque (Taux d'Erreur de Mots ou WER > 30 % pour les petits modèles) par rapport aux langues à ressources abondantes (WER < 5 %).
• Manque de données alignées : Bien que des transcripts parlementaires existent, ils ne sont pas systématiquement alignés avec les fichiers audio, et les segments audio sont souvent trop longs ou mal découpés pour les architectures modernes d'ASR.

2. Méthodologie

Les auteurs ont développé une pipeline complète pour créer SloPal, une ressource linguistique majeure, et SloPalSpeech, un jeu de données audio-aligné.

A. Collecte et Traitement des Données (SloPal)

• Source : Les données proviennent des archives du Parlement slovaque (MediaPortál et la Bibliothèque Numérique Parlementaire Tchéco-Slovaque).
• Corpus Textuel : Récupération de 330 000 transcripts segmentés par locuteur (66 millions de mots, 220 millions de tokens) couvrant la période 2001–2024.
• Extraction Audio : Téléchargement de 4 096 heures d'enregistrements audio via des flux HLS.
• Nettoyage et Segmentation :
  • Conversion des documents DOCX en XHTML pour un parsing structuré.
  • Utilisation d'heuristiques pour identifier les annonces de locuteurs (texte en gras, contenant 1 à 3 noms, < 15 mots) et filtrer les notes du transcripteur (texte entre parenthèses).
  • Filtrage de validité : Une analyse a révélé que les transcripts couvraient les sessions complètes (matin et après-midi), tandis que l'audio ne couvrait que les sessions du matin. Les transcripts ont donc été tronqués pour correspondre à l'audio.

B. Alignement Audio-Texte (SloPalSpeech)

Pour créer un jeu de données d'entraînement, il fallait aligner l'audio (jusqu'à 25h) avec le texte sur des segments courts (max 30s).

• Approche "Anchor-Based" (Basée sur des ancres) :
  1. Génération d'un transcript de référence avec des timestamps au niveau du mot en utilisant WhisperX.
  2. Alignement de ce transcript de référence avec le transcript "vérité terrain" (ground truth) en identifiant des mots communs ("ancres") via la distance de Levenshtein et l'analyse du contexte (4 mots avant/après).
  3. Construction de segments audio de 30 secondes en s'appuyant sur ces ancres.
• Filtrage de Qualité : Un modèle Whisper a été réappliqué sur chaque segment généré pour calculer le WER. Les segments avec un WER > 40 % (indiquant un mauvais alignement ou une erreur de transcription) ont été éliminés.
• Résultat final : Un jeu de données de 2 806 heures d'audio aligné, divisé en 402 966 segments de 30 secondes.

C. Affinement (Fine-Tuning)

Les auteurs ont affiné plusieurs variantes du modèle Whisper (Small, Medium, Turbo, Large-v3) sur SloPalSpeech.

• Stratégie : Utilisation de Hugging Face Transformers, arrêt précoce (early stopping) et ajustement du taux d'apprentissage (40x plus petit que le pré-entraînement pour les petits modèles).
• Gestion des grandes tailles : Pour le modèle Large-v3, l'utilisation de la parallélisation de données entièrement fractionnée (FSDP) sur plusieurs GPU a été nécessaire pour contourner les limites de mémoire et éviter le surapprentissage (overfitting) grâce à un weight decay de 0,01.

3. Contributions Clés

1. SloPal (Corpus Textuel) : Le plus grand corpus parlementaire slovaque jamais publié, offrant une couverture textuelle complète avec des métadonnées riches (noms, rôles, sessions), utile pour l'analyse du discours politique et la linguistique diachronique.
2. SloPalSpeech (Corpus Audio) : Le premier jeu de données audio-aligné dédié au slovaque (2 806 heures), optimisé pour l'entraînement de modèles Whisper (segments de 30s).
3. Pipeline d'Alignement Générique : Une méthode d'alignement "langage-agnostique" basée sur des ancres, applicable à d'autres langues slaves ou ressources parlementaires sans entraîner de modèle d'alignement forcé spécifique.
4. Modèles ASR Fine-Tunés : Publication de quatre modèles Whisper affines, dont un modèle "Small" (244M paramètres) qui rivalise avec le modèle "Large-v3" de base (1,5B paramètres) tout en étant 6 fois plus léger.

4. Résultats

Les performances ont été évaluées sur les jeux de données de test Common Voice 21 et FLEURS.

• Réduction du WER : L'affinement a réduit le taux d'erreur de mots de 32 % à 70 % selon la taille du modèle.
  • Exemple : Le modèle Whisper Small passe d'un WER de 58,4 % à 25,7 % sur Common Voice 21 (réduction de 32,7 points).
  • Le modèle Large-v3 Tuned atteint un WER de 11,6 % sur Common Voice 21 et 5,5 % sur FLEURS.
• Efficacité : Le modèle Whisper Large-v3-Turbo affiné offre le meilleur compromis efficacité/précision, égalant la précision du modèle Large-v3 de base avec 730M de paramètres en moins.
• Comparaison : Le modèle affiné Large-v3 surpasse les modèles NVIDIA Canary-1B-v2 et Parakeet-TDT-0.6B-v3 sur les benchmarks slovaques, malgré le fait que ces derniers aient été entraînés sur des données incluant FLEURS et Common Voice.

5. Signification et Impact

• Combler le fossé des ressources : SloPal transforme le slovaque d'une langue à très faible ressource en une langue disposant d'un corpus de données ASR de qualité industrielle, comparable en taille aux corpus tchèques ou polonais.
• Accessibilité et Déploiement : La capacité d'entraîner un modèle performant (Small) avec 6 fois moins de paramètres que les modèles géants rend le déploiement d'ASR slovaque accessible sur du matériel moins puissant.
• Recherche Interdisciplinaire : La structure du corpus (locuteur, rôle, session) ouvre de nouvelles perspectives pour l'analyse du discours politique, l'étude de la rhétorique parlementaire et la sociolinguistique, au-delà de la simple reconnaissance vocale.
• Open Science : Toutes les ressources (corpus textuel, audio aligné, modèles) sont publiées sous licence ouverte (CC BY 4.0 et MIT) sur Hugging Face, favorisant la reproductibilité et l'innovation dans le domaine des langues slaves.

En résumé, ce travail démontre que l'exploitation systématique des archives parlementaires, couplée à des techniques d'alignement innovantes et à un affinement ciblé, permet de surmonter efficacement le manque de données pour les langues à ressources limitées.