Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean

Résumé Technique : Combler l'écart de qualité dans la synthèse vocale à faibles ressources via le réglage fin par LoRA de VoxCPM2

Énoncé du problème
Bien que les modèles de synthèse vocale (TTS) pré-entraînés de grande taille atteignent une qualité quasi humaine pour les langues riches en ressources (ex. l'anglais, le mandarin), ils présentent un écart de qualité significatif pour les langues à faibles ressources. Cet écart se caractérise par des erreurs de prononciation, une accentuation et une intonation maladives, ainsi qu'une qualité synthétique perceptible. Le problème est particulièrement aigu pour des langues comme le khmer, qui sont sous-représentées dans les données de pré-entraînement et possèdent des caractéristiques orthographiques uniques (ex. l'absence d'espacement des mots). Le réglage fin complet conventionnel est coûteux en termes de calcul, nécessite des points de contrôle séparés pour chaque langue et risque un oubli catastrophique. Le réglage fin efficace en paramètres (PEFT), spécifiquement l'adaptation de bas rang (LoRA), offre une solution potentielle, mais son efficacité pour combler l'écart de qualité pour la TTS à faibles ressources et sa capacité à servir plusieurs langues typologiquement distinctes via un seul adaptateur partagé restent des questions ouvertes.

Méthodologie
Les auteurs étudient ces questions en utilisant VoxCPM2, un modèle TTS de 2,4 milliards de paramètres, sans tokenizer, qui combine une architecture de modèle de langage MiniCPM-4 avec un décodeur de diffusion par correspondance de flux (flow-matching diffusion decoder).

• Construction du corpus : Un corpus partagé et étiqueté par langue a été créé, comprenant environ 26 heures d'audio pour le khmer (3,96 heures) et le coréen (22,21 heures). Les données khmères proviennent de l'Institut de Recherche et d'Innovation Numérique (Cambodge), tandis que les données coréennes proviennent du corpus KSS et de Common Voice/FLEURS. Pour pallier la rareté des données, les clips d'entraînement en khmer ont été suréchantillonnés pour constituer 40 % du mélange d'entraînement.
• Adaptation du modèle : Au lieu d'un réglage fin complet, un seul adaptateur LoRA partagé a été attaché au squelette gelé de VoxCPM2. Cet adaptateur a été appliqué aux projections de requête (query), de clé (key), de valeur (value) et de sortie (output) des mécanismes d'attention, tant dans le modèle de langage MiniCPM-4 (couches de base et résiduelles) que dans le décodeur de diffusion par correspondance de flux.
• Configuration de l'entraînement : L'adaptateur a été initialisé à zéro ($\Delta W = 0$), garantissant que l'entraînement commençait exactement au niveau de la référence zero-shot. L'étude a testé cinq configurations de rang ($r \in \{8, 16, 32, 64, 128\}$), représentant 0,19 % à 3,03 % du total des paramètres. L'entraînement a utilisé l'optimiseur AdamW avec précision mixte sur un seul GPU NVIDIA H200.
• Évaluation : La performance a été mesurée via :
  1. Métriques automatiques : Perte de correspondance de flux de validation et perte du jeton d'arrêt (stop-token loss).
  2. Évaluation humaine : Scores d'opinion moyenne (MOS) par des locuteurs natifs sur une échelle de 5 points selon trois axes : naturel, prosodie et prononciation. La signification statistique a été évaluée à l'aide de tests de rang signé de Wilcoxon appariés.

Résultats clés
L'étude a produit des résultats divergents pour les deux langues, soulignant la dépendance de l'efficacité de l'adaptation vis-à-vis de la compétence initiale du modèle de base :

• Khmer (faibles ressources) : L'adaptateur a produit une amélioration hautement significative de la qualité. Le MOS global est passé de 3,85 (zero-shot) à 4,23 pour un rang de 64 ($p < 0,001$). Le gain le plus substantiel a été observé dans la prosodie (passant de 3,76 à 4,36), indiquant que la principale faiblesse du modèle de base était le rythme et l'intonation. Notamment, même le plus petit adaptateur (rang 8) a récupéré la majeure partie du gain, atteignant un MOS de 3,91.
• Coréen (riches en ressources) : Le modèle de base gérait déjà bien le coréen, et l'adaptateur n'a apporté aucune amélioration globale significative. En fait, des rangs plus élevés (spécifiquement le rang 64) ont dégradé la qualité de manière significative (le MOS est tombé à 3,48, $p = 0,02$), principalement en raison d'une perte de naturel. Cela suggère que pour les langues que le modèle connaît déjà bien, une capacité supplémentaire conduit à un surapprentissage (overfitting) sur le petit jeu de données de réglage fin.
• Écart entre perte et perception : Une découverte critique est le désalignement entre la perte automatique et la perception humaine. La perte de validation était la plus basse au rang 128 (0,7094), pourtant le MOS le plus élevé pour le khmer s'est produit au rang 64. La perte a continué de diminuer au rang 128, mais la qualité perceptive a chuté, suggérant que la perte de validation surestime la valeur d'une capacité supplémentaire.

Principales contributions

1. Adaptateur multilingue partagé : Les auteurs présentent la première adaptation efficace en paramètres d'un modèle de fondation TTS pour le khmer. Ils démontrent qu'un seul petit adaptateur LoRA (0,19–3,03 % des paramètres) peut efficacement servir deux langues typologiquement distinctes (khmer et coréen) simultanément sans nécessiter de modèles séparés.
2. Efficacité de l'adaptation ciblée : L'étude valide empiriquement que l'adaptation ne produit des gains significatifs que là où le modèle de base est réellement faible. La taille "utile" de l'adaptateur évolue avec la distance entre la langue et les connaissances existantes du modèle ; les écarts importants (khmer) absorbent plus de capacité, tandis que les écarts faibles (coréen) souffrent de surapprentissage.
3. Aperçu sur la sélection du rang : L'article remet en question la dépendance à la perte de validation pour la sélection des hyperparamètres dans la TTS. Il démontre que le rang optimal pour la qualité perceptive (rang 64 pour le khmer) ne s'aligne pas nécessairement sur la perte de validation la plus basse (rang 128), préconisant les tests d'écoute comme métrique primaire pour la sélection du rang.
4. Utilité diagnostique : Les auteurs proposent que l'ampleur de l'amélioration fournie par un adaptateur initialisé à zéro sert de sonde pour la connaissance existante d'une langue par le modèle de base.

Signification et affirmations
L'article affirme que les petits adaptateurs LoRA sont un mécanisme très efficace et économiquement en ressources pour combler l'écart de qualité dans la TTS à faibles ressources, à condition que le modèle de base manque de connaissances préalables suffisantes sur la langue cible. L'étude souligne qu'un rang global "taille unique" est inapproprié ; au contraire, la sélection du rang doit être spécifique à la langue et guidée par l'évaluation perceptive plutôt que par la perte automatique.

Les auteurs notent modestement des limites, incluant l'absence de borne supérieure de réglage fin complet, les facteurs de confusion potentiels entre la couverture linguistique et la qualité de la source de données (corpus privés vs publics), et les panels d'évaluateurs relativement restreints utilisés pour l'évaluation MOS. Ils concluent que les travaux futurs devraient se concentrer sur l'établissement de références de réglage fin complet et sur l'extension de l'évaluation pour inclure davantage de langues à faibles ressources et des métriques objectives.