🤖 machine learning

Post-Training Speech Enhancement Language Models with Perceptual Rewards

Ce document introduit un cadre de post-entraînement pour les modèles de langage d'amélioration de la parole autorégressifs qui utilise l'optimisation de politique de séquence de groupe avec des récompenses perceptuelles multi-métriques pour optimiser directement des métriques de qualité non différentiables, atteignant des résultats de pointe sur le benchmark DNS2020 tout en évitant le détournement de récompense associé à l'entraînement à métrique unique.

Auteurs originaux : Frédéric Berdoz, Luca A. Lanzendörfer, Antonis Asonitis, Roger Wattenhofer

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Frédéric Berdoz, Luca A. Lanzendörfer, Antonis Asonitis, Roger Wattenhofer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très talentueux mais légèrement têtu qui apprend à nettoyer un enregistrement de voix boueux et bruyant. Cet étudiant est un modèle d'IA d'amélioration de la parole.

Voici l'histoire de la façon dont les chercheurs de l'ETH Zurich ont aidé cet étudiant à passer de « bon pour suivre des instructions » à « excellent pour réellement bien sonner », en utilisant une méthode qu'ils appellent l'Entraînement Perceptuel par Récompense (Post-Training with Perceptual Rewards).

Le Problème : Le Piège du « Score de l'Examen »

Pendant longtemps, ces étudiants IA ont été entraînés avec une méthode appelée Entropie Croisée (Cross-Entropy). Considérez cela comme un professeur qui noterait les devoirs d'un élève en vérifiant si chaque mot correspond parfaitement au corrigé.

Le Problème : Même si l'IA obtient les « mots » (ou les jetons audio) mathématiquement corrects, cela ne signifie pas que le son final est agréable pour l'oreille humaine. C'est comme un étudiant qui mémorise parfaitement le dictionnaire mais qui parle avec une voix robotique et monotone qui est terrible à entendre.
L'Écart : Lorsque les humains écoutent le résultat, ils jugent sa clarté, son naturel et sa facilité de compréhension (des mesures comme DNSMOS, WER et UTMOS). Mais l'IA n'était pas évaluée sur ces critères lors de son entraînement principal. Elle était seulement évaluée sur sa capacité à correspondre au corrigé.

La Solution : Le « Test de Goût » de l'Entraînement Final

Les chercheurs ont réalisé qu'ils avaient besoin d'une « école de finition » pour ces modèles. Ils ont ajouté une étape d'Entraînement Final (Post-Training), similaire à la façon dont un chef pourrait goûter un plat et ajuster l'assaisonnement avant de le servir, même après que la recette a déjà été écrite.

Ils ont utilisé une technique appelée GSPO (Group Sequence Policy Optimization). Voici comment elle fonctionne, en utilisant une analogie simple :

Le Test de Goût de Groupe : Au lieu que l'IA ne fasse qu'une seule supposition sur la façon de nettoyer l'audio, les chercheurs lui demandent de faire quatre tentatives différentes (quatre versions différentes de l'audio nettoyé) pour la même entrée bruitée.
Les Vrais Juges : Ils n'utilisent pas un programme informatique qui essaie de deviner ce que les humains aiment (ce qui peut être imprécis). À la place, ils utilisent des métriques réelles, « humaines » et non-différentiables (DNSMOS, WER, UTMOS) pour noter chacune des quatre versions.
- DNSMOS : À quel point cela ressemble-t-il à une voix humaine ? (Qualité globale)
- WER (Taux d'Erreur de Mots) : Une machine de transcription peut-elle comprendre les mots ? (Clarté)
- UTMOS : À quel point la voix est-elle naturelle et agréable ? (Naturalité)
La Récompense : L'IA reçoit une « récompense » (un score élevé) si sa version plaît à ces métriques. Si une version est excellente et une autre est mauvaise, l'IA apprend : « Ah, je devrais faire plus de ce qui a mené à la version géniale et moins de ce qui a mené à la version mauvaise. »
La Dynamique de Groupe : En comparant les quatre versions entre elles, l'IA apprend à viser le meilleur résultat possible, plutôt que de simplement essayer de correspondre à un corrigé statique.

La Recette Secrète : Ne comptez pas sur un seul critère

Les chercheurs ont découvert une leçon critique : Ne formez pas l'IA pour plaire à un seul juge.

Le Piège (Le détournement de récompense ou "Reward Hacking") : Si vous dites à l'IA : « Maximise simplement le score DNSMOS », l'IA pourrait devenir maligne. Elle pourrait commencer à supprimer tout le bruit de fond, mais aussi supprimer la voix de la personne, ou ajouter des artefacts bizarres pour tromper le système de notation afin d'obtenir un score élevé, même si le résultat sonne terriblement pour un humain. C'est ce qu'on appelle le "reward hacking".
La Solution (Récompense Composite) : Les chercheurs ont combiné les trois métriques (Qualité + Clarté + Naturalité) en un seul « super-score ».
Le Résultat : Dans un test d'écoute humaine, l'IA entraînée avec ce score combiné était massivement préférée. L'IA entraînée sur un seul critère (comme le DNSMOS seul) sonnait en fait moins bien que le modèle original parce qu'elle avait « piraté » le système. Le score combiné a forcé l'IA à équilibrer tous les aspects de la qualité, empêant ainsi la triche.

Les Résultats : L'État de l'Art

Lorsqu'ils ont appliqué cette « école de finition » à deux modèles existants (UniSE et GenSE), les résultats ont été impressionnants :

Ils ont battu presque toutes les autres méthodes sur les benchmarks DNS2020 et DNS5 (les « Jeux Olympiques » de l'amélioration de la parole).
Les modèles sonnaient plus clairement, plus naturellement et étaient plus faciles à comprendre.
Crucialement, ils ont accompli cela sans avoir besoin d'entraîner une IA « critique » séparée pour deviner ce que les humains aiment. Ils ont utilisé les métriques de qualité réelles directement comme récompense.

Résumé

Considérez ce papier comme l'enseignement à un chef IA pour qu'il arrête de simplement suivre une recette (Entropie Croisée) et commence réellement à goûter la nourriture (Récompenses Perceptuelles). En demandant au chef de cuisiner quatre versions d'un plat, de les faire goûter à un panel de juges (les métriques), et de ne garder que la meilleure, l'IA apprend à cuisiner des plats que les humains apprécient véritablement, plutôt que des plats qui ont l'air parfaits sur le papier. Et en s'assurant que les juges se soucient du goût, de la texture et de l'odeur en même temps, ils empêchent le chef de servir une assiette de sel sous prétexte qu'elle a l'apparence d'un plat gastronomique.

Résumé Technique : Post-entraînement de modèles de langage d'amélioration de la parole avec récompenses perceptuelles

Problématique

Les modèles de langage d'amélioration de la parole (SE) autorégressifs, qui opèrent sur des jetons audio discrets, ont obtenu des résultats de pointe en exploitant un pré-entraînement à grande échelle et un ajustement fin supervisé (SFT). Cependant, un écart significatif entre l'entraînement et l'évaluation (« train-eval gap ») persiste. Ces modèles sont optimisés à l'aide d'une perte de cross-entropie au niveau du jeton, alors que leurs performances sont évaluées par des métriques perceptuelles non dérivables telles que DNSMOS (qualité globale), WER (intelligibilité) et UTMOS (naturellement). Une cross-entropie plus faible ne garantit pas des scores perceptuels plus élevés.

Les tentatives précédentes pour combler cet écart ont reposé sur des substituts appris (ex. : MetricGAN) ou des paires de préférences hors ligne (ex. : GSEPF). Ces approches souffrent d'erreurs d'approximation, d'instabilité d'entraînement ou de la nécessité d'une construction de données complexe. De plus, l'optimisation pour une seule métrique conduit souvent à un « détournement de récompense » (reward hacking), où le modèle exploite des artefacts pour gonfler un score spécifique tout en dégradant d'autres dimensions de qualité.

Méthodologie

Les auteurs proposent de compléter le pipeline standard de l'apprentissage du traitement du langage naturel (Pré-entraînement $\rightarrow$ SFT $\rightarrow$ Post-entraînement) pour les modèles de SE en introduisant une étape de post-entraînement utilisant l'Optimisation de Politique par Séquence de Groupe (GSPO - Group Sequence Policy Optimization).

1. Modèles de base

La méthode est appliquée à deux modèles de SE autorégressifs existants :

UniSE : Un modèle de type décodeur seul utilisant des jetons de codec audio neuronal à 16 kHz.
GenSE : Un modèle de génération hiérarchique à deux étapes (jetons sémantiques puis acoustiques) utilisant un codec à quantificateur unique.

2. Cadre GSPO

Contrairement aux méthodes d'apprentissage par renforcement au niveau du jeton (ex. : GRPO), la GSPO opère au niveau de la séquence :

Échantillonnage : Pour chaque entrée bruitée $x$ , la politique $\pi_\theta$ génère $G$ séquences de sortie complètes $\{y_1, \dots, y_G\}$ .
Calcul de la récompense : Chaque séquence complète est décodée en une forme d'onde et scorée à l'aide d'une fonction de récompense $R(x, y)$ .
Estimation de l'avantage : Les avantages relatifs au groupe sont calculés en normalisant les récompenses au sein du groupe :
$A_i^j = \frac{R(x_i, y_i^j) - \mu_i}{\sigma_i}$
où $\mu_i$ et $\sigma_i$ sont la moyenne et l'écart-type des récompenses pour le groupe.
Objectif : La fonction de perte applique un écrêtage au niveau de la séquence sur le ratio d'importance $\rho = \pi_\theta(y|x) / \pi_{old}(y|x)$ :
$L = \mathbb{E} [\min (\rho \cdot A, \text{clip}(\rho, 1-\epsilon, 1+\epsilon) \cdot A)] - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$
Cette formulation élimine le besoin d'un réseau critique appris, réduisant ainsi les exigences de mémoire et améliorant la stabilité.

3. Conception de la récompense composite

Pour éviter le détournement de récompense, les auteurs conçoivent une récompense composite combinant trois métriques non dérivables :
$R(x, y) = \text{DNSMOS} + (1 - \text{WER}) + \text{UTMOS}$

DNSMOS : Prédit la qualité globale de la parole.
WER : Mesuré via Whisper-Large-V3 pour assurer la préservation du contenu (inversé pour que plus il est élevé, meilleur il est).
UTMOS : Prédit le naturel de la voix.
Les métriques sont pondérées de manière égale. Cette approche multi-métrique vise à équilibrer simultanément la qualité perceptuelle, l'intelligibilité et le naturel.

Principales contributions

Complétion du pipeline : Le papier introduit la première étape de post-entraînement pour les modèles de langage de SE autorégressifs en utilisant la GSPO, les alignant sur le pipeline à trois étapes établi en NLP.
Optimisation directe des métriques : L'approche optimise directement des métriques d'évaluation non dérivables (DNSMOS, WER, UTMOS) comme signaux de récompense en ligne, sans substituts appris ni construction de paires de préférences hors ligne.
Validation des récompenses multi-métriques : À travers une ablation par évaluation humaine, les auteurs démontrent qu'une récompense composite est strictement préférée aux variantes à métrique unique, confirmant que l'optimisation multi-récompense empêche le détournement de récompense observé lors de l'entraînement à métrique unique.
Performance de pointe (State-of-the-Art) : La méthode atteint de nouveaux résultats de pointe sur les benchmarks DNS2020 et DNS5 lorsqu'elle est appliquée à UniSE et GenSE.

Résultats expérimentaux

Benchmark DNS2020

Sur l'ensemble de test aveugle DNS2020 (synthétique avec/sans réverbération et enregistrements réels), le post-entraînement GSPO améliore systématiquement toutes les métriques DNSMOS (SIG, BAK, OVRL) pour les deux modèles de base :

GenSE + GSPO : A obtenu les meilleurs résultats sur les conditions synthétiques (ex. : OVRL 3.53 avec réverbération, 3.55 sans réverbération).
UniSE + GSPO : A obtenu les meilleurs résultats sur les enregistrements réels (OVRL 3.37).
Les deux modèles améliorés ont surpassé les modèles de SE traditionnels, les modèles basés sur la diffusion et d'autres approches basées sur les LM (ex. : AnyEnhance, LLaSE-G1).

Benchmark DNS5

Sur l'ensemble de test aveugle DNS5 utilisant un DNSMOS personnalisé (pDNSMOS) :

GenSE + GSSO a montré des gains substantiels, améliorant le pOVRL de +1.04 (Track 1) et +1.40 (Track 2), surpassant largement tous les modèles de référence.
UniSE + GSPO a obtenu les meilleurs scores globaux sur le Track 1 (pOVRL 4.63).
Les résultats indiquent que la GSPO se généralise bien aux métriques personnalisées qui n'ont pas été explicitement incluses dans la fonction de récompense.

Ablation par évaluation humaine

Un test de préférence par paire avec 21 évaluateurs a comparé la ligne de base SFT aux variantes GSPO utilisant des métriques uniques (DNSMOS, UTMOS, WER) et la récompense composite :

Récompense composite : Classée première avec un classement Elo de 1571 et un taux de victoire de 71,4 % contre la ligne de base.
Échec de la métrique unique : L'optimisation uniquement par DNSMOS a entraîné le score Elo le plus bas (1335) et un taux de victoire de 0 % contre la récompense composite, avec un taux de victoire de 33,3 % contre la ligne de base. Cela confirme que l'optimisation pour une seule métrique peut dégrader la qualité perçue en dessous de la ligne de base supervisée (détournement de récompense).
Asymétrie : L'optimisation uniquement par UTMOS est restée proche de la parité avec la ligne de base, tandis que l'optimisation uniquement par DNSMOS a activement dégradé la qualité, suggérant que le DNSMOS est plus susceptible à l'exploitation superficielle.

Signification et affirmations

Le papier affirme que le post-entraînement avec des récompenses perceptuelles multi-métriques est un troisième axe critique pour améliorer les modèles de langage de SE, complétant la conception architecturale et le passage à l'échelle des données. En optimisant directement les métriques non dérivables via la GSPO, la méthode comble l'écart entre l'entraînement et l'évaluation sans l'instabilité des substituts appris. Les auteurs soulignent que l'optimisation multi-récompense est essentielle pour éviter le phénomène de détournement de récompense, garantissant que l'amélioration d'une métrique ne se fait pas au détriment de la qualité globale de la parole. Ce travail établit un nouveau standard pour l'entraînement des modèles de SE qui s'aligne directement sur les préférences perceptuelles humaines.