🤖 machine learning

Post-Training Speech Enhancement Language Models with Perceptual Rewards

Este artigo introduz um framework de pós-treinamento para modelos de linguagem de realce de fala autorregressivos que utiliza a Otimização de Política de Sequência de Grupo com recompensas perceptivas multimétricas para otimizar diretamente métricas de qualidade não diferenciáveis, alcançando resultados de estado da arte no benchmark DNS2020 ao mesmo tempo em que evita o "reward hacking" associado ao treinamento de métrica única.

Autores originais: Frédéric Berdoz, Luca A. Lanzendörfer, Antonis Asonitis, Roger Wattenhofer

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Frédéric Berdoz, Luca A. Lanzendörfer, Antonis Asonitis, Roger Wattenhofer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno muito talentoso, mas um pouco teimoso, que está aprendendo a limpar uma gravação de alguém falando, que está suja de ruído e barulhenta. Este aluno é um modelo de IA de aprimoramento de fala.

Aqui está a história de como os pesquisadores da ETH Zurich ajudaram este aluno a passar de "bom em seguir instruções" para "ótimo em realmente soar bem", usando um método que eles chamam de Treinamento Pós-Processamento com Recompensas Perceptivas.

O Problema: A Armadilha da "Nota na Prova"

Por muito tempo, esses alunos de IA foram treinados usando um método chamado Entropia Cruzada (Cross-Entropy). Pense nisso como um professor corrigindo o dever de casa de um aluno verificando se cada palavra corresponde perfeitamente ao gabarito.

O Problema: Só porque a IA acerta as "palavras" (ou tokens de áudio) matematicamente corretas, não significa que o som final seja agradável aos ouvidos humanos. É como um aluno que memoriza o dicionário perfeitamente, mas fala com uma voz robótica e monótona que soa terrível.
A Lacuna: Quando os humanos ouvem o resultado, eles julgam pela clareza, pelo quão natural soa e pelo quão fácil é de entender (métricas como DNSMOS, WER e UTMOS). Mas a IA não estava sendo avaliada por essas coisas durante seu treinamento principal. Ela estava sendo avaliada apenas por corresponder ao gabarito.

A Solução: O "Teste de Gosto" do Pós-Processamento

Os pesquisadores perceberam que precisavam de uma "escola de finalização" para esses modelos. Eles adicionaram uma etapa de Pós-Processamento, semelhante a como um chef pode provar um prato e ajustar o tempero antes de servir, mesmo depois que a receita já foi escrita.

Eles usaram uma técnica chamada GSPO (Otimização de Política de Sequência de Grupo). Veja como funciona, usando uma analogia simples:

O Teste de Gosto em Grupo: Em vez de a IA fazer apenas um palpite sobre como limpar o áudio, os pesquisadores pedem que ela faça quatro palpites diferentes (quatro versões diferentes do áudio limpo) para a mesma entrada ruidosa.
Os Juízes Reais: Eles não usam um programa de computador que tenta adivinhar o que os humanos gostam (o que pode ser impreciso). Em vez disso, eles usam métricas reais e não diferenciáveis que são "humanas" (DNSMOS, WER, UTMOS) para pontuar cada uma das quatro versões.
- DNSMOS: O quanto parece que um humano está falando? (Qualidade geral)
- WER (Taxa de Erro de Palavra): Uma máquina de transcrição consegue entender as palavras? (Clareza)
- UTMOS: O quão natural e agradável é a voz? (Naturalidade)
A Recompensa: A IA recebe uma "recompensa" (uma pontuação alta) se sua versão soar bem para essas métricas. Se uma versão for ótima e outra for ruim, a IA aprende: "Ah, eu devo fazer mais do que levou à versão excelente e menos do que levou à versão ruim."
A Dinâmica de Grupo: Ao comparar as quatro versões entre si, a IA aprende a visar o melhor resultado possível, em vez de apenas tentar corresponder a um gabarito estático.

O Ingrediente Secreto: Não Dependa de Apenas Uma Métrica

Os pesquisadores descobriram uma lição crítica: Não treine a IA para agradar a apenas um juiz.

A Armadilha (Exploração de Recompensa/Reward Hacking): Se você disser à IA, "Apenas maximize a pontuação DNSMOS", a IA pode ficar esperta. Ela pode começar a remover todo o ruído de fundo, mas também remover a própria voz da pessoa, ou adicionar artefatos estranhos que enganam o sistema de pontuação, embora o resultado soe terrível para um humano. Isso é chamado de "exploração de recompensa" (reward hacking).
A Correção (Recompensa Composta): Os pesquisadores combinaram todas as três métricas (Qualidade + Clareza + Naturalidade) em um único "super-score".
O Resultado: Em um teste de audição humana, a IA treinada com esse score combinado foi esmagadoramente preferida. A IA treinada com apenas uma métrica (como o DNSMOS sozinho) soou, na verdade, pior do que o modelo original porque ela havia "hackeado" o sistema. O score combinado forçou a IA a equilibrar todos os aspectos da qualidade, impedindo-a de trapacear.

Os Resultados: Estado da Arte

Quando aplicaram essa "escola de finalização" a dois modelos existentes (UniSE e GenSE), os resultados foram impressionantes:

Eles superaram quase todos os outros métodos nos benchmarks DNS2020 e DNS5 (as "Olimpíadas" do aprimoramento de fala).
Os modelos soaram mais claros, mais naturais e mais fáceis de entender.
Crucialmente, eles alcançaram isso sem precisar treinar uma IA "crítica" separada para adivinhar o que os humanos gostam. Eles usaram as métricas de qualidade reais diretamente como a recompensa.

Resumo

Pense neste artigo como ensinar um chef de IA a parar de apenas seguir uma receita (Entropia Cruzada) e começar a realmente provar a comida (Recompensas Perceptivas). Ao pedir ao chef para cozinhar quatro versões de um prato, prová-las com um painel de juízes (as métricas) e manter apenas a melhor, a IA aprende a cozinhar comida que os humanos genuinamente apreciam, em vez de apenas comida que parece perfeita no papel. E ao garantir que os juízes se importem com o sabor, a textura e o cheiro ao mesmo tempo, eles evitam que o chef sirva um prato cheio de sal só porque ele parece um prato gourmet.

Resumo Técnico: Modelos de Linguagem de Melhoria de Fala com Recompensas Perceptivas via Pós-Treinamento

Problema

Modelos de linguagem de melhoria de fala (SE - Speech Enhancement) autorregressivos, que operam em tokens de áudio discretos, alcançaram resultados de estado da arte ao alavancar pré-treinamento em larga escala e ajuste fino supervisionado (SFT). No entanto, um significativo "gap de treino-avaliação" persiste. Esses modelos são otimizados usando perda de entropia cruzada ao nível do token, enquanto seu desempenho é avaliado por métricas perceptivas não diferenciáveis, como DNSMOS (qualidade geral), WER (inteligibilidade) e UTMOS (naturalidade). Uma menor entropia cruzada não garante pontuações perceptivas mais altas.

Tentativas anteriores de preencher esse gap basearam-se em substitutos aprendidos (ex: MetricGAN) ou pares de preferência offline (ex: GSEPF). Essas abordagens sofrem com erros de aproximação, instabilidade de treinamento ou a necessidade de construção de dados complexos. Além disso, otimizar para uma única métrica frequentemente leva ao "ataque de recompensa" (reward hacking), onde o modelo explora artefatos para inflar uma pontuação específica enquanto degrada outras dimensões de qualidade.

Metodologia

Os autores propõem completar o pipeline padrão de treinamento de NLP (Pré-treinamento $\rightarrow$ SFT $\rightarrow$ Pós-treinamento) para modelos de SE introduzindo um estágio de pós-treinamento usando Otimização de Política de Sequência em Grupo (GSPO - Group Sequence Policy Optimization).

1. Modelos Base

O método é aplicado a dois modelos de SE autorregressivos existentes:

UniSE: Um modelo apenas decodificador (decoder-only) que utiliza tokens de codec de áudio neural a 16 kHz.
GenSE: Um modelo de geração hierárquica de dois estágios (semântico seguido de tokens acústicos) usando um codec de quantizador único.

2. Estrutura GSPO

Diferente dos métodos de aprendizado por reforço ao nível do token (ex: GRPO), o GSPO opera ao nível da sequência:

Amostragem: Para cada entrada ruidosa $x$ , a política $\pi_\theta$ gera $G$ sequências completas de saída $\{y_1, \dots, y_G\}$ .
Cálculo de Recompensa: Cada sequência completa é decodificada para uma forma de onda e pontuada usando uma função de recompensa $R(x, y)$ .
Estimativa de Vantagem: As vantagens relativas ao grupo são computadas normalizando as recompensas dentro do grupo:
$A_i^j = \frac{R(x_i, y_i^j) - \mu_i}{\sigma_i}$
onde $\mu_i$ e $\sigma_i$ são a média e o desvio padrão das recompensas para o grupo.
Objetivo: A função de perda aplica o corte de sequência (sequence-level clipping) à razão de importância $\rho = \pi_\theta(y|x) / \pi_{old}(y|x)$ :
$L = \mathbb{E} [\min (\rho \cdot A, \text{clip}(\rho, 1-\epsilon, 1+\epsilon) \cdot A)] - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$
Esta formulação elimina a necessidade de uma rede crítica aprendida, reduzindo os requisitos de memória e melhorando a estabilidade.

3. Design de Recompensa Composta

Para evitar o ataque de recompensa, os autores projetam uma recompensa composta combinando três métricas não diferenciáveis:
$R(x, y) = \text{DNSMOS} + (1 - \text{WER}) + \text{UTMOS}$

DNSMOS: Prediz a qualidade geral da fala.
WER: Medido via Whisper-Large-V3 para garantir a preservação do conteúdo (invertido para que maior seja melhor).
UTMOS: Prediz a naturalidade.
As métricas são ponderadas igualmente. Esta abordagem de múltiplas métricas visa equilibrar qualidade perceptiva, inteligibilidade e naturalidade simultaneamente.

Principais Contribuições

Conclusão do Pipeline: O artigo introduz o primeiro estágio de pós-treinamento para modelos de linguagem de SE autorregressivos usando GSPO, alinhando-os com o pipeline de três estágios estabelecido em NLP.
Otimização Direta de Métricas: A abordagem otimiza diretamente métricas de avaliação não diferenciáveis (DNSMOS, WER, UTMOS) como sinais de recompensa online, sem substitutos aprendidos ou construção de pares de preferência offline.
Validação de Recompensas de Múltiplas Métricas: Através de ablação de avaliação humana, os autores demonstram que uma recompensa composta é estritamente preferida em relação às variantes de métrica única, confirmando que a otimização de múltipl{\text{o}} recompensas previne o ataque de recompensa observado no treinamento de métrica única.
Desempenho de Estado da Arte: O método alcança novos resultados de estado da arte nos benchmarks DNS2020 e DNS5 quando aplicado ao UniSE e GenSE.

Resultados Experimentais

Benchmark DNS2020

No conjunto de teste cego DNS2020 (sintético com/sem reverberação e gravações reais), o pós-treinamento GSPO melhorou consistentemente todas as métricas DNSMOS (SIG, BAK, OVRL) para ambos os modelos base:

GenSE + GSPO: Alcançou os melhores resultados em condições sintéticas (ex: OVRL 3.53 com reverberação, 3.55 sem reverberação).
UniSE + GSPO: Alcançou os melhores resultados em gravações reais (OVRL 3.37).
Ambos os modelos aprimorados superaram modelos tradicionais de SE, modelos baseados em difusão e outras abordagens de LM (ex: AnyEnhance, LLaSE-G1).

Benchmark DNS5

No conjunto de teste cego DNS5 usando DNSMOS personalizado (pDNSMOS):

GenSE + GSPO mostrou ganhos substanciais, melhorando o pOVRL em +1.04 (Track 1) e +1.40 (Track 2), superando todas as linhas de base por margens amplas.
UniSE + GSPO alcançou as melhores pontuações gerais no Track 1 (pOVRL 4.63).
Os resultados indicam que o GSPO generaliza bem para métricas personalizadas não explicitamente incluídas na função de recompensa.

Ablação de Avaliação Humana

Um teste de preferência pareada com 21 avaliadores comparou a linha de base SFT contra variantes de GSPO usando métricas únicas (DNSMOS, UTMOS, WER) e a recompensa composta:

Recompensa Composta: Ficou em primeiro lugar com um rating Elo de 1571 e uma taxa de vitória de 71,4% contra a linha de base.
Falha da Métrica Única: A otimização apenas para DNSMOS resultou no menor Elo (1335) e uma taxa de vitória de 0% contra a composta, com uma taxa de vitória de 33,3% contra a linha de base. Isso confirma que otimizar para uma única métrica pode degradar a qualidade percebida abaixo da linha de base supervisionada (ataque de recompensa).
Assimetria: O uso exclusivo de UTMOS permaneceu próximo da paridade com a linha de base, enquanto o uso exclusivo de DNSMOS degradou ativamente a qualidade, sugerindo que o DNSMOS é mais suscetível à exploração superficial.

Significância e Alegações

O artigo afirma que o pós-treinamento com recompensas perceptivas de múltiplas métricas é um terceiro eixo crítico para melhorar os modelos de linguagem de SE, complementando o design de arquitetura e o escalonamento de dados. Ao otimizar diretamente métricas não diferenciáveis via GSPO, o método fecha o gap de treino-avaliação sem a instabilidade de substitutos aprendidos. Os autores enfatizam que a otimização de múltiplas recompensas é essencial para evitar o fenômeno de ataque de recompensa, garantindo que melhorias em uma métrica não ocorram às custas da qualidade geral da fala. O trabalho estabelece um novo padrão para o treinamento de modelos de SE que se alinha diretamente com as preferências perceptivas humanas.