Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean

Resumo Técnico: Fechando a Lacuna de Qualidade em Text-to-Speech de Baixo Recurso via Fine-Tuning de LoRA do VoxCPM2

Declaração do Problema
Embora modelos de Text-to-Speech (TTS) pré-treinados de grande escala alcancem uma qualidade próxima à humana para idiomas com abundantes recursos (ex: inglês, mandarim), eles exibem uma lacuna de qualidade significativa para idiomas de baixo recurso. Esta lacuna é caracterizada por erros de pronúncia, estresse e entonação estranhos, e uma qualidade sintética perceptível. O problema é particularmente agudo para idiomas como o Khmer, que são sub-representados em dados de pré-treinamento e possuem características ortográficas únicas (ex: ausência de espaçamento entre palavras). O ajuste fino (fine-tuning) completo convencional é computacionalmente caro, exige checkpoints separados para cada idioma e corre o risco de esquecimento catastrófico. O Ajuste Fino de Parâmetros Eficientes (PEFT), especificamente a Adaptação de Baixo Rank (LoRA), oferece uma solução potencial, mas sua eficácia em fechar a lacuna de qualidade para TTS de baixo recurso e sua capacidade de servir múltiplos idiomas tipologicamente distintos via um único adaptador compartilhado permanecem questões em aberto.

Metodologia
Os autores investigam essas questões utilizando o VoxCPM2, um modelo de TTS de 2.4B de parâmetros, livre de tokenizador, que combina um backbone de modelo de linguagem MiniCPM-4 com um decodificador de difusão de correspondência de fluxo (flow-matching diffusion).

• Construção do Corpus: Um corpus compartilhado e etiquetado por idioma foi criado, compreendendo aproximadamente 26 horas de áudio de Khmer (3.96 horas) e Coreano (22.21 horas). Os dados de Khmer foram obtidos do Instituto de Pesquisa e Inovação Digital (Camboja), enquanto os dados de Coreano vieram do corpus KSS e Common Voice/FLEURS. Para abordar a escassez de dados, os clipes de treinamento de Khmer foram upsampled para constituir 40% da mistura de treinamento.
• Adaptação do Modelo: Em vez de fine-tuning completo, um único adaptador LoRA compartilhado foi anexado ao backbone congelado do VoxCPM2. Este adaptador foi aplicado às projeções de query, key, value e output dos mecanismos de atenção tanto no modelo de linguagem MiniCPM-4 (camadas base e residuais) quanto no decodificador de difusão de correspondência de fluxo.
• Configuração de Treinamento: O adaptador foi inicializado com zero ($\Delta W = 0$), garantindo que o treinamento começasse exatamente no baseline zero-shot. O estudo testou cinco configurações de rank ($r \in \{8, 16, 32, 64, 128\}$), representando 0.19% a 3.03% dos parâmetros totais. O treinamento utilizou o otimizador AdamW com precisão mista em uma única GPU NVIDIA H200.
• Avaliação: O desempenho foi medido via:
  1. Métricas Automáticas: Perda de correspondência de fluxo de validação e perda de token de parada.
  2. Avaliação Humana: Mean Opinion Scores (MOS) de falantes nativos em uma escala de 5 pontos em três eixos: naturalidade, prosódia e pronúncia. A significância estatística foi avaliada usando testes de postos sinalados de Wilcoxon pareados.

Principais Resultados
O estudo gerou resultados divergentes para os dois idiomas, destacando a dependência da eficácia da adaptação em relação à proficiência inicial do modelo base:

• Khmer (Baixo Recurso): O adaptador produziu uma melhoria altamente significativa na qualidade. O MOS geral aumentou de 3.85 (zero-shot) para 4.23 no rank 64 ($p < 0.001$). O ganho mais substancial foi observado na prosódia (subindo de 3.76 para 4.36), indicando que a principal fraqueza do modelo base era o ritmo e a entonação. Notavelmente, mesmo o menor adaptador (rank 8) recuperou a maior parte do ganho, atingindo um MOS de 3.91.
• Coreano (Alto Recurso): O modelo base já lidava bem com o coreano, e o adaptador não proporcionou nenhuma melhoria geral significativa. Na verdade, ranks mais altos (especificamente o rank 64) degradaram significativamente a qualidade (o MOS caiu para 3.48, $p = 0.02$), principalmente devido a uma perda de naturalidade. Isso sugere que, para idiomas que o modelo já conhece bem, a capacidade adicional leva ao overfitting nos pequenos conjuntos de dados de fine-tuning.
• Discrepância entre Perda vs. Percepção: Uma descoberta crítica é o desalinhamento entre a perda automática e a percepção humana. A perda de validação foi a mais baixa no rank 128 (0.7094), porém o maior MOS para o Khmer ocorreu no rank 64. A perda continuou a diminuir no rank 128, mas a qualidade perceptiva caiu, sugerindo que a perda de validação superestima o valor de capacidade extra.

Principais Contribuições

1. Adaptador Multilíngue Compartilhado: Os autores apresentam a primeira adaptação de parâmetros eficientes de um modelo de fundação de TTS para o Khmer. Eles demonstram que um único e pequeno adaptador LoRA (0.19–3.03% dos parâmetros) pode servir efetivamente dois idiomas tipologicamente distintos (Khmer e Coreano) simultaneamente sem exigir modelos separados.
2. Eficácia da Adaptação Direcionada: O estudo valida empiricamente que a adaptação gera ganhos significativos apenas onde o modelo base é genuinamente fraco. O tamanho "útil" do adaptador escala com a distância entre o idioma e o conhecimento existente do modelo; grandes lacunas (Khmer) absorvem mais capacidade, enquanto lacunas pequenas (Coreano) sofrem com overfitting.
3. Insight de Seleção de Rank: O artigo desafia a dependência da perda de validação para a seleção de hiperparâmetros em TTS. Ele demonstra que o rank ideal para a qualidade perceptiva (rank 64 para Khmer) não se alinha necessariamente com a menor perda de validação (rank 128), defendendo testes de audição como a métrica primária para a seleção de rank.
4. Utilidade Diagnóstica: Os autores propõem que a magnitude da melhoria proporcionada por um adaptador inicializado com zero serve como uma sonda para o conhecimento existente do modelo base sobre um idioma.

Significância e Alegações
O artigo alega que pequenos adaptadores LoRA são um mecanismo altamente eficaz e eficiente em termos de recursos para fechar a lacuna de qualidade em TTS de baixo recurso, desde que o modelo base careça de conhecimento prévio suficiente do idioma alvo. O estudo enfatiza que um rank global de "tamanho único" é inapropriado; em vez disso, a seleção de rank deve ser específica para o idioma e guiada pela avaliação perceptiva, em vez da perda automática.

Os autores mencionam modestamente as limitações, incluindo a falta de um limite superior de fine-tuning completo, os potenciais fatores de confusão entre a cobertura de idioma e a qualidade da fonte de dados (corpora privados vs. públicos) e os painéis de avaliadores relativamente pequenos usados para a avaliação MOS. Eles concluem que trabalhos futuros devem focar em estabelecer baselines de fine-tuning completo e expandir a avaliação para incluir mais idiomas de baixo recurso e métricas objetivas.