Improving X-Codec-2.0 for Multi-Lingual Speech: 25 Hz Latent Rate and 24 kHz Sampling

Este trabalho aprimora o modelo X-Codec-2.0 para processamento de fala multilíngue ao reduzir a taxa latente para 25 Hz e aumentar a taxa de amostragem para 24 kHz, resultando em maior eficiência e qualidade perceptiva superior sem alterar a arquitetura central.

O essencial

Imagine que a voz humana é como uma sinfonia complexa que precisa ser enviada pela internet. Para que isso funcione rápido, os cientistas precisam transformar essa música em "notas" digitais (códigos) que os computadores possam entender e recriar.

O artigo que você leu trata de uma melhoria em uma tecnologia chamada X-Codec-2.0. Vamos explicar como isso funciona usando analogias do dia a dia.

1. O Problema: A "Fotografia" Velha e Turva

O X-Codec-2.0 original funcionava muito bem, mas tinha dois pequenos defeitos:

• Era um pouco "turvo": Ele gravava o áudio com uma qualidade de 16 kHz (como uma foto de baixa resolução). As vozes soavam um pouco abafadas, como se estivessem debaixo d'água, perdendo os detalhes agudos (o brilho da voz).
• Era "gastão": Para cada segundo de áudio, ele gerava 50 "notas" digitais (tokens). Isso é como tentar desenhar uma paisagem usando 50 pinceladas por segundo. É muito trabalho para o computador, o que deixa o sistema mais lento e consome mais memória.

2. A Solução: O "Filtro Mágico" e a "Lupa"

Os autores do artigo (da Scicom, na Malásia) fizeram uma mudança simples, mas genial, para consertar isso. Eles não reescreveram todo o código do computador; apenas ajustaram duas peças:

1. O Filtro de Redução (Pooling): Imagine que você tem uma pilha de 50 fotos tiradas por segundo. Em vez de enviar todas, eles colocaram um filtro que junta 2 fotos em 1, criando uma imagem mais limpa e resumida. Isso reduziu a quantidade de "notas" de 50 para 25 por segundo. É como passar de uma transmissão de vídeo em 60fps para uma em 30fps, mas mantendo a qualidade da imagem.
2. A Lupa de Qualidade (Hop Size): Ao mesmo tempo, eles ajustaram a "lupa" com que o computador ouve o som. Em vez de ouvir em 16 kHz (qualidade de rádio antigo), eles aumentaram para 24 kHz (qualidade de CD). Isso traz de volta os detalhes agudos e faz a voz soar mais natural e cristalina.

A mágica: Eles conseguiram reduzir o trabalho do computador (metade das notas) e, ao mesmo tempo, melhorar a qualidade do som (mais detalhes). É como se você pudesse enviar uma carta mais curta, mas com uma caligrafia mais bonita e legível.

3. O Resultado: A Voz "Viva"

Quando testaram essa nova versão (chamada de X-Codec-2.0 25Hz-24k):

• Qualidade: As vozes soaram muito mais naturais. Em testes onde humanos (e computadores inteligentes) avaliaram a clareza, a nova versão ganhou pontos extras significativos.
• Eficiência: Como usa menos "notas" por segundo, é mais rápido para os computadores processarem. Isso é ótimo para assistentes de voz, tradução em tempo real ou para criar vozes em filmes e jogos sem travar o sistema.
• Universalidade: Funciona bem em mais de 100 idiomas, desde o inglês e mandarim até línguas menos comuns, mantendo a qualidade.

4. A Analogia Final: O Mapa de Viagem

Pense no áudio original como um mapa detalhado de uma cidade com cada pedra da calçada desenhada. É preciso, mas o mapa é gigante e difícil de carregar na mochila (o computador).

O X-Codec original era um mapa bom, mas um pouco borrado.
A nova versão é como um mapa inteligente:

• Ele remove as informações desnecessárias (reduzindo as notas de 50 para 25), deixando o mapa mais leve para carregar.
• Mas, ao mesmo tempo, ele usa uma tinta de melhor qualidade para desenhar as ruas principais, garantindo que você veja os detalhes importantes com clareza (aumentando a qualidade de 16k para 24k).

Por que isso importa?

Para o futuro, isso significa que podemos ter assistentes de voz mais rápidos, traduções em tempo real mais precisas e vozes de IA que soam quase humanas, tudo isso rodando em computadores mais simples e gastando menos energia. É um passo importante para fazer a tecnologia de voz ser mais acessível e eficiente para todos.

Resumo técnico

Título: Melhoria do X-Codec-2.0 para Fala Multilíngue: Taxa Latente de 25 Hz e Amostragem de 24 kHz

1. Problema Identificado

O X-Codec-2.0 é um modelo de codec neural de alto desempenho para modelagem de fala multilíngue, que opera com uma taxa de quadro latente de 50 Hz e uma taxa de amostragem de áudio de 16 kHz. Embora eficaz, essa configuração apresenta limitações:

• Eficiência Temporal: A taxa de 50 Hz gera sequências de tokens longas, o que pode ser oneroso para modelos de linguagem grandes (LLMs) que utilizam decodificação autoregressiva.
• Fidelidade de Áudio: A taxa de amostragem de 16 kHz limita a reprodução de frequências superiores, resultando em um conteúdo de alta frequência ligeiramente abafado e menor fidelidade perceptual.
• Subutilização Potencial: À medida que os conjuntos de dados multilíngues se expandem, a resolução fixa de 50 Hz pode não capturar variações de fala de alta granularidade de forma ideal.

O objetivo deste trabalho é melhorar a eficiência e a qualidade perceptual sem alterar a arquitetura central do modelo, reduzindo a taxa de tokens e aumentando a qualidade do áudio.

2. Metodologia

Os autores propõem uma modificação simples, porém eficaz, na arquitetura do X-Codec-2.0, focando em ajustes temporais e de interpolação de pesos:

• Ajuste de Hop Size e Pooling Temporal:

  • O tamanho do salto (hop size) foi aumentado de 320 para 960 amostras.
  • Foi introduzida uma camada de pooling médio (AvgPool1d) com kernel e stride iguais a 2, aplicada antes da quantização vetorial.
  • Resultado: A taxa de quadro latente foi reduzida de 50 Hz para 25 Hz (metade dos tokens por segundo), enquanto a taxa de amostragem de saída do áudio foi aumentada de 16 kHz para 24 kHz.

• Interpolação Linear de Pesos do Decodificador:

  • Para evitar o treinamento do zero, os pesos do cabeçalho de saída do decodificador (gerador) foram interpolados linearmente de 1D para se adequarem à nova dimensão de saída (devido ao novo hop size de 960).
  • A fórmula de interpolação permite que o decodificador mantenha as características espectrais do modelo pré-treinado original enquanto se adapta suavemente à nova resolução.

• Congelamento e Ajuste Fino (Fine-tuning):

  • O codificador semântico (baseado em HuBERT congelado) e o codificador do codec foram mantidos congelados.
  • Apenas o decodificador foi ajustado fino (fine-tuned) para acomodar a nova configuração temporal e o pooling.

3. Configuração Experimental

• Dados de Treinamento: Um corpus multilíngue de aproximadamente 16.000 horas de fala, cobrindo mais de 100 idiomas (incluindo inglês, mandarim, malaio, japonês, coreano, árabe, hindi, etc.). Os áudios foram reamostrados para 24 kHz.
• Treinamento: Realizado em duas GPUs NVIDIA RTX 3090 Ti, com precisão mista BF16, por 3 milhões de passos.
• Função de Perda: Segue a formulação multi-objetivo do X-Codec-2.0 original (espectro mel, adversarial e perda semântica), adaptada para a taxa de amostragem de 24 kHz.

4. Resultados Principais

O modelo proposto foi avaliado no conjunto de teste Common Voice 17 (116 idiomas) utilizando o preditor neural UTMOSv2 para estimar a Pontuação Média de Opinião (MOS).

• Melhoria de Qualidade: O modelo alcançou uma melhoria de +0,29 no MOS em comparação com a linha de base X-Codec-2.0.
• Desempenho Comparativo: Entre todos os codecs operando na taxa de 25 Hz, o modelo proposto obteve o melhor desempenho reportado.
• Consistência Multilíngue: A melhoria foi consistente em todos os idiomas testados, demonstrando melhor reconstrução de altas frequências e clareza perceptual geral.
• Eficiência: A redução da taxa de tokens para 25 Hz diminui a carga computacional para modelos geradores subsequentes, mantendo ou melhorando a qualidade do áudio.

5. Contribuições e Significância

• Otimização Arquitetural Simples: Demonstra que ajustes mínimos (pooling e hop size) podem gerar ganhos significativos de qualidade sem aumentar a complexidade do treinamento ou o número de parâmetros.
• Novo Estado da Arte em Baixa Taxa de Tokens: Estabelece um novo padrão de qualidade para codecs de áudio operando em 25 Hz, superando concorrentes como DAC, Encodec, Mimi e SpeechTokenizer nessa faixa específica.
• Facilitação para LLMs: Ao reduzir a sequência de tokens em 50% (de 50 Hz para 25 Hz) e aumentar a fidelidade do áudio (24 kHz), o modelo torna-se mais eficiente para integração em pipelines de LLMs multimodais e tarefas de geração de fala (TTS).
• Reprodutibilidade: O código-fonte, checkpoints e comparações de geração foram disponibilizados publicamente.

6. Limitações e Trabalhos Futuros

• Generalização: O modelo foi treinado principalmente em dados limpos (Common Voice), podendo ter dificuldade com ruído de fundo ou vozes expressivas/emocionais.
• Métrica de Avaliação: A avaliação baseou-se no UTMOSv2. Embora correlacionado com julgamentos humanos, não substitui totalmente avaliações subjetivas humanas em todos os idiomas.
• Aplicações a Montante: Ainda não foi explorado como esses tokens afetam a perplexidade e o desempenho em tarefas de modelagem de linguagem downstream.
• Futuro: Trabalhos futuros devem investigar a relação entre a taxa de quadro latente e a capacidade do decodificador, além de testar em dados mais diversos e ruidosos.

Conclusão

Este trabalho valida que é possível melhorar a eficiência e a fidelidade de codecs neurais multilíngues através de ajustes temporais inteligentes. Ao reduzir a taxa de latência para 25 Hz e aumentar a amostragem para 24 kHz, o X-Codec-2.0 modificado oferece uma representação de áudio mais compacta e de maior qualidade, ideal para a próxima geração de modelos de linguagem que processam fala.