On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models

Resumo Técnico: Sobre o Efeito da Largura de Segmentação e do Tamanho do Cluster na Ressíntese e Continuação de Fala em Modelos Generativos de Linguagem Falada

Definição do Problema
A Modelagem de Linguagem Falada Generativa (GSLM) visa treinar modelos de linguagem (LMs) em representações discretas de fala sem depender de transcrições textuais. Embora esse paradigma possibilite aplicações para línguas não escritas e aquisição de linguagem infantil, as abordagens atuais de GSLM enfrentam desafios de eficiência. A conversão de sinais de fala em sequências de unidades discretas (fala-para-unidade, ou s2u) resulta tipicamente em sequências significativamente mais longas que o texto, levando a aumentos quadráticos nos custos computacionais para LMs baseados em Transformer. Além disso, a literatura existente sugere que o desempenho na compreensão de linguagem falada pode ser melhorado reduzindo o comprimento da sequência e aumentando o tamanho do cluster, mas permanece incerto se esses achados se aplicam a tarefas de síntese e continuação de fala, que são críticas para aplicações generativas.

Metodologia
Os autores investigam o impacto de variar as taxas de bits no desempenho da GSLM ao manipular dois parâmetros principais no pipeline s2u:

1. Largura de Segmentação ($N$): As representações contínuas de fala extraídas de um modelo SSL (HuBERT-base) são segmentadas em janelas de comprimento fixo de $N$ milissegundos.
2. Tamanho do Cluster ($K$): Esses segmentos são quantizados usando agrupamento K-means com variados números de clusters ($K$), variando de $2^7$ (128) a $2^{14}$ (16.384).

Ao combinar oito valores de $N$ (20ms a 280ms) com oito valores de $K$, o estudo cria 64 configurações distintas de taxa de bits. O baseline é definido como $N=20$ (correspondendo ao deslocamento de quadro original do HuBERT) com tamanhos de cluster padrão.

O framework experimental avalia duas tarefas primárias:

• Ressíntese de Fala: Reproduzir a fala de entrada a partir de unidades discretas.
• Continuação de Fala: Gerar fala semanticamente e acusticamente coerente condicionada a um segmento de entrada.

O sistema emprega uma arquitetura GSLM padrão: um módulo s2u, um LM de unidades autoregressivo baseado em Transformer (uLM, baseado em OPT) e um módulo de síntese de unidade-para-fala (u2s). Dois modelos u2s distintos foram testados para garantir robustez: Tacotron2 com um vocoder Parallel WaveGAN e VITS (um modelo end-to-end).

Métricas de Avaliação
O estudo utiliza uma estratégia de avaliação multifacetada:

• Ressíntese: Taxa de Erro de Palavra (WER) para inteligibilidade, UTMOS para naturalidade, e Distorção de Cepstral de Mel (MCD) e LogF0 RMSE para reconstrução de características acústicas.
• Continuação: Perplexidade (PPL) e diversidade (VERT) calculadas sobre uma gama de temperaturas de amostragem. Os autores observam que a métrica tradicional de "área sob a curva" para os trade-offs PPL/VERT é frequentemente inválida devido ao comportamento não monotônico; em vez disso, utilizam a distância euclidiana até um ponto oracle após normalização min-max.
• Avaliação Avançada: Julgamentos pareados usando um LLM-como-Juiz (GPT-4.1-mini) e avaliações humanas usando o Score de Opinião Média de Significado (MMOS).

Resultos Principais

• Ressíntese de Fala: Embora larguras de segmentação menores ($N$) sejam geralmente preferidas, valores moderadamente grandes (ex: $N=40$ ou $80$) alcançam desempenho comparável ao baseline ($N=20$) sem degradação substancial na inteligibilidade ou naturalidade. Isso sugere que configurações de taxa de bits mais baixas podem preservar a qualidade da fala.
• Continuação de Fala: Contrariamente à ressíntese, onde o baseline frequentemente produz os melhores resultados, diversas configurações com $N$ maior (taxas de bits menores) apresentam desempenho equivalente ou ligeiramente superior ao baseline em tarefas de continuação. Especificamente, configurações como $(N=120, K=2^{13})$ para Tacotron2 e $(N=80, K=2^{12})$ para VITS demonstraram alto desempenho.
• Dependência do Modelo: O Tacotron2 superou consistentemente o VITS em inteligibilidade (WER), enquanto o VITS mostrou fidelidade acústica superior (MCD, UTMOS). No entanto, a escolha do modelo u2s teve impacto limitado na qualidade do conteúdo semântico da continuação, conforme evidenciado pelas altas correlações de ranking de Spearman nos escores de PPL e VERT entre os dois modelos.
• Métricas de Avaliação: Julgamentos pareados baseados em LLM mostraram uma correlação maior com escores subjetivos humanos (MMOS) do que métricas convencionais (PPL, VERT). Contudo, a correlação permaneceu baixa no geral, indicando que as métricas automáticas atuais são insuficientes para avaliar a significância da fala de forma confiável.

Significância e Alegações
O artigo alega que a configuração convencional de GSLM, que tipicamente emprega unidades discretas de alta resolução (pequeno $N$, grande comprimento de sequência), pode conter informações redundantes para uma geração de fala eficaz. Os autores demonstram que a ressíntese de fala inteligível e natural, bem como a continuação de fala de alta qualidade, podem ser alcançadas em taxas de bits substancialmente menores ao aumentar a largura de segmentação e otimizar o tamanho do cluster.

Este achado sugere um caminho para um treinamento e inferência mais eficientes para GSLMs, potencialmente reduzindo custos computacionais sem sacrificar a qualidade da saída. Adicionalmente, o estudo destaca uma lacuna crítica na metodologia de avaliação: embora métricas baseadas em LLM ofereçam uma melhoria sobre as métricas tradicionais, o campo ainda carece de métodos de avaliação automática de alta correlação e robustos para a continuação de fala, necessitando de mais pesquisas nesta área.