Prosodic Boundary-Aware Streaming Generation for LLM-Based TTS with Streaming Text Input

Este artigo propõe uma estratégia de pós-treinamento que torna modelos de TTS baseados em LLMs conscientes de fronteiras prosódicas, permitindo a geração de áudio em streaming com texto incremental e resolvendo problemas de prosódia não natural e colapso em textos longos através de um mecanismo de janela deslizante e parada antecipada.

O essencial

Imagine que você está pedindo para um robô narrar uma história para você, mas com uma condição especial: você quer que ele comece a falar assim que você digitar a primeira palavra, sem esperar você terminar a frase inteira. Isso é o que chamamos de "Texto para Fala em Tempo Real" (Streaming TTS).

O problema é que, para falar de forma natural, com as pausas certas e a entonação correta (prosódia), o robô precisa "olhar para o futuro" e saber o que vem a seguir. Se ele só olhar para o que já foi dito, a voz fica robótica e sem emoção. Por outro lado, se ele tentar lembrar de tudo o que foi dito desde o início da conversa, a memória dele fica sobrecarregada e, em textos longos, ele começa a "alucinar", esquecendo o que disse ou falando coisas sem sentido.

Os autores deste artigo criaram uma solução inteligente para esse dilema. Vamos explicar como funciona usando algumas analogias simples:

1. O Problema: O "Cego" e o "Elefante na Sala"

• O Cego (Falta de Futuro): Imagine um narrador que só pode ver o que está na frente do nariz. Ele não sabe que a frase vai terminar com uma exclamação ou uma pergunta. Por isso, ele fala tudo com a mesma entonação chata.
• O Elefante na Sala (Memória Infinita): Agora imagine que esse narrador tem que lembrar de toda a história que já contou, palavra por palavra, para continuar. Em uma conversa curta, ele consegue. Mas se a conversa durar horas, a memória dele fica tão cheia que ele começa a se confundir, esquece o nome dos personagens ou repete frases. É o que chamam de "colapso de longo prazo".

2. A Solução: O "Marcador de Pausa" e a "Janela Deslizante"

Os pesquisadores propuseram um método que combina duas ideias geniais:

A. O Marcador de Pausa (Prosodic-Boundary Marker)

Eles ensinaram o robô a reconhecer um "sinal de trânsito" invisível.

• Como funciona: Em vez de tentar ler o livro inteiro, o robô recebe o texto em pequenos blocos (chunks). A cada 5 palavras, eles inserem um "marcador" especial.
• A Analogia: É como se você estivesse dirigindo em uma estrada nebulosa. Você não precisa ver o destino final. Você só precisa ver os postes de quilometragem (os marcadores) que dizem: "Até aqui, a estrada é reta; daqui para frente, pode haver uma curva".
• O Truque: O robô recebe um pouquinho do texto futuro (o "olhar para o futuro") apenas para saber onde fazer a pausa ou mudar o tom de voz, mas ele para de processar assim que atinge o marcador. Isso evita que ele se perca.

B. A Janela Deslizante (Sliding-Window)

Para evitar que a memória do robô exploda, eles usam uma técnica de "janela deslizante".

• Como funciona: Imagine uma janela de trem. Você só vê a paisagem que passa pela janela. Quando o trem anda, a janela desliza e mostra a próxima parte da paisagem, esquecendo a parte que ficou para trás.
• A Analogia: O robô mantém na memória apenas o "rastro" da voz que ele acabou de falar (para continuar com a mesma voz e emoção) e o texto atual. Ele joga fora o texto antigo que já foi falado. Isso impede que a memória fique cheia (o "Elefante na Sala") e mantém a conversa fluida por horas, sem que o robô fique confuso.

3. O Resultado: O Narrador Perfeito

Com essa técnica, o robô consegue:

1. Falar imediatamente: Assim que você digita, ele começa a falar (baixa latência).
2. Soar humano: Ele sabe onde fazer pausas e mudar o tom, porque olhou um pouquinho para o futuro antes de falar.
3. Não enlouquecer: Em textos longos (como um livro inteiro), ele não perde a voz, não esquece o personagem e não começa a falar besteira.

Os Números Mágicos:
O teste mostrou que, em textos longos, o método deles reduziu os erros de fala de 71% para apenas 4,8%. É como se um aluno que antes errava quase todas as palavras de um ditado longo, de repente, passasse a acertar quase tudo, mantendo a mesma voz e emoção do início ao fim.

Resumo em uma frase

Eles ensinaram um robô a narrar histórias em tempo real, dando a ele "postes de quilometragem" para saber como falar e uma "janela deslizante" para não esquecer o que já passou, garantindo uma voz natural e estável, mesmo em conversas que duram horas.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Título: Geração de TTS Baseada em LLM com Entrada de Texto em Streaming e Consciência de Fronteiras Prosódicas

1. O Problema

A síntese de fala em streaming (tempo real) que recebe texto também em streaming é crucial para sistemas interativos (como diálogos e tradução fala-fala). No entanto, essa abordagem enfrenta dois desafios principais:

• Prosódia Não Natural: A falta de "olhar para frente" (lookahead) impede que o modelo preveja corretamente características prosódicas como ênfase e pausas, resultando em fala artificial.
• Colapso em Textos Longos: Em arquiteturas modernas baseadas em Grandes Modelos de Linguagem (LLM) que intercalam tokens de texto e fala, o histórico de geração ilimitado causa instabilidade. À medida que o texto e a fala se acumulam, a distância física entre um token de texto e seus tokens de fala correspondentes aumenta, levando a erros de geração, alucinações e falha na síntese de longos discursos.

Soluções existentes frequentemente exigem modificações complexas nos mecanismos de atenção ou alinhamentos precisos entre texto e fala (forçados), o que é difícil de obter em escala.

2. Metodologia Proposta

Os autores propõem uma estratégia de pós-treinamento adaptativa que não requer alterações na arquitetura do modelo, utilizando apenas dados com alinhamento temporal fraco (obtidos automaticamente). A metodologia baseia-se em três pilares:

• Marcador de Fronteira Prosódica (Prosodic-Boundary Marker):

  • O modelo é treinado para reconhecer um marcador especial (markerboundary) inserido no texto.
  • Durante o treinamento, o modelo aprende a interpretar esse marcador como uma fronteira suave, permitindo que ele planeje a prosódia com base em um contexto futuro limitado, mas evitando o crescimento descontrolado do contexto.
  • O alinhamento temporal é aproximado usando o WhisperX para obter timestamps de nível de palavra, sem necessidade de anotação manual.

• Treinamento com Supervisão de Alinhamento Fraco:

  • Utiliza uma técnica de Inserção Estocástica de Fronteiras. Durante o treinamento, o modelo pode receber a frase completa (para coerência global) ou uma versão truncada onde um marcador é inserido aleatoriamente após uma palavra $m$.
  • O alvo de áudio é truncado no tempo de áudio correspondente a essa palavra, forçando o modelo a aprender a gerar áudio alinhado apenas ao segmento anterior ao marcador.

• Janela Deslizante e Contexto Limitado (Sliding-Window Continuation):

  • Na inferência, o texto é processado em blocos (chunks) de $k$ palavras, com uma janela de lookahead de $f$ palavras futuras.
  • Para garantir continuidade entre os blocos, o prompt inclui os tokens de texto e de fala sintetizados no bloco anterior.
  • Isso mantém o cache de Chave-Valor (KV) limitado a $O(k + f)$, independentemente do comprimento total do texto, prevenindo o colapso em longas sequências e mantendo a latência estável.

3. Principais Contribuições

1. Adaptação Consciente de Fronteiras: Introdução de um mecanismo que permite aos modelos LLM antecipar texto futuro para melhorar a prosódia sem modificações causais complexas na arquitetura.
2. Prompting Acústico: Uso da cauda do áudio do bloco anterior para garantir uma concatenação suave e mitigar o colapso de geração em fluxos contínuos de multimodalidade.
3. Robustez com Dados Fracos: Demonstração de que é possível alcançar estabilidade de streaming de ponta usando apenas dados de código aberto com alinhamento temporal fraco, superando baselines intercalados existentes.

4. Resultados Experimentais

Os testes foram realizados no conjunto de dados Seed-TTS-Eval e em um cenário de texto longo expandido (280-320 palavras). O modelo base utilizado foi o CosyVoice2.

• Eficiência de Streaming:

  • O método proposto alcançou o menor tempo até o primeiro áudio (TTFA: 1296 ms), superando as abordagens Interleaved e Sliding-Window padrão.
  • Fator de Tempo Real (RTF) de 0.782 (usando vocoder em streaming), indicando capacidade de síntese em tempo real.

• Qualidade de Síntese (Objetiva):

  • Taxa de Erro de Palavras (WER): O método reduziu drasticamente o WER em textos longos, caindo de 71,0% (baseline Interleaved) para 4,8%. Isso demonstra a eliminação do colapso de geração.
  • Semelhança de Voz (SPK-SIM) e Emoção (EMO-SIM): O método manteve alta consistência em textos longos (0,65 e 0,912, respectivamente), enquanto as baselines sofreram degradação severa na similaridade de voz (queda para 0,22).

• Avaliação Subjetiva (MOS):

  • O método proposto obteve as maiores pontuações em inteligibilidade, similaridade de voz e emoção tanto em cenários padrão quanto longos, superando consistentemente as baselines.

5. Significado e Conclusão

Este trabalho oferece uma solução robusta para a síntese de fala em streaming com entrada de texto incremental. Ao introduzir marcadores de fronteira e limitar o contexto de geração, os autores resolveram o dilema entre a necessidade de contexto futuro para prosódia natural e a necessidade de contexto limitado para estabilidade em longas durações.

A principal inovação é a capacidade de manter a qualidade e a estabilidade em conversas longas sem depender de alinhamentos perfeitos ou alterações arquiteturais complexas, tornando-se uma solução prática para sistemas de diálogo e tradução em tempo real. O trabalho abre caminho para generalização em outras arquiteturas de LLM e cenários multilíngues.