Knowing What to Stress: A Discourse-Conditioned Text-to-Speech Benchmark

1. O Problema

A comunicação falada depende não apenas do conteúdo lexical (o que é dito), mas também da prosódia, especificamente do estresse de palavras (ênfase). A mesma frase pode transmitir significados diferentes (correção, contraste, esclarecimento) dependendo de qual palavra é enfatizada.

Embora os sistemas modernos de Texto para Fala (TTS) gerem fala expressiva, existe uma lacuna crítica: não está claro se esses sistemas conseguem inferir o estresse contextualmente apropriado apenas a partir do discurso, sem sinais explícitos de ênfase. A maioria dos sistemas atuais falha em adaptar a prosodia dinamicamente quando o contexto discursivo muda, mantendo padrões de estresse internos à frase em vez de responder ao contexto.

2. Metodologia e o Benchmark CAST

Os autores apresentam o CAST (Context-Aware Stress TTS), um benchmark projetado para avaliar especificamente a geração de estresse de palavras condicionada ao contexto em sistemas TTS.

• Definição da Tarefa: O sistema recebe um contexto textual ($c$) e uma frase alvo ($s$) e deve sintetizar a fala com o estresse correto na palavra alvo ($w^*$), definida semanticamente pelo contexto. Não há anotações de estresse fornecidas durante a inferência.
• Estrutura dos Dados: Os itens do benchmark são pares de contexto contrastivo. A mesma frase é apresentada com dois contextos diferentes que exigem o estresse em palavras distintas.
  • Exemplo: A frase "O gerente reservou o voo" pode exigir estresse em "gerente" (para corrigir quem fez a ação) ou em "voo" (para esclarecer o que foi reservado), dependendo do contexto anterior.
• Construção do Dataset:
  • Utilizou-se prompting estruturado com modelos de linguagem (GPT-5-mini) para gerar contextos, frases e alvos de estresse de forma coerente.
  • Um pipeline de verificação com múltiplos juízes (GPT-5-nano e Gemini-2.5-flash) filtrou itens onde os juízes discordavam sobre a palavra estressada correta.
  • O conjunto de avaliação final contém 113 pares contrastivos (226 itens), equilibrados em posições de estresse e tipos pragmáticos (correção, exclusividade, papel, etc.).
• Avaliação:
  • Os sistemas TTS foram avaliados apenas com base no áudio gerado.
  • Utilizou-se o modelo WHISTRESS (baseado no Whisper) para detecção automática de palavras estressadas no áudio sintetizado.
  • Métricas Propostas:
    • Hit: Se a palavra alvo foi estressada.
    • Pair-Contrast: Se a palavra alvo foi estressada E a palavra alternativa (correta no outro contexto) não foi estressada.
    • Pair-Correct: Se o sistema acertou o estresse em ambos os lados do par contrastivo simultaneamente (a métrica mais rigorosa, que elimina viéses internos da frase).

3. Principais Contribuições

1. Benchmark CAST: O primeiro conjunto de dados focado na avaliação de estresse de palavras condicionado ao contexto em TTS, definindo alvos semanticamente através de pares contrastivos.
2. Pipeline de Geração Escalável: Um pipeline de construção de dados liberado para a comunidade, incluindo uma versão estendida que gera um corpus sintético de ~10.000 amostras (texto-contexto-áudio) para treinamento supervisionado.
3. Avaliação Sistemática: Uma análise abrangente de sistemas TTS de última geração (incluindo modelos baseados em LLM como CosyVoice, HiggsAudio V2, Qwen3-TTS e GPT-4o-mini), revelando falhas consistentes na adaptação contextual.

4. Resultados Chave

Os resultados revelam uma lacuna consistente entre a inferência semântica e a realização acústica:

• Falha dos Sistemas TTS: Todos os sistemas avaliados (seja em modo "Concat", "Instruct" ou sem contexto) falharam em produzir estresse contextualmente apropriado de forma confiável.
  • As pontuações na métrica rigorosa Pair-Correct foram próximas de zero para quase todos os sistemas.
  • Isso indica que os modelos tendem a aplicar padrões de estresse fixos baseados na estrutura da frase, ignorando o contexto discursivo.
• Inferência de Texto vs. Realização de Fala:
  • Quando modelos de linguagem puramente textuais (sem síntese de fala) foram testados na mesma tarefa, eles demonstraram alta capacidade de inferir a palavra correta (ex: Claude Haiku atingiu 88.1% em Contrast e 76.1% em Correct).
  • Isso prova que o significado é recuperável do texto, mas o sistema TTS falha em traduzir essa inferência para a prosódia da fala.
• Supervisão Explícita: Mesmo quando o estresse é fornecido explicitamente (via markup), os sistemas melhoram, mas ainda não atingem uma realização perfeita, sugerindo que a própria geração de prosódia controlada é um desafio não resolvido.

5. Significado e Conclusão

O trabalho demonstra que, embora os modelos de linguagem compreendam o contexto e saibam o que enfatizar, os sistemas TTS atuais não conseguem realizar essa ênfase na fala de forma confiável.

• Impacto: O CAST estabelece um novo padrão para avaliar a "consciência contextual" na síntese de fala, indo além da qualidade acústica para medir a adequação semântica da prosódia.
• Futuro: Os autores liberam o benchmark, o código de avaliação e o corpus sintético para incentivar pesquisas que fechem essa lacuna, permitindo que sistemas TTS gerem fala que não soe apenas natural, mas também semanticamente precisa e adaptada ao diálogo.

Em resumo, o artigo identifica que a inferência de estresse baseada em contexto é uma habilidade que os TTS ainda não dominaram, apesar dos avanços recentes em expressividade, e fornece as ferramentas necessárias para medir e melhorar esse aspecto crítico da síntese de fala.