⚡ electrical engineering

Is Natural Always Appropriate? Investigating Naturalness and Appropriateness Across Different Domains for TTS Evaluation

Este artigo demonstra que a avaliação de Text-to-Speech (TTS) requer métricas sensíveis ao contexto em vez de uma abordagem única para todos, uma vez que a adequação da fala varia significamente entre diferentes domínios e frequentemente conflita com pontuações tradicionais de naturalidade.

Autores originais: Dominika Woszczyk, Andreas Triantafyllopoulos, Jura Miniota, Éva Székely, Bjoern Schuller

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dominika Woszczyk, Andreas Triantafyllopoulos, Jura Miniota, Éva Székely, Bjoern Schuller

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando um dublador. Se você precisa de alguém para ler uma história de ninar para uma criança, você quer uma voz calma, constante e suave. Mas se você precisa de alguém para interpretar um personagem frenético em um videogame ou para soar como um amigo conversando sobre um café, essa mesma voz calma pareceria estranha e fora de lugar.

Este artigo argumenta que a tecnologia de Text-to-Speech (TTS - Conversão de Texto em Fala) está enfrentando o mesmo problema. Durante anos, os desenvolvedores tentaram fazer com que as vozes de computador soassem o mais "natural" (semelhante ao humano) possível. Mas este estudo mostra que ser "natural" nem sempre é o mesmo que ser "apropriado".

Aqui está um detalhamento do que os pesquisadores descobriram, usando analogias simples:

1. O Mito do "Canivete Suíço"

Por muito tempo, o objetivo era construir um único sistema de TTS perfeito que pudesse fazer tudo bem — como um canivete suíço que deveria ser o melhor canivete, chave de fenda e tesoura ao mesmo tempo.

Os pesquisadores testaram cinco dos sistemas de TTS mais inteligentes e avançados disponíveis hoje. Eles pediram a ouvintes humanos que avaliassem esses sistemas em cinco "papéis" diferentes:

O Leitor: Lendo um livro em voz alta.
O Assistente: Agindo como uma IA prestativa (como a Siri ou a Alexa).
O Ator: Interpretando uma cena dramática.
O Personagem: Interpretando um personagem de desenho animado.
O Falante Espontâneo: Tendo uma conversa casual e não roteirizada.

O Resultado: Nenhum sistema único venceu em tudo.

Alguns sistemas eram ótimos para ler livros, mas soavam robóticos e entediantes ao tentar ter uma conversa casual.
Outros sistemas eram incríveis em soar como uma pessoa real tendo uma conversa bagunçada e espontânea, mas soavam excessivamente crus e pouco polidos para serem um assistente prestativo.

A Analogia: É como tentar usar um smoking em um jogo de futebol na lama. O smoking é de "alta qualidade" e "formal", mas é a ferramenta errada para o trabalho. Da mesma forma, um sistema de TTS otimizado para uma leitura formal pode falhar miseravelmente em uma conversa casual.

2. A Armadilha do "Semelhante ao Humano"

O estudo revelou uma reviravolta surpreendente: Só porque uma voz soa humana, não significa que ela seja a voz certa para o trabalho.

O Assistente "Robótico": Quando as pessoas ouviam um assistente de IA, elas na verdade preferiam uma voz que soasse um pouco menos humana e mais constante. Elas não queriam um amigo tagarela e emocional; elas queriam uma ferramenta confiável.
O Personagem "Real Demais": Ao ouvir um personagem de animação, uma voz que soasse demais como um humano real, imperfeito (com pausas, respirações e gaguejos), parecia errada. Os ouvintes queriam que o personagem soasse estilizado, não como uma pessoa real pega de surpresa.

A Lição: "Naturalidade" é uma métrica complicada. Às vezes, soar menos humano é, na verdade, a escolha mais "apropriada" para uma tarefa específica.

3. O Paradoxo da "Imperfeição"

Os pesquisadores analisaram as ondas sonoras reais para ver o que fazia uma voz parecer certa. Eles descobriram que diferentes papéis precisam de diferentes tipos de "falhas".

Para Conversa Casual: Os ouvintes realmente gostavam de ouvir pequenas imperfeições como "hum", "ah" e leves quebras na voz. Isso fazia a IA parecer uma pessoa real pensando rapidamente.
Para Leitura ou Assistentes: Essas mesmas imperfeições faziam a voz parecer pouco profissional ou quebrada.

A Analogia: Pense em um músico de jazz improvisando. Algumas notas erradas ou um ritmo bagunçado podem fazer a performance parecer "viva" e "espontânea". Mas se um âncora de notícias estivesse lendo o telejornal da noite e cometesse esses mesmos erros, seria um desastre. O "erro" só é ruim se estiver no contexto errado.

4. A Régua Quebrada

Finalmente, o artigo aponta que as ferramentas que usamos para medir a qualidade do TTS estão frequentemente quebradas.

A maioria dos sistemas de pontuação automática (as "réguas" que os desenvolvedores usam para verificar seu trabalho) é projetada para recompensar áudios "limpos" e "perfeitos".

O Problema: Essas réguas penalizam justamente as coisas que fazem uma voz soar bem em um ambiente casual ou dramático (como pausas, emoção e variação).
O Resultado: Um sistema de TTS pode receber uma pontuação alta de um computador porque soa "limpo", mas um ouvinte humano pode odiá-lo por soar entediante ou errado para a situação.

Resumo

A mensagem principal deste artigo é que precisamos parar de perguntar "Isso soa como um humano?" e começar a perguntar "Isso soa certo para o trabalho?"

Não existe uma única "melhor" voz. Assim como você não usaria um traje de banho para uma reunião de negócios ou um terno para a praia, você não deve usar as mesmas configurações de TTS para um personagem de videogame que usaria para um aplicativo de navegação. Para criar melhores vozes de IA, precisamos avaliá-las com base no papel específico que estão desempenhando, não apenas pelo quão "humanas" soam no vácuo.

Resumo Técnico: O Natural é Sempre Adequado? Investigando a Naturalidade e a Adequação em Diferentes Domínios para Avaliação de TTS

Declaração do Problema

A avaliação de texto-para-fala (TTS) historicamente priorizou a "naturalidade", frequentemente medida via Mean Opinion Scores (MOS). No entanto, a naturalidade é cada vez mais reconhecida como um conceito mal definido e multidimensional que falha em capturar a adequação contextual. Uma voz otimizada para um audiolivro pode ser inadequada para uma linha de emergência ou um agente conversacional. Embora trabalhos recentes tenham introduzido a "adequação" (se o discurso se ajusta ao seu propósito comunicativo) e benchmarks baseados em persona, o impacto sistemático do domínio alvo sobre os julgamentos de adequação permanece subexplorado. As métricas atuais "agnósticas à tarefa" frequentemente ignoram necessidades situacionais, levando a cenários onde um modelo com alta precisão ou naturalidade é percebido como inadequado para seu uso pretendido no mundo real.

Metodologia

Os autores conduziram um estudo perceptual para avaliar como a naturalidade percebida (enquadrada como "semelhança humana") e a adequação (enquadrada como "convencimento") variam através de diferentes aplicações de downstream.

Participantes e Configuração: 150 falantes nativos de inglês foram recrutados via Prolific e divididos em seis sessões. Eles avaliaram 30 frases curadas em cinco sistemas de TTS e amostras de verdade fundamental (GT - Ground Truth).
Domínios (Personas): O estudo avaliou cinco casos de uso distintos:
1. Leitor (Reader): Narração descritiva (LibriQuote).
2. Falante Espontâneo (Spontaneous Speaker): Conversação informal e disfluente (MSP-Podcast).
3. Ator (Actor): Diálogo emocional (MELD).
4. Personagem Animado (Animated Character): Performance estilizada (AnimeVox).
5. Assistente de IA (AI Assistant): Interação informativa e conversacional.
Sistemas Avaliados: Cinco sistemas de estado da arte foram selecionados para cobrir um espectro de expressividade e espontaneidade:
- Kokoro: Leve, prosodicamente consistente, baixa espontaneidade.
- Gemini TTS: Altamente expressivo e estilizado.
- Kyutai-TTS: Treinado em dados conversacionais brutos, alta espontaneidade.
- GPT-4o-mini-tts: Perfil equilibrado com espontaneidade média-alta.
- ElevenLabs: Entrega profissional, espontaneidade média.
Métricas: Os participantes avaliaram a "semelhança humana" e o "convencimento" em uma escala Likert de 5 pontos. O estudo também analisou características acústicas (ritmo, expressividade, qualidade de voz) e as correlacionou com métricas de avaliação automática (ex: UTMOS, DNSMOS, WER, distâncias de embedding).

Principais Contribuições

Análise Perceptual Cross-Domain: O estudo mede sistematicamente como a naturalidade e a adequação mudam através de diferentes configurações, demonstrando que o desempenho de um sistema não é uniforme.
Paradoxo da Semelhança Humana: Os autores analisam a relação entre semelhança humana e adequação ao domínio, mostrando que alta naturalidade não garante adequação, e vice-versa.
Perfil de Métricas Específicas de Domínio: O trabalho perfila como métricas automáticas comuns se correlacionam com a adequação percebida, revelando que métricas de "tamanho único" frequentemente falham em domínios expressivos ou espontâneos.

Principais Resultados

1. A Adequação Depende do Domínio

A adequação varia significamente entre domínios e não está estritamente ligada à naturalidade.

Papéis de Leitura/Assistente: A maioria dos sistemas obteve pontuações altas aqui. Notavelmente, o Kokoro teve bom desempenho nestes papéis apesar da menor naturalidade, sugerindo que os ouvintes podem esperar que assistentes de IA soem um pouco robóticos ou estáveis.
Papéis Expressivos/Espontâneos: O Kyutai-TTS destacou-se em conversação espontânea, mas pontuou mal como assistente ou personagem animado, soando "excessivamente bruto". Por outro lado, sistemas como ElevenLabs e Gemini pontuaram bem em domínios de atuação, mas tiveram dificuldades com conversação espontânea.
Subjetividade: A baixa concordância entre avaliadores (Krippendorff's $\alpha$ = 0.2 para TTS) indica que a adequação é altamente subjetiva e influenciada pelas expectativas individuais dos ouvintes.

2. Desacoplamento de Semelhança Humana e Adequação

A análise de correlação revelou que semelhança humana e adequação são dimensões distintas:

Correlação Positiva: Observada nos domínios de Ator, Espontâneo e Leitor.
Correlação Negativa: Observada no domínio de Assistente ( $\rho = -0.44$ ). Sistemas considerados altamente adequados para assistentes (ex: Kokoro) frequentemente receberam pontuações de naturalidade mais baixas.
Correlação Próxima de Zero: Observada no domínio de Personagem Animado.
Conclusão: Alta naturalidade não garante adequação para tarefas específicas (ex: Kyutai-TTS era natural, mas inadequado para um papel de assistente).

3. Impacto das Tarefas de Fala na Naturalidade

Penalidades de Estilização: A entrega altamente estilizada (ex: AnimeVox) foi penalizada nas pontuações de naturalidade, independentemente da tarefa.
Dificuldade da Tarefa vs. Capacidade do Modelo: A narração é frequentemente considerada mais fácil de sintetizar, mas o Kyutai-TTS performou de forma mais natural em tarefas conversacionais do que em leitura, sugerindo que as pontuações de naturalidade refletem a capacidade de um modelo em lidar com estilos específicos, em vez da dificuldade inerente da tarefa.
Variância da Verdade Fundamental (Ground Truth): Até mesmo as avaliações humanas da verdade fundamental variaram por domínio, com amostras conversacionais sendo preferidas em relação à narração, possivelmente devido a sotaques ou maturidade da voz.

4. Características Acústicas e Adequação

Personagens Animados: Correlacionaram fortemente com a variabilidade da taxa de articulação e flutuações de ritmo ( $\rho \approx 0.4$ ).
Leitores: Preferiam uma entrega rítmica estável e controlada (correlação negativa com a variabilidade).
Assistentes: Preferiam estabilidade e neutralidade; correlacionados negativamente com o alcance de $f0$ e valência (carga emocional).
Fala Espontânea: Mostrou correlações positivas únicas com "imperfeições humanas" como jitter ( $\rho = 0.34$ ) e creaky voice ( $H1-H2$ ), indicando que esses recursos são esperados em interações casuais.

5. Limitações das Métricas Automáticas

Estimadores de Qualidade: Métricas como UTMOS e DNSMOS mostraram correlações negativas com a adequação para estilos de Ator e Espontâneo. Elas penalizam as disfluências e os intervalos dinâmicos essenciais para a fala expressiva.
Métricas de Embedding: AudioBox e AutoPCP foram eficazes para estilos de Assistente e Leitor, mas falharam em capturar nuances de semelhança humana, mostrando correlações inversas.
WavLM: Correlacionou-se negativamente com a adequação de Assistente, mas positivamente com a semelhança humana, sugerindo que representa melhor a fala neutra do que a adequação específica à tarefa.

Significância e Alegações

O artigo argumenta que o desempenho de TTS não está "resolvido", mas é fundamentalmente dependente do domínio alvo. Os autores afirmam que:

O Contexto é Rei: A avaliação deve ser consciente do contexto. Uma única pontuação de naturalidade não pode prever a adequação em diversas aplicações.
Dimensões Distintas: "Semelhança humana" e "adequação" não são intercambiáveis. Otimizar para um pode degradar o desempenho no outro.
Pontos Cegos das Métricas: As métricas atuais de "tamanho único" possuem pontos cegos em domínios expressivos, muitas vezes penalizando justamente os recursos (disfluência, variabilidade) necessários para a interação natural nesses contextos.
Direção Futura: O campo deve mudar de perguntar se uma emissão "soa como um humano" para se ela "soa correta" para seu propósito específico. Futuros sistemas de TTS e vozes devem ser projetados com estilos de entrega específicos em mente, em vez de serem soluções universais.