LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations

Resumo Técnico: Avaliação de Múltiplas Referências Baseada em LLM para Anotações de Quebra de Frase

Declaração do Problema

A avaliação confiável de anotações de quebra de frase é crítica para sistemas de Text-to-Speech (TTS), pois as fronteiras prosódicas influenciam diretamente a clareza e a naturalidade da fala. No entanto, os frameworks de avaliação existentes sofrem de duas limitações primárias:

1. Avaliação de Referência Única: Esta abordagem convencional assume uma correspondência um-para-um entre uma ocorrência e uma anotação "padrão ouro" única. Como o fraseamento prosódico é inerentemente um-para-muitos (múltiplos fraseamentos válidos existem para uma única sentença), este método corre o risco de rejeitar incorretamente anotações alternativas válidas que diferem da referência específica. Além disso, carece de escalabilidade, pois a busca pela referência deve ser expandida manualmente para cada nova ocorrência.
2. Julgamento Humano: Embora seja flexível o suficiente para reconhecer múltiplos fraseamentos válidos, a avaliação humana é trabalhosa, não escalável e exige significativa expertise linguística, tornando-a impraticável para o desenvolvimento de sistemas iterativos ou de larga escala.

Tentativas anteriores de usar Large Language Models (LLMs) como juízes mostraram eficácia limitada para esta tarefa específica, frequentemente falhando em capturar variações prosódicas sutis.

Metodologia: Avaliação de Múltiplas Referências Baseada em LLM (LMRE)

Os autores propõem o LMRE, um framework projetado para modelar a natureza um-para-muitos do fraseamento prosódico. Diferente das abordagens de "caixa-preta" de LLM-como-juiz, o LMRE constrói uma busca de múltiplas referências reutilizável e determinística para permitir uma avaliação reprodutível.

Componentes Principais:

• Construção de Busca de Múltiplas Referências: Em vez de um padrão ouro único, o LMRE usa um LLM para gerar um conjunto de $k$ anotações de referência plausíveis ($R(W) = \{B^{(1)}_r, \dots, B^{(k)}_r\}$) para uma determinada ocorrência $W$.
• Diversificação via Few-Shot Prompting: O LLM é estimulado com um pool de few-shot ($P_{FS}$) de anotações existentes. Para garantir a diversidade, o sistema reamostra exemplos de few-shot para cada consulta e realiza múltiplas iterações ($N_{iter}$).
• Filtragem Determinística: Para mitigar ruídos e saídas espúrias, o sistema retém apenas aquelas anotações geradas mais de $N_{iter}/10$ vezes ao longo das iterações.
• Lógica de Avaliação: Uma anotação de hipótese $B_h$ é aceita se sua pontuação de similaridade (usando Exact Match ou F1) com pelo menos uma referência no conjunto gerado exceder um limiar $\theta$.
• Implementação: O sistema emprega prompting em lote (tamanho de lote 32) para reduzir latência e custo, utilizando temperatura 0.0 para reprodutibilidade.

Configuração Experimental

Os autores validaram o LMRE em um testbed coreano curado, compreendendo 1.356 anotações de quebra de frase.

• Diversidade de Dados: O conjunto de dados cobre cinco estratégias de anotação (baseada em regras, baseada em vírgula, baseada em áudio, baseada em texto por especialistas e sintética) e onze configurações.
• Comprimentos de Ocorrência: Os dados são estratificados em categorias de curto (<7 palavras), médio (7–10 palavras) e longo (≥11 palavras).
• Baselines: Comparações foram feitas contra a Avaliação de Referência Única (usando duas referências de especialistas humanos) e Julgamento Humano (de quatro juízes independentes).
• Configurações de LLM: Os experimentos utilizaram GPT-4.1, Claude Sonnet e uma abordagem combinada, variando o tamanho do pool de few-shot ($|P_{FS}|$) e as contagens de iteração ($N_{iter}$).

Principais Resultados

1. Alinhamento com o Julgamento Humano: O LMRE demonstra um alinhamento significativamente mais forte com os julgamentos humanos do que a avaliação de referência única.
   • Comportamento de Aceitação: A avaliação de referência única sub-aceita sistematicamente anotações válidas, mostrando uma lacuna média de 26,59% em relação ao julgamento humano no grupo de pontuação "Aceitável". O LMRE (configuração Combinada) reduziu essa lacuna para 7,04%, e para 1,75% para anotações de alta qualidade (pontuação 5).
   • Correlação: O LMRE alcançou maiores correlações de Pearson ($r$) e Spearman ($\rho$) com as pontuações humanas. Na melhor configuração (Combinada, $N_{iter}=40$, $|P_{FS}|=128$), a correlação com as pontuações humanas atingiu $r=0,68$ e $\rho=0,70$, comparado a $r=0,56$ e $\rho=0,53$ para a avaliação de referência única.
2. Sensibilidade da Métrica: A métrica F1 mostrou consistentemente melhor alinhamento com o julgamento humano do que o Exact Match (EM) em todos os métodos. Isso é atribuído à capacidade do F1 de recompensar sobreposições parciais, acomodando as variações sutis inerentes ao fraseamento prosódico.
3. Escalabilidade e Generalização: O LMRE manteve um forte desempenho mesmo com pools de few-shot pequenos ($|P_{FS}|=128$) e generalizou bem para ocorrências não vistas sem esforço adicional de rotulagem humana. A lacuna de desempenho entre diferentes pools de few-shot diminuiu conforme o tamanho do pool e a contagem de iterações aumentaram, indicando robustez à variabilidade inter-anotador.
4. Dependência de Comprimento: A melhoria relativa do LMRE sobre a avaliação de referência única foi mais pronunciada para ocorrências longas sob a métrica EM, apoiando a intuição de que sentenças mais longas permitem maior variabilidade de fraseamento.

Significância e Contribuições

O artigo afirma que o LMRE oferece um framework escalável e confiável para avaliação prosódica em sistemas TTS, abordando efetivamente o equilíbrio entre escalabilidade e suporte a múltiplas referências. As contribuições específicas são:

• Proposta de Framework: Introdução do LMRE, que supera a suposição um-para-um dos métodos convencionais ao modelar a natureza um-para-muitos do fraseamento prosódico através de referências geradas por LLM.
• Testbed Abrangente: Construção de um testbed coreano diverso de 1.356 anotações abrangendo cinco estratégias e onze configurações para validar o método sob condições heterogêneas de qualidade.
• Validação Empírica: Demonstração de que o LMRE alcança um alinhamento substancialmente melhor com os julgamentos humanos em comparação com a avaliação de referência única, permanecendo totalmente automatizado.

Os autores concluem que o LMRE destaca o potencial dos LLMs para avaliação no domínio da fala, fornecendo uma solução que é simultaneamente eficiente (automatizada) e robusta (capaz de lidar com múltiplos fraseamentos válidos).