S-VoCAL: A Dataset and Evaluation Framework for Inferring Speaking Voice Character Attributes in Literature

1. Problema e Motivação

O avanço recente dos sistemas de Texto para Fala (TTS) permitiu a criação de narrações de audiolivros sintéticos com naturalidade sem precedentes. No entanto, uma lacuna crítica persiste: a capacidade desses sistemas de impersonar personagens fictícios de forma convincente, adaptando a voz às características específicas de cada personagem (como idade, gênero, origem e saúde).

Para gerar vozes sintéticas plausíveis, é necessário inferir atributos de voz a partir do texto literário. Este processo é desafiador porque:

• As informações sobre os personagens raramente são explícitas no texto; muitas vezes estão implícitas, dispersas ao longo de capítulos distantes ou exigem raciocínio de longo contexto.
• Não existiam conjuntos de dados (datasets) padronizados ou frameworks de avaliação dedicados especificamente à extração de atributos de voz de personagens literários. Os trabalhos anteriores focavam em descrições gerais de personagens ou perfis estruturados que não necessariamente correlacionam com características acústicas da fala.

2. Metodologia

O Dataset S-VoCAL

Os autores propõem o S-VoCAL (Speaking Voice Character Attributes in Literature), o primeiro dataset e framework de avaliação dedicado a essa tarefa.

• Escala: Contém 952 pares personagem-livro derivados de 192 romanos únicos do Project Gutenberg (literatura em inglês ou traduzida publicada antes de 1940).
• Atributos: O dataset foca em 8 atributos baseados em estudos sociofônicos que influenciam diretamente a entrega vocal:
  1. Idade (Categorizada: Criança, Adolescente, Adulto, Idoso).
  2. Gênero.
  3. Tipo (Humano vs. Não-humano).
  4. Origem (País de origem/cidadania).
  5. Residência.
  6. Ocupação.
  7. Línguas Faladas.
  8. Saúde Física (Condições médicas que afetam a voz).
• Coleta de Dados: A maioria dos dados foi extraída de entradas estruturadas no Wikidata, mapeando propriedades existentes para os atributos alvo. A atributo Idade foi complementado com anotação manual extensiva (359 casos) para garantir precisão, convertendo valores numéricos em categorias.

Framework de Avaliação

Devido à natureza heterogênea dos atributos (alguns são classes fechadas, outros texto aberto), foi desenvolvido um framework de avaliação adaptado:

• Atributos de Classe Fechada/Semi-fechada (Idade, Gênero, Tipo, Línguas): Avaliados usando métricas F1 (incluindo uma versão "soft" para Idade, que penaliza menos erros em categorias adjacentes, e micro-F1 para múltiplas línguas).
• Atributos de Classe Aberta (Origem, Residência, Ocupação, Saúde): Avaliados usando uma nova métrica de similaridade semântica baseada em embeddings do modelo Qwen-3 8b (instrução-consciente).
  • Os autores validaram que essa métrica correlaciona-se muito melhor com julgamentos humanos do que o BERTScore tradicional.
  • Foi introduzido o Human-Aligned Score (HAS), que mapeia as similaridades brutas para uma escala interpretável (0 a 1) baseada em anotações humanas.

Tarefa de Inferência (RAG)

Para demonstrar a aplicabilidade do S-VoCAL, os autores implementaram um pipeline simples de Geração Aumentada por Recuperação (RAG):

1. Recuperação: Extração de trechos relevantes do livro mencionando o personagem usando o modelo de embeddings E5-large.
2. Inferência: Um Grande Modelo de Linguagem (LLM) recebe os trechos recuperados e um prompt específico para inferir os atributos.
3. Pós-processamento: Limpeza da saída do LLM para garantir formato JSON estruturado.
4. Modelos Testados: Qwen3-8B e Phi-4 14B.

3. Resultados Principais

• Atributos Fechados: O pipeline RAG performou muito bem em atributos de classe fechada, superando significativamente uma linha de base de "valor majoritário".
  • Gênero e Tipo: Weighted F1 > 0.96.
  • Idade: Weighted F1 ~0.78-0.80 (com soft F1 subindo para ~0.92-0.94), indicando que a maioria dos erros ocorre entre categorias adjacentes (ex: confundir adolescente com adulto).
  • Línguas Faladas: Micro F1 ~0.71-0.75, mostrando boa capacidade de inferência, mas com algumas omissões.
• Atributos Abertos: O desempenho foi misto e geralmente mais baixo:
  • Tipo (Não-humano): mHAS ~0.78 (bom).
  • Ocupação e Residência: mHAS ~0.50 (respostas parcialmente corretas, mas com falta de detalhes ou precisão).
  • Origem: mHAS ~0.42 (correta em nível continental, mas falha no país específico).
  • Saúde Física: mHAS ~0.15 (desempenho muito baixo, indicando que os modelos frequentemente falham em detectar se o personagem tem ou não uma condição de saúde).
• Comparação de Modelos: Não houve um vencedor claro entre Qwen3-8B e Phi-4 14B para atributos abertos; eles tendem a falhar em instâncias diferentes, sugerindo comportamentos preditivos independentes possivelmente ligados a padrões de memorização de livros diferentes.

4. Contribuições Chave

1. S-VoCAL Dataset: A criação do primeiro dataset público e framework de avaliação focado especificamente na inferência de atributos de voz de personagens literários, cobrindo 8 dimensões sociofônicas.
2. Framework de Avaliação Híbrido: Desenvolvimento de métricas adaptadas para lidar com a desbalanceamento e a natureza variada (fechada vs. aberta) dos atributos, incluindo uma métrica de similaridade baseada em LLMs superior ao BERTScore para texto livre.
3. Benchmark de RAG: A demonstração de que, embora os modelos atuais consigam inferir atributos estáticos e categóricos (gênero, idade) com alta precisão, eles ainda lutam para extrair informações complexas e implícitas de longo contexto, como saúde física e origem detalhada.

5. Significado e Impacto

O trabalho é fundamental para o avanço da narração de audiolivros sintéticos imersivos. Ao fornecer um padrão para avaliar e melhorar a extração de atributos de personagens, o S-VoCAL permite o desenvolvimento de sistemas TTS que podem atribuir vozes consistentes e personalizadas a cada personagem, melhorando a identificação do ouvinte e a compreensão da narrativa.

O estudo também destaca as limitações atuais dos LLMs em tarefas de "agulha no palheiro" (encontrar informações específicas em textos longos) e a necessidade de mais dados anotados para atributos dinâmicos e complexos. O dataset e o código estão disponíveis publicamente para fomentar pesquisas futuras em Humanidades Digitais e síntese de fala expressiva.