KVoiceBench, KOpenAudioBench, and KMMAU: Agent-Driven Korean Speech Benchmarks for Evaluating SpeechLMs

Resumo Técnico: KVoiceBench, KOpenAudioBench e KMMAU

Declaração do Problema
Embora os Modelos de Linguagem de Fala (SpeechLMs) tenham avançado significativamente ao estender os Modelos de Linguagem de Grande Escala (LLMs) para modalidades de fala, sua avaliação permanece fortemente enviesada para o inglês. Recursos multilíngues existentes (por exemplo, SD-QA, FLEURS) melhoram a cobertura para QA dialetal e ASR, mas carecem de frameworks escaláveis para transferir benchmarks modernos de SpokenQA ou construir benchmarks de compreensão de áudio em línguas-alvo.

Estratégias de transferência direta — como traduzir transcrições, normalizar texto e sintetizar fala via TTS — introduzem artefatos críticos:

1. Corrupção de Instruções: Restrições específicas da língua (por exemplo, distinções maiúsculas/minúsculas em inglês) frequentemente falham ao se traduzirem de forma significativa para línguas como o coreano, que carecem de tais características ortográficas.
2. Erros de Normalização: A conversão de texto escrito para formas amigáveis à fala (tratamento de números, datas, abreviações) é propensa a erros. Em SpokenQA, um erro mínimo de normalização pode alterar a respondibilidade de uma pergunta.
3. Perda Paralinguística: A transferência de áudio da língua de origem falha em preservar atributos do falante, sotaques e propriedades paralinguísticas da língua-alvo, que são essenciais para tarefas de compreensão de áudio.

Metodologia
Os autores propõem dois frameworks colaborativos entre humanos e agentes para construir benchmarks de fala coreana de alta qualidade, abordando as limitações da transferência ingênua.

1. Framework de Transferência de Benchmark de SpokenQA (KVoiceBench & KOpenAudioBench)
Este framework transfere benchmarks de SpokenQA em inglês (VoiceBench e OpenAudioBench) para o coreano através de quatro etapas:

• Correção da Verdade Terrena: Dois agentes LLM de ponta (um revisor e um meta-revisor) auditam amostras determinísticas da fonte (múltipla escolha e resposta curta) para identificar e corrigir anotações errôneas (por exemplo, respostas factuais desatualizadas ou conjuntos de respostas excessivamente restritivos) antes da tradução.
• Hipertradução: Um componente central onde um agente LLM, guiado por um livro de regras construído por humanos, converte amostras da fonte para o coreano. O livro de regras codifica explicitamente propriedades gramaticais, ortográficas e específicas do sistema de escrita. Distingue entre:
  • Adaptação Direta: Localizar formas superficiais (por exemplo, rótulos de opções, substantivos próprios).
  • Redesenho Específico da Língua: Substituir ou remover tarefas dependentes de características específicas do inglês (por exemplo, converter tarefas de ordenação de adjetivos em inglês em julgamentos de partículas/conjugação em coreano).
• Normalização Amigável à Fala: Um livro de regras separado guia a conversão do texto hipertraduzido em formas amigáveis à fala adequadas para TTS. Isso trata leituras dependentes de contexto para números, unidades, símbolos e expressões de línguas mistas para garantir que o áudio sintetizado corresponda à semântica pretendida da pergunta.
• Síntese TTS: O texto normalizado é sintetizado usando Qwen3-TTS condicionado a vozes de referência coreanas. Amostras que excedem um limite de Taxa de Erro de Palavras (WER) contra a entrada normalizada são resintetizadas.

2. Framework de Construção de Benchmark de Compreensão de Áudio (KMMAU)
Em vez de transferir áudio de origem, este framework constrói benchmarks a partir de corpora de ASR coreano de ocorrência natural (KSS, KMSAV, Seoul Corpus) usando áudio, transcrições e metadados do falante. O método de construção é selecionado com base na capacidade sendo testada:

• Baseado em Regras a partir de Metadados: Gera perguntas sobre atributos do falante (idade, gênero, número de falantes) usando metadados fornecidos.
• Baseado em Regras a partir de Transcrições: Gera perguntas lexicais (ordem de palavras, frequência de palavras) com base na análise de transcrições.
• Gerado por LLM com Revisão Humana: Cria perguntas para extração de fatos e sumarização de tópicos, verificadas por humanos para garantir naturalidade e respondibilidade.
• Totalmente Manual: Usado para capacidades holísticas (contagem geral, papel/profissão) que exigem ouvir o áudio para estrutura de diálogo ou evidências não lexicais.

Principais Contribuições

1. Frameworks: A proposta de frameworks colaborativos entre humanos e agentes reproduzíveis para transferir benchmarks de SpokenQA e construir benchmarks de compreensão de áudio em línguas-alvo.
2. Conjuntos de Dados: A construção e lançamento público de três benchmarks coreanos compreendendo 12.345 amostras:
   • KVoiceBench: 7.306 amostras derivadas do VoiceBench.
   • KOpenAudioBench: 2.835 amostras derivadas do OpenAudioBench.
   • KMMAU: 2.204 amostras construídas a partir de corpora de ASR coreano.
   • Nota: O processo de construção inclui "livros de regras" que tornam a metodologia auditável e reutilizável para outras línguas-alvo.
3. Avaliação: Uma avaliação abrangente de oito SpeechLMs recentes em tarefas de SpokenQA e compreensão de áudio em inglês e coreano.

Resultados
A avaliação de oito SpeechLMs (incluindo Raon-Speech, Qwen2.5-Omni, MiniCPM-o 4.5, etc.) revela:

• Lacunas de Desempenho: Há uma queda substancial de desempenho do inglês para SpokenQA em coreano, mas a degradação não é uniforme. Por exemplo, o Raon-Speech mantém o desempenho mais alto nos benchmarks coreanos, enquanto outros modelos mostram quedas significativas.
• Sensibilidade à Tarefa: Tarefas de raciocínio (por exemplo, BBH) mostram robustez relativa, enquanto tarefas pesadas em conhecimento e estruturadas sofrem quedas maiores. Comportamentos de segurança também variam; alguns modelos reduzem drasticamente as taxas de recusa em coreano em comparação com o inglês.
• Classificações Divergentes: As classificações de compreensão de áudio divergem das classificações de SpokenQA. Por exemplo, um modelo classificado em segundo lugar em SpokenQA coreano pode ficar em terceiro em compreensão de áudio, enquanto outro modelo com desempenho mais fraco em SpokenQA fica em segundo em compreensão de áudio.
• Especificidades de Capacidade: No KMMAU, os modelos mostram forças variadas: alguns se destacam na detecção de ordem de palavras, outros na extração de fatos contextuais, enquanto a detecção da contagem de falantes permanece difícil para todos os modelos (≤36% de precisão).

Significância
O artigo afirma que avaliações apenas em inglês falham em revelar fraquezas complementares nos SpeechLMs. Ao introduzir esses benchmarks coreanos, os autores demonstram que:

1. A resposta a perguntas em língua-alvo e a compreensão de áudio fundamentada naturalmente sondam capacidades diferentes.
2. A lacuna de desempenho entre inglês e coreano varia significativamente entre modelos e famílias de tarefas, sugerindo que a robustez do modelo é dependente da tarefa e não monolítica.
3. Os frameworks propostos entre humanos e agentes fornecem uma metodologia replicável para estender benchmarks de fala para línguas adicionais, indo além da simples tradução para abordar questões de validade específicas da língua.

Os autores notam limitações, incluindo o uso de fala sintetizada para SpokenQA (que carece de variabilidade humana natural) e o fato de o KMMAU não ser um par de tradução direta de benchmarks em inglês, tornando as comparações entre benchmarks referências em vez de lacunas controladas de pares de línguas.