KVoiceBench, KOpenAudioBench, and KMMAU: Agent-Driven Korean Speech Benchmarks for Evaluating SpeechLMs

Riepilogo Tecnico: KVoiceBench, KOpenAudioBench e KMMAU

Dichiarazione del Problema
Sebbene i Modelli Linguistici per la Voce (SpeechLM) abbiano fatto progressi significativi estendendo i Modelli Linguistici su Grande Scala (LLM) alle modalità vocali, la loro valutazione rimane fortemente sbilanciata verso l'inglese. Le risorse multilingue esistenti (ad esempio SD-QA, FLEURS) migliorano la copertura per domande e risposte (QA) dialettali e per il riconoscimento automatico del parlato (ASR), ma mancano di framework scalabili per trasferire benchmark moderni di QA vocale o per costruire benchmark di comprensione audio nella lingua target.

Le strategie di trasferimento diretto — come la traduzione delle trascrizioni, la normalizzazione del testo e la sintesi vocale tramite TTS — introducono artefatti critici:

1. Corruzione delle Istruzioni: I vincoli specifici della lingua (ad esempio, le distinzioni tra maiuscole e minuscole in inglese) spesso non si traducono in modo significativo in lingue come il coreano, che mancano di tali caratteristiche ortografiche.
2. Errori di Normalizzazione: La conversione del testo scritto in forme adatte alla voce (gestione di numeri, date, abbreviazioni) è soggetta a errori. Nel QA vocale, un lieve errore di normalizzazione può alterare la possibilità di rispondere a una domanda.
3. Perdita di Proprietà Paralinguistiche: Il trasferimento dell'audio dalla lingua sorgente non preserva gli attributi del parlante, gli accenti e le proprietà paralinguistiche della lingua target, che sono essenziali per i compiti di comprensione audio.

Metodologia
Gli autori propongono due framework collaborativi uomo-agente per costruire benchmark di alta qualità per la voce in coreano, affrontando i limiti del trasferimento ingenuo.

1. Framework di Trasferimento per Benchmark di QA Vocale (KVoiceBench & KOpenAudioBench)
Questo framework trasferisce i benchmark di QA vocale in inglese (VoiceBench e OpenAudioBench) in coreano attraverso quattro fasi:

• Correzione della Verità Fondamentale: Due agenti LLM all'avanguardia (un revisore e un meta-revisore) esaminano campioni deterministici della sorgente (scelta multipla e risposta breve) per identificare e correggere annotazioni errate (ad esempio, risposte fattuali obsolete o insiemi di risposte eccessivamente restrittivi) prima della traduzione.
• Ipertraduzione: Un componente centrale in cui un agente LLM, guidato da un manuale di regole costruito dall'uomo, converte i campioni sorgente in coreano. Il manuale di regole codifica esplicitamente le proprietà grammaticali, ortografiche e specifiche del sistema di scrittura. Distingue tra:
  • Adattamento Diretto: Localizzazione delle forme superficiali (ad esempio, etichette delle opzioni, nomi propri).
  • Riprogettazione Specifica della Lingua: Sostituzione o rimozione di compiti dipendenti da caratteristiche specifiche dell'inglese (ad esempio, convertire compiti di ordinamento degli aggettivi in inglese in giudizi su particelle/coniugazioni in coreano).
• Normalizzazione Adatta alla Voce: Un manuale di regole separato guida la conversione del testo ipertradotto in forme adatte alla voce, idonee per il TTS. Questo gestisce letture dipendenti dal contesto per numeri, unità, simboli ed espressioni multilingue per garantire che l'audio sintetizzato corrisponda alla semantica intesa della domanda.
• Sintesi TTS: Il testo normalizzato viene sintetizzato utilizzando Qwen3-TTS condizionato su voci di riferimento in coreano. I campioni che superano una soglia di Tasso di Errore sulle Parole (WER) rispetto all'input normalizzato vengono risintetizzati.

2. Framework di Costruzione per Benchmark di Comprensione Audio (KMMAU)
Invece di trasferire l'audio sorgente, questo framework costruisce benchmark partendo da corpora ASR in coreano di origine naturale (KSS, KMSAV, Seoul Corpus) utilizzando audio, trascrizioni e metadati del parlante. Il metodo di costruzione viene selezionato in base alla capacità da testare:

• Basato su Regole dai Metadati: Genera domande sugli attributi del parlante (età, sesso, numero di parlanti) utilizzando i metadati forniti.
• Basato su Regole dalle Trascrizioni: Genera domande lessicali (ordine delle parole, frequenza delle parole) basate sull'analisi delle trascrizioni.
• Generato da LLM con Revisione Umana: Crea domande per l'estrazione di fatti e il riassunto di argomenti, verificate da esseri umani per garantire naturalezza e possibilità di risposta.
• Completamente Manuale: Utilizzato per capacità olistiche (conteggio generale, ruolo/professione) che richiedono l'ascolto dell'audio per la struttura del dialogo o prove non lessicali.

Contributi Chiave

1. Framework: La proposta di framework collaborativi uomo-agente riproducibili per il trasferimento di benchmark di QA vocale e per la costruzione di benchmark di comprensione audio nella lingua target.
2. Dataset: La costruzione e il rilascio pubblico di tre benchmark in coreano composti da 12.345 campioni:
   • KVoiceBench: 7.306 campioni derivati da VoiceBench.
   • KOpenAudioBench: 2.835 campioni derivati da OpenAudioBench.
   • KMMAU: 2.204 campioni costruiti da corpora ASR in coreano.
   • Nota: Il processo di costruzione include "manuali di regole" che rendono la metodologia auditabile e riutilizzabile per altre lingue target.
3. Valutazione: Una valutazione completa di otto SpeechLM recenti attraverso compiti di QA vocale e comprensione audio in inglese e coreano.

Risultati
La valutazione di otto SpeechLM (inclusi Raon-Speech, Qwen2.5-Omni, MiniCPM-o 4.5, ecc.) rivela:

• Divari di Prestazione: Si osserva un calo sostanziale delle prestazioni dall'inglese al QA vocale in coreano, ma il degrado non è uniforme. Ad esempio, Raon-Speech mantiene le prestazioni più elevate sui benchmark coreani, mentre altri modelli mostrano cali significativi.
• Sensibilità al Compito: I compiti di ragionamento (ad esempio BBH) mostrano una relativa robustezza, mentre i compiti ricchi di conoscenze e strutturati subiscono cali maggiori. Anche i comportamenti di sicurezza variano; alcuni modelli riducono drasticamente i tassi di rifiuto in coreano rispetto all'inglese.
• Classifiche Divergenti: Le classifiche per la comprensione audio divergono da quelle per il QA vocale. Ad esempio, un modello classificato secondo nel QA vocale in coreano potrebbe essere terzo nella comprensione audio, mentre un altro modello con prestazioni inferiori nel QA vocale si classifica secondo nella comprensione audio.
• Specificità delle Capacità: In KMMAU, i modelli mostrano punti di forza variabili: alcuni eccellono nel rilevamento dell'ordine delle parole, altri nell'estrazione contestuale di fatti, mentre il rilevamento del numero di parlanti rimane difficile per tutti i modelli (≤36% di accuratezza).

Significato
L'articolo afferma che le valutazioni basate esclusivamente sull'inglese non riescono a rivelare debolezze complementari negli SpeechLM. Introducendo questi benchmark in coreano, gli autori dimostrano che:

1. La risposta alle domande nella lingua target e la comprensione audio fondata su dati naturali sondano capacità diverse.
2. Il divario di prestazioni tra inglese e coreano varia significativamente tra i modelli e le famiglie di compiti, suggerendo che la robustezza del modello è dipendente dal compito e non monolitica.
3. I framework uomo-agente proposti forniscono una metodologia replicabile per estendere i benchmark vocali a lingue aggiuntive, andando oltre la semplice traduzione per affrontare questioni di validità specifiche della lingua.

Gli autori notano limitazioni, tra cui l'uso di voce sintetizzata per il QA vocale (che manca della variabilità umana naturale) e il fatto che KMMAU non sia una coppia di traduzione diretta di benchmark in inglese, rendendo i confronti tra benchmark riferimenti piuttosto che divari controllati tra coppie di lingue.