PashtoTTS-Bench: automated screening for low-resource non-Latin-script text-to-speech

Resumen Técnico: PashtoTTS-Bench y el Marco INSV

Enunciado del Problema
La evaluación actual de la conversión de texto a voz (TTS) para idiomas de recursos escasos y de escritura no latina a menudo depende de una única métrica: la Tasa de Error de Palabra (WER) derivada de un ciclo de ida y vuelta de Reconocimiento Automático del Habla (ASR). Los autores argumentan que este enfoque es insuficiente para idiomas como el pastún, que utilizan la escritura persa-árabe con grafemas y fonemas únicos. Una única puntuación WER puede ocultar modos de fallo críticos, como un sistema que produce audio en un idioma vecino (por ejemplo, urdu o dari), colapsa letras específicas del pastún en caracteres genéricos del árabe o urdu, o genera una prosodia antinatural que los hablantes nativos rechazan a pesar de puntuaciones altas de inteligibilidad. Además, los modelos ASR estándar a menudo carecen de datos de entrenamiento robustos para estos idiomas, lo que conduce a líneas base poco fiables.

Metodología: El Marco INSV y INSV-A
Para abordar estas limitaciones, el artículo introduce INSV (Inteligibilidad, Naturalidad, Fidelidad de Escritura y Verificación), un marco de informes de cuatro partes diseñado para separar modos de fallo distintos. Este artículo instancia el subconjunto de cribado automatizado, INSV-A, que evalúa sistemas sin depender de pruebas de escucha humana (Naturalidad) ni de anotación fonética nativa, aunque especifica protocolos para ellos.

El protocolo INSV-A mide cuatro dimensiones:

1. Completitud de la Síntesis: Verificar que el sistema produce audio no nulo para todas las entradas.
2. Inteligibilidad (I): WER y Tasa de Error de Caracteres (CER) del ciclo de ida y vuelta ASR. El estudio utiliza dos modelos ASR: un modelo multilingüe independiente y no condicionado (omniASR_CTC_300M_v2) como métrica principal, y un modelo de referencia específico del idioma (pashto-asr-v3) para comparación diagnóstica.
3. Fidelidad de Escritura (S): La Tasa de Fidelidad de Escritura (SFR), que calcula la fracción de caracteres en la hipótesis ASR que permanecen dentro del bloque Unicode de la escritura objetivo (perso-árabe para el pastún). Esto detecta si un sistema colapsa letras únicas del pastún o genera texto en latín/inglés.
4. Verificación (V): Identificación de Idioma (LID) utilizando múltiples modelos (MMS-LID-4017 y SpeechBrain VoxLingua107) para confirmar que la salida se reconoce como pastún. Los autores excluyen explícitamente a Whisper Large V3 de los cálculos de LID porque asigna etiquetas de pastún del 0,0% a audio validado en pastún debido a una representación casi nula en los datos de entrenamiento.

Configuración Experimental
El marco se instaura como PashtoTTS-Bench, una prueba de referencia fechada ejecutada en abril-mayo de 2026.

• Conjuntos de Prueba: 200 prompts de FLEURS (calidad de difusión) y 200 prompts filtrados de Common Voice 24 (calidad de crowdsourcing).
• Sistemas Evaluados:
  • Edge GulNawaz y Edge Latifa: Voces neuronales nativas en pastún (línea base comercial).
  • Clon de OmniVoice: Clonación de voz zero-shot utilizando Edge GulNawaz como referencia.
  • OmniVoice auto: Modo de voz automático sin audio de referencia.
  • Urdu Asad: Un control negativo (idioma vecino).
  • Fish Speech S2-Pro: Probado con humo pero excluido de los resultados clasificados debido a una síntesis incompleta.
• Taxonomía de Fallos: El artículo propone una taxonomía de fallos de cinco modos (F1–F5) que van desde el rechazo previo a la síntesis (F1) y la sustitución de idioma (F2) hasta el colapso de fonemas (F3), la disfluencia prosódica (F4) y la ambigüedad de grafemas (F5).

Resultados Clave

• Inteligibilidad: OmniVoice auto logró la WER más baja bajo el ASR independiente (omniASR), con un 24,1% en FLEURS y un 27,4% en Common Voice 24. Le siguieron Edge GulNawaz (32,8% / 39,5%) y Edge Latifa (35,6% / 47,7%).
• La Anomalía del "Habla Natural": La WER de OmniVoice auto fue significativamente menor que la línea base de habla natural (47,9% de WER bajo omniASR). Los autores aclaran que esto no implica que el habla sintética sea "mejor" que el habla humana; más bien, el modelo ASR no condicionado funciona mal con el habla natural (debido a acentos y ruido) pero destaca en audio sintético limpio y controlado. El modelo específico del idioma pashto-asr-v3 mostró una brecha menor (34,6% natural vs. 20,4% sintético), confirmando que la clasificación es consistente pero destacando la limpieza acústica de la salida sintética.
• Verificación de Escritura e Idioma: Todos los sistemas evaluados dirigidos al pastún lograron una SFR de 1,0, lo que indica que no hubo colapso de escritura. Sin embargo, los resultados de LID variaron; MMS-LID-4017 mostró tasas de identificación de pastún más bajas en los datos de Common Voice en comparación con SpeechBrain VoxLingua107, lo que hizo necesaria la verificación con múltiples modelos. El control en urdu fue rechazado correctamente por ambos modelos ASR y LID.
• Modos de Fallo: El control en urdu se confirmó como un fallo F2 (Sustitución de Idioma). Edge GulNawaz mostró un patrón candidato F5 (Ambigüedad de Grafemas) donde el ASR sustituyó consistentemente puntos de código específicos del pastún, aunque se requiere una adjudicación nativa para su confirmación. No se confirmaron fallos F3 (Colapso de Fonemas) ni F4 (Disfluencia Prosódica) sin anotación nativa.

Significado y Afirmaciones
El artículo afirma proporcionar el primer benchmark abierto, fechado y multi-sistema de TTS en pastún. Su contribución principal es el marco de informes INSV, que va más allá de la evaluación de una sola métrica para cribar explícitamente la fidelidad de la escritura y la verificación del idioma antes de interpretar las puntuaciones de inteligibilidad.

Los autores afirnan modestamente que INSV-A es un protocolo de cribado, no un reemplazo para la evaluación humana. Identifica sistemas listos para pruebas completas de Puntuación de Opinión Media (MOS) y señala salidas donde la WER debe interpretarse con precaución debido a ambigüedades de idioma o escritura. La publicación incluye prompts congelados, metadatos del proveedor, puntuaciones por oración y scripts para garantizar la reproducibilidad a medida que evolucionan las APIs comerciales y los modelos de código abierto. El estudio enfatiza que, para escrituras no latinas de recursos escasos, una "WER baja" por sí sola es una señal de calidad incompleta y que la LID con múltiples modelos es esencial para evitar la circularidad en la evaluación y los sesgos específicos del modelo.