UrduSpeech: A 156-Hour Urdu Speech Corpus with 12-Dimension Paralinguistic Annotations

Este artículo presenta UrduSpeech, un corpus de voz urdu a gran escala y de alta fidelidad que contiene 156 horas de audio con anotaciones paralingüísticas de 12 dimensiones y una referencia estandarizada, desarrollado mediante una pipeline impulsada por LLM para abordar el estado de escasez de recursos del idioma en la tecnología de voz.

Lo esencial

Imagine el mundo de la inteligencia artificial (IA) como una biblioteca masiva. Durante años, esta biblioteca ha estado abastecida con libros en inglés, mandarín y español, pero la sección dedicada al urdu—un idioma hablado por más de 230 millones de personas—ha estado casi vacía. Es como intentar enseñar a un robot a hablar un idioma utilizando solo unos pocos folletos dispersos y polvorientos.

Este artículo presenta UrduSpeech, un nuevo y masivo "estante de libros" diseñado para corregir ese desequilibrio. Aquí tienes una explicación sencilla de lo que los investigadores construyeron y cómo lo hicieron.

1. El Problema: Un Idioma Abandonado

El urdu es único porque se escribe de derecha a izquierda (como el árabe) y a menudo mezcla palabras en inglés dentro de las oraciones (un poco como una persona que cambia entre dos dialectos mientras cuenta una historia). Debido a estas peculiaridades, las herramientas estándar de IA a menudo se confunden, tratando el urdu como hindi o fallando al comprender cuando el hablante cambia de idioma. Los investigadores querían construir un recurso que respetara estos desafíos específicos.

2. La Solución: Una "Biblioteca de Sonido" de 156 Horas

El equipo creó UrduSpeech, una colección de 156 horas de audio de alta calidad. Para ponerlo en perspectiva, si lo escucharas sin parar, te tomaría más de seis días terminarlo.

No simplemente arrojaron ruido aleatorio en una carpeta. Organizaron esta biblioteca en tres "habitaciones" específicas (subconjuntos):

• US-Std: Urdu estándar paquistaní (la versión formal, de "libro de texto").
• US-CS: Urdu con cambio de código (donde los hablantes mezclan naturalmente el urdu y el inglés, como decir "Necesito un chai y un coffee").
• US-EngPk: Inglés hablado con acento paquistaní.

3. Cómo lo Construyeron: El Pipeline del "Filtro Inteligente"

Recopilar estos datos fue como intentar encontrar gemas específicas en una pila de rocas. Recopilaron 200 horas de audio de internet (YouTube) y archivos antiguos (como programas de televisión de la década de 1980). Para limpiarlo, utilizaron un proceso de tres pasos:

• Paso 1: El Cancelador de Ruido: Utilizaron herramientas de IA para eliminar el ruido de fondo (como el tráfico o el viento) y separar diferentes voces en una conversación, asegurando que solo se grabara al hablante principal.
• Paso 2: El "Editor Estricto" (LLM): Utilizaron una IA potente (Gemini 2.5 Pro) para actuar como un editor estricto. A esta IA se le dieron instrucciones especiales: "No traduzcas las palabras en inglés al script urdu; manténlas tal como suenan" y "No confundas el urdu con el hindi". También verificó el audio en busca de 12 "etiquetas de ambiente" diferentes (paralingüísticas), como la edad del hablante, la emoción, la textura de la voz (¿es ronca o suave?) y el acento.
• Paso 3: La Red de Seguridad Humana: Antes de que los datos se finalizaran, hablantes nativos de urdu escucharon muestras para asegurarse de que la IA no cometiera errores. Actuaron como los inspectores finales de control de calidad.

4. El Estándar de Oro de Referencia

Para demostrar que su biblioteca era buena, crearon un conjunto de "Estándar de Oro" de 9 horas. Esta es una pequeña colección perfectamente curada que los humanos verificaron y corrigieron manualmente. La utilizaron para probar diferentes modelos de transcripción de IA.

El Resultado: Descubrieron que la mayoría de los modelos de IA existentes luchaban con el urdu, a menudo equivocándose en las palabras o confundiendo los scripts. Sin embargo, el modelo que eligieron (Gemini 2.5 Pro) funcionó significativamente mejor, actuando como un hablante nativo que comprendía los matices del idioma.

5. ¿Qué Hay Dentro de la Biblioteca?

La colección final contiene 71,792 clips de audio separados. Es increíblemente diversa:

• Contenido: Incluye todo, desde noticias y dramas hasta poesía, vlogs e incluso formas raras de poesía hablada llamadas Bait-Bazi.
• Personas: Presenta una mezcla equilibrada de hombres y mujeres, y hablantes de todas las edades, desde niños hasta ancianos.
• Calidad: Cuando los humanos escucharon el audio, le dieron una puntuación alta (4.6 sobre 5), confirmando que las voces son claras y las transcripciones son precisas.

6. Por Qué Esto Importa

Piensa en los conjuntos de datos anteriores de urdu como una pequeña habitación cerrada con unas pocas sillas. UrduSpeech es un vasto salón abierto con miles de asientos, lleno de personas de todos los orígenes hablando de todas las formas en que realmente hablan.

Los investigadores han hecho esta biblioteca gratuita y abierta para que cualquiera la utilice. Al proporcionar estos datos de alta calidad y bien organizados, esperan ayudar a los desarrolladores de IA a construir mejores herramientas para los hablantes de urdu, asegurando que este idioma importante ya no quede excluido del futuro digital.

En resumen: Construyeron una biblioteca de sonido masiva y meticulosamente organizada para el urdu, corrigieron los errores que cometían otras herramientas de IA y demostraron que, con el trabajo en equipo adecuado entre humanos y máquinas, incluso el habla compleja y multilingüe puede entenderse perfectamente.

Resumen técnico

Resumen Técnico: UrduSpeech

1. Enunciado del Problema

A pesar de contar con aproximadamente 230 millones de hablantes, el urdu sigue estando críticamente subdotado en el campo de la tecnología del habla. Los recursos existentes no abordan los desafíos lingüísticos y acústicos específicos inherentes al idioma, que incluyen:

• Restricciones de Escritura: La escritura Perso-Árabe de derecha a izquierda (RTL).
• Cambio de Código: La omnipresencia del cambio de código urdu-inglés (CS).
• Similitud Acústica: La proximidad acústica del urdu con el hindi, lo que conduce a una clasificación errónea frecuente.
• Falta de Datos Especializados: Una escasez de datos de alta fidelidad para tareas matizadas como la Comprensión de Lectura Automática, la detección de Deepfake y el Reconocimiento de Emociones del Habla.
• Brechas de Recursos: Los conjuntos de datos existentes (por ejemplo, ARL Urdu, Common Voice) a menudo sufren de licencias restrictivas, altos costos, diversidad limitada de hablantes o falta de metadatos paralingüísticos.

2. Metodología

Los autores desarrollaron UrduSpeech, un corpus de 156 horas, mediante una tubería de curación impulsada por LLM en múltiples etapas, diseñada para manejar audio "en el entorno natural".

Recolección y Preprocesamiento de Datos

• Fuentes: Se agregaron 200 horas de audio crudo desde YouTube y registros de archivo de la Televisión de Pakistán (PTV) que abarcan cuatro décadas (década de 1980–actualidad).
• Preprocesamiento:
  • Separación de Fuentes: Se transitó de Spleeter al modelo Demucs para un aislamiento vocal eficiente.
  • Diarización de Hablantes: Se utilizó Pyannote 3.1 para separar hablantes, seguido de una alineación global manual para garantizar la consistencia de los identificadores.
  • Filtrado: Se descartaron segmentos menores a 2 segundos, clips de un solo hablante y aquellos que superaban los 35 segundos. Este proceso eliminó 44 horas de ruido residual, resultando en un corpus final de 156 horas.

Selección y Evaluación de Modelos

Se realizó un estudio piloto de 13 horas para seleccionar el modelo de transcripción óptimo. Tres modelos se evaluaron frente a la verdad fundamental de hablantes nativos:

1. Whisper-large-v3: Falló en audio con cambio de código, a menudo transliterando el inglés al script urdu en lugar de mantener el contenido literal.
2. OmniASR-LLM-1B: Produjo alucinaciones en árabe/persa y exhibió bucles de palabras en segmentos acentuados.
3. Gemini-2.5-Pro: Seleccionado como el modelo superior debido a su conciencia semántica y capacidades de ingeniería de prompts. Logró la Tasa de Error de Palabra (WER) más baja y mantuvo exitosamente la fidelidad del script (urdu vs. hindi) y la transcripción literal durante el cambio de código.

Tubería de Anotación

Se empleó una estrategia de dos etapas de prompts utilizando Gemini 2.5-Pro:

1. Transcripción: Los prompts impusieron restricciones estrictas para evitar la mezcla de scripts hindi/devanagari y exigieron transcripción literal para el cambio de código.
2. Metadatos Paralingüísticos: Un segundo prompt generó etiquetas de metadatos de 12 dimensiones (por ejemplo, tono, textura, ritmo, edad, acento) para cada segmento.

• Control de Calidad: Se descartaron los segmentos con puntuaciones de confianza del modelo inferiores a 0.6. El conjunto de datos final consta de 71,792 clips diarizados.

Validación Centrada en el Ser Humano

• Conjunto de Referencia: Un subconjunto de 9 horas (US-Benchmark) compuesto por US-Std, US-CS y US-EngPk fue corregido manualmente por anotadores nativos para servir como verdad fundamental.
• Evaluación: Se muestrearon 180 clips en tres niveles de complejidad y fueron evaluados por seis hablantes nativos de urdu utilizando una escala de Likert de 5 puntos (protocolo ITU-T P.800).
• Métricas: Se evaluó la calidad del audio, la precisión de la transcripción, la demografía, la prosodia, el afecto, la articulación y la precisión contextual.

3. Contribuciones Clave

• Tubería UrduSpeech: Un marco robusto capaz de filtrar audio crudo, realizar diarización de hablantes, manejar restricciones RTL y diferenciar entre hindi y urdu en entornos con cambio de código.
• Conjunto de Referencia US-Benchmark: Un conjunto de referencia de 9 horas, verificado manualmente, con metadatos paralingüísticos de 12 dimensiones, estableciendo una nueva verdad fundamental para el análisis de errores.
• Corpus UrduSpeech: Un corpus de código abierto de 156 horas que contiene:
  • 59.2 horas de US-Std (Urdu Estándar de Pakistán).
  • 89.4 horas de US-CS (Urdu-Inglés con cambio de código).
  • 7.3 horas de US-EngPk (Inglés con acento paquistaní).
  • 71,792 enunciados con etiquetas paralingüísticas integrales (emoción, textura, acento).
• Evaluación SOTA: Una evaluación en profundidad de Gemini 2.5-Pro, Whisper-large-v3 y OmniASR-LLM-1, estableciendo líneas base para la transcripción de alta fidelidad en urdu.

4. Resultados

• Rendimiento de Transcripción: Gemini-2.5-Pro superó significativamente a otros modelos, logrando una WER de 0.023 (sin cambio de código) y 0.028 (con cambio de código), en comparación con ~0.28–0.53 para Whisper y OmniASR.
• Evaluación de Calidad Humana:
  • Puntuación Media de Opinión (MOS): El corpus logró un MOS global de 4.64 ($\sigma = 0.74$).
  • Fiabilidad: El 92.78% de las calificaciones fueron 4 o 5. La fiabilidad inter-evaluador mostró un $\kappa$ de Cohen de 0.678 para el Conjunto B y 0.545 para el Conjunto C.
  • Confianza: La tubería de curación demostró una puntuación de confianza del 97.6% basada en las salidas del modelo y la validación humana.
• Demografía: El corpus mantiene un equilibrio de género 60/40 (42,990 enunciados masculinos frente a 28,802 femeninos) e incluye diversos grupos de edad (Adulto Joven, Edad Media, Niño, Anciano).
• Distribución: Los datos cubren 12 categorías que incluyen noticias, drama, poesía, vlogs y formas literarias raras como Bait-Bazi.

5. Significado y Afirmaciones

El artículo posiciona a UrduSpeech como un salto significativo hacia la inclusividad lingüística en la IA global. Su significado principal radica en:

• Cerrar la Brecha Digital: Proporcionar una representación lingüística precisa para un idioma con 230 millones de hablantes que ha estado subatendido por los modelos fundamentales multimodales.
• Metadatos Granulares: Ser el primer recurso en integrar un marco de metadatos paralingüísticos de 12 dimensiones, permitiendo un análisis de errores de alta resolución e investigación en computación afectiva y perfilado de hablantes.
• Abordar el Cambio de Código: Enfrentar específicamente la brecha "en el entorno natural" proporcionando un conjunto de datos a gran escala para el cambio de código urdu-inglés y el inglés con acento paquistaní.
• Ciencia Abierta: A diferencia de muchos conjuntos de datos fundamentales que tienen licencia o son de pago, el corpus y la tubería son de código abierto, con el objetivo de facilitar la investigación futura en urdu y otros idiomas con escritura Perso-Árabe subdotados.

Los autores señalan limitaciones, incluida una estimación conservadora de hablantes únicos (1,000+ frente a 3,000 grupos detectados) debido a una posible sobre-segmentación en grabaciones naturales, y la presencia de ruido de fondo residual en algunos segmentos. El trabajo futuro se dirige a establecer líneas base de referencia para ASR/TTS e implementar alineación forzada para precisión a nivel de palabra.