PARSA-Bench: A Comprehensive Persian Audio-Language Model Benchmark

1. Problema y Motivación

Los Modelos de Lenguaje Audio (LALMs) actuales han demostrado capacidades impresionantes en tareas de habla, música y sonidos ambientales, pero su desarrollo se ha centrado abrumadoramente en el inglés y en contenidos culturales occidentales. Esto deja una brecha significativa para idiomas como el persa (farsi), hablado por más de 100 millones de personas, el cual presenta desafíos únicos no capturados por los benchmarks existentes:

• Poesía clásica: La métrica persa (vazn) depende de patrones rítmicos y prosódicos que se pierden en la transcripción textual, ya que el persa escrito omite las vocales cortas.
• Música tradicional: Se basa en el sistema modal Dastgah, ajeno a las corpora occidentales.
• Cambio de código (Code-switching): La mezcla frecuente de persa e inglés en el discurso urbano contemporáneo.
• Falta de datos: Escasez de datos de entrenamiento de habla y conocimiento cultural que no puede adquirirse simplemente traduciendo recursos en inglés.

No existía un benchmark dedicado para evaluar la comprensión auditiva culturalmente arraigada en idiomas de recursos limitados como el persa.

2. Metodología: Construcción de PARSA-Bench

Los autores introducen PARSA-Bench (Persian Audio Reasoning and Speech Assessment Benchmark), la primera evaluación integral para LALMs en persa.

• Estructura del Dataset:
  • Total: Más de 8,000 muestras distribuidas en 16 tareas.
  • Dimensiones de Evaluación:
    1. Comprensión del Habla (Speech Understanding): 10 tareas (5,000 muestras), incluyendo Reconocimiento Automático de Voz (ASR), traducción bidireccional, detección de intenciones, reconocimiento de entidades nombradas (NER), detección de registro formal/informal, detección de cambio de código y comprensión lectora.
    2. Análisis Paralingüístico: 3 tareas (1,500 muestras), cubriendo reconocimiento de edad, género y emoción.
    3. Comprensión de Audio Cultural Persa: 3 tareas (1,500 muestras), incluyendo detección de métrica poética (vazn), clasificación de estilo poético (sabk) y comprensión de música tradicional (clasificación de Dastgah, instrumentos y tempo).
• Recopilación de Datos:
  • Se utilizaron corpus existentes (Common Voice, ParsVoice, CoVoST2, Ganjoor, SHEMO) y se sintetizaron nuevas muestras mediante sistemas TTS de alta calidad (Mana-TTS) para tareas donde faltaban datos de audio natural, asegurando diversidad prosódica.
  • Se incluyeron 10 tareas nuevas específicamente diseñadas para evaluar fenómenos lingüísticos y culturales persas.

3. Configuración Experimental

• Modelos Evaluados: Se probaron 8 LALMs de última generación (zero-shot y con diferentes estrategias de prompting):
  • Open Source: Familias Qwen (2.5 y 3 Omni) y Gemma (3n).
  • Propietarios: GPT-4o, GPT-4o-mini y Gemini-2.5-Flash.
• Protocolo: Se comparó el rendimiento en audio frente a un baseline de solo texto (transcripciones) para aislar los fallos en el procesamiento de audio de los fallos en la competencia lingüística.

4. Resultados Clave

Los experimentos revelaron tres hallazgos principales:

A. La Brecha Audio-Texto

Existe una brecha de rendimiento significativa y consistente entre el procesamiento de audio y el de solo texto.

• Los modelos siempre rinden mejor con texto que con audio.
• Esto indica que el cuello de botella no es la comprensión del lenguaje (los modelos saben persa), sino la extracción de información del señal de audio.
• Las tareas de comprensión lectora y detección de cambio de código muestran brechas pequeñas (el contenido léxico es suficiente), mientras que la traducción persa-inglés y la NER muestran brechas enormes debido a errores de transcripción fonética.

B. Fallos Cualitativos en Tareas Culturales

• Detección de Métrica Poética (Vazn): Todos los modelos, independientemente de su escala (desde 2B hasta 30B+), rinden cerca del azar aleatorio (F1 ~0.10). Esto sugiere que la percepción prosódica necesaria para identificar el ritmo poético persa está fuera del alcance de los modelos actuales, ya que esta información no existe en los datos de entrenamiento textuales.
• Clasificación de Estilo (Sabk): Es la única tarea donde el rendimiento en audio supera al de solo texto. Esto confirma que la recitación vocal contiene señales discriminatorias de estilo que la transcripción textual no captura.
• Análisis Paralingüístico:
  • Género: Resuelto casi perfectamente por modelos grandes.
  • Emoción: Rendimiento moderado, por encima del azar pero lejos del techo.
  • Edad: No resuelto; todos los modelos rinden cerca del azar, similar a la dificultad humana sin pistas visuales.

C. Escala vs. Arquitectura

• Escala no es garantía: Un modelo más grande no siempre rinde mejor en tareas culturales. Por ejemplo, Gemma-E4B (4B parámetros) superó a Qwen2.5-7B en tareas culturales, sugiriendo que la cobertura de datos de entrenamiento es más crítica que el tamaño del modelo para tareas culturalmente arraigadas.
• Modelos Propietarios: No ofrecen ventajas significativas en tareas culturales frente a modelos de código abierto bien entrenados; de hecho, fallan estrepitosamente en la detección de vazn.

5. Contribuciones y Significancia

• Primer Benchmark Integral: PARSA-Bench llena un vacío crítico al proporcionar la primera evaluación estandarizada para LALMs en un idioma de recursos limitados con una rica herencia cultural.
• Diagnóstico de Limitaciones: Demuestra que los modelos actuales carecen de la capacidad de percibir patrones prosódicos complejos y culturalmente específicos, incluso cuando tienen la competencia lingüística textual.
• Dirección Futura: El trabajo señala la necesidad urgente de:
  1. Crear corpus de audio prosódico en persa.
  2. Desarrollar encoders de audio especializados en lugar de depender de modelos pre-optimizados para el inglés.
  3. Implementar sistemas de recuperación aumentada (RAG) para acceder a conocimientos culturales literarios y musicales.
  4. Extender este marco de evaluación a otros idiomas con tradiciones orales ricas.

En resumen, PARSA-Bench revela que, aunque los LALMs han avanzado en la comprensión textual multilingüe, su capacidad para "escuchar" y comprender la riqueza cultural y prosódica de idiomas como el persa sigue siendo un desafío fundamental sin resolver.