PARSA-Bench: A Comprehensive Persian Audio-Language Model Benchmark

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) e os Grandes Modelos de Linguagem-Audio (LALMs) têm alcançado desempenho notável em tarefas textuais e de áudio, mas a maioria dos benchmarks existentes é centrada no inglês e em culturas ocidentais. O idioma persa (farsi) apresenta desafios únicos de compreensão de áudio que não são capturados pelos benchmarks atuais:

• Poesia Clássica: A métrica persa (vazn) e os estilos (sabk) dependem de ritmos prosódicos e vogais curtas que são omitidas na escrita padrão persa. Portanto, a métrica é irreconstruível apenas a partir do texto transcrito; o sinal de áudio é essencial.
• Música Tradicional: Organizada em torno do sistema modal Dastgah, que é fundamentalmente diferente dos sistemas tonais ocidentais.
• Code-Switching: A alternância frequente entre persa e inglês na fala urbana contemporânea.
• Falta de Dados: O persa é uma língua de recursos limitados, com escassez de dados de treinamento de fala e falta de frameworks de avaliação projetados para suas nuances culturais.

2. Metodologia e Construção do PARSA-Bench

Os autores introduzem o PARSA-Bench, o primeiro benchmark abrangente para avaliar LALMs em língua e cultura persa. O benchmark consiste em:

• Escala: 16 tarefas e mais de 8.000 amostras.
• Três Dimensões de Avaliação:
  1. Compreensão de Fala (Speech Understanding): 10 tarefas (incluindo ASR, tradução, detecção de intenção, NER, detecção de code-switching e compreensão de leitura).
  2. Análise Paralinguística: 3 tarefas (reconhecimento de idade, gênero e emoção).
  3. Compreensão de Áudio Cultural Persa: 3 tarefas (detecção de métrica de poesia/vazn, classificação de estilo/sabk e compreensão de música tradicional).
• Coleta de Dados:
  • Dados reais de corpora de fala (Common Voice, ParsVoice, SHEMO, Ganjoor).
  • Síntese de áudio de alta qualidade (TTS) para tarefas onde dados naturais são escassos (como NER e Intenção), utilizando vozes diversas para garantir variabilidade prosódica.
  • 10 das 16 tarefas são novas e específicas para o persa.
• Protocolo Experimental:
  • Avaliação de 8 LALMs de última geração (incluindo famílias Qwen, Gemma, GPT-4o e Gemini) em configuração zero-shot.
  • Inclusão de baselines apenas de texto (transcrição) para isolar falhas de processamento de áudio de falhas de competência linguística.
  • Análise de estratégias de prompting (few-shot, Chain-of-Thought).

3. Principais Contribuições

1. Primeiro Benchmark Cultural Persa: Preenche uma lacuna crítica ao fornecer uma avaliação sistemática de LALMs em um contexto de baixa recursos e alta complexidade cultural.
2. Novas Tarefas Específicas: Introduz tarefas impossíveis de serem avaliadas apenas com texto, como a detecção de vazn (métrica poética) e classificação de modos musicais Dastgah.
3. Análise da Lacuna Áudio-Texto: Estabelece uma metodologia clara para distinguir se um modelo falha por não entender a língua ou por não conseguir extrair informações do sinal de áudio.
4. Recurso Público: O dataset e os resultados estão disponíveis publicamente para fomentar pesquisas futuras.

4. Resultados Chave

Os experimentos revelaram três descobertas principais:

• O Processamento de Áudio é o Gargalo: Em quase todas as tarefas, os baselines apenas de texto superaram consistentemente as contrapartes de áudio. Isso indica que os modelos possuem a competência linguística necessária, mas falham ao decodificar o sinal de áudio para extrair informações (ex: erros de transcrição de entidades nomeadas ou tradução).
• Hierarquia de Dificuldade e Falhas Qualitativas:
  • Fala com Alto Conteúdo Lexical: Tarefas como compreensão de leitura e detecção de code-switching têm bom desempenho.
  • Paralinguística: Reconhecimento de gênero está resolvido, mas reconhecimento de emoção é parcial e reconhecimento de idade é praticamente impossível (desempenho próximo ao acaso).
  • Cultura e Prosódia: A detecção de métrica de poesia (vazn) é a tarefa mais difícil; todos os modelos, independentemente do tamanho, performam perto do acaso. Isso sugere que a percepção prosódica fina ainda está fora do alcance dos modelos atuais.
  • Exceção Notável: A classificação de estilo poético (sabk) foi a única tarefa onde o desempenho de áudio superou o de texto, confirmando que a recitação vocal carrega sinais discriminativos de estilo ausentes no texto transcrito.
• Escala vs. Arquitetura: O aumento de parâmetros não garante melhoria uniforme. Modelos menores (como Gemma-4B) superaram modelos maiores (Qwen-7B) em tarefas culturais específicas, sugerindo que a cobertura dos dados de treinamento e a qualidade do codificador de áudio são mais críticas do que apenas o tamanho do modelo. Modelos proprietários de ponta não tiveram vantagem em tarefas culturais.

5. Significado e Direções Futuras

O PARSA-Bench demonstra que os modelos atuais de IA, embora poderosos, ainda não conseguem capturar a riqueza cultural e prosódica de línguas como o persa, especialmente em contextos onde o áudio é o único portador de informação (como na métrica poética).

Implicações para Pesquisa Futura:

• Necessidade urgente de criar corpora de áudio prosódico persa para treinamento.
• Desenvolvimento de sistemas de recuperação aumentada (RAG) para acessar conhecimento cultural musical e literário.
• Treinamento de codificadores de áudio dedicados especificamente para a fala persa, em vez de depender de modelos pré-otimizados para outras línguas.
• Expansão deste framework de avaliação para outras línguas de baixo recurso com tradições orais ricas.

Em suma, o trabalho estabelece uma nova base de avaliação que expõe limitações fundamentais na percepção de áudio culturalmente fundamentada, guiando o desenvolvimento de futuros modelos multimodais mais robustos e culturalmente conscientes.