TARAZ: Persian Short-Answer Question Benchmark for Cultural Evaluation of Language Models

1. O Problema

O artigo identifica lacunas críticas na avaliação da competência cultural de Grandes Modelos de Linguagem (LLMs) no idioma persa (Farsi):

• Limitações dos Benchmarks Atuais: A maioria das avaliações culturais existentes para o persa baseia-se em perguntas de múltipla escolha (MCQs), que tendem a medir a memorização factual em vez da compreensão conceitual ou cultural.
• Inadequação de Métricas de Correspondência Exata: O persa é uma língua morfologicamente complexa com variações ortográficas, numéricas (sistemas árabe e persa), diacríticos opcionais e registros formais/informais. Métricas tradicionais de "correspondência exata" (Exact Match) falham ao capturar respostas semanticamente idênticas, mas sintaticamente diferentes (ex.: variações de "pão" entre registros formais e informais).
• Viés nas Avaliações Baseadas em LLMs: O uso de outros LLMs como juízes (LLM-as-a-Judge) demonstra instabilidade, sensibilidade a prompts e viés posicional, além de frequentemente penalizar respostas corretas que contêm incertezas epistêmicas.
• Falta de Dados de Resposta Curta (SAQ): Existem poucos conjuntos de dados e frameworks de avaliação que utilizam perguntas de resposta curta (SAQ) adaptados especificamente para as nuances culturais e linguísticas do persa.

2. Metodologia

Os autores propõem o TARAZ, um framework de avaliação abrangente que utiliza perguntas de resposta curta (SAQ) e uma abordagem híbrida de avaliação.

Conjuntos de Dados (Datasets)

O framework avalia modelos em três datasets persas culturalmente fundamentados, todos com prompts e referências nativas:

1. BLEnD (Persian Subset): 500 perguntas sobre conhecimento cotidiano (comida, família, trabalho) com múltiplas respostas válidas anotadas por humanos.
2. PerCul-SAQ: Derivado do dataset PerCul, converte 592 cenários narrativos de múltipla escolha em tarefas de geração de resposta curta, testando o raciocínio cultural baseado em histórias.
3. ISN-SAQ: Derivado das Normas Sociais Iranianas (ISN), contém 535 perguntas sobre comportamentos sociais normativos em contextos específicos (ex.: etiqueta em aeroportos, mercados, mesquitas).

Pré-processamento Específico para Persa

Para lidar com a complexidade morfológica, o TARAZ implementa um pipeline de pós-processamento robusto antes da avaliação:

• Normalização de espaços e pontuação.
• Normalização de dígitos (conversão de algarismos árabes e ingleses para o sistema persa).
• Normalização de caracteres (substituição de variantes árabes por equivalentes persas, ex.: 'ی' vs 'ي').
• Remoção de diacríticos e palavras de parada (stop words).
• Stemming (remoção de sufixos comuns).
• Segmentação baseada em conjunções para lidar com respostas compostas.

Métricas de Avaliação Híbridas

O framework compara as respostas dos modelos contra as "ground truths" usando várias métricas, sendo a principal a abordagem híbrida:

1. Métricas Lexicais: Exact Match (EM) e ROUGE (1, 2, L).
2. LLM-Judge: Uso do GPT-5 para avaliar equivalência semântica via prompt.
3. Similaridade de Cosseno (Maux): Uso de embeddings de sentenças persas (maux-gte-persian-v3).
4. Maux+Post (A Métrica Proposta): Aplica o pré-processamento específico do persa aos embeddings antes de calcular a similaridade de cosseno. Esta é a métrica central que supera as limitações das abordagens anteriores.

Modelos Avaliados

Foram testados 15 modelos de última geração, divididos em:

• Proprietários (Closed-source): GPT-5, Claude Opus 4.1, Claude Sonnet 4.5, Gemini 2.5.
• Open-weight: LLaMA 3.1, DeepSeek-V3, Gemma-2, Phi-4, Qwen-2.5.
• Fine-tuned para Persa: PersianMind, ParsT5, Dorna, PersianLLaMA, Maral, AVA-LLAMA.

3. Contribuições Principais

1. TARAZ Framework: O primeiro benchmark padronizado e reprodutível para avaliar a compreensão cultural persa através de SAQs, superando as limitações das MCQs.
2. Novos Datasets Adaptados: Criação de ISN-SAQ e PerCul-SAQ, transformando dados existentes em tarefas de geração desafiadoras focadas em normas sociais e raciocínio narrativo.
3. Pipeline de Pós-processamento Persa: Uma solução automatizada e escalável para normalização morfológica e numérica, essencial para avaliações justas em línguas ricas em morfologia.
4. Métrica Híbrida Robusta: Demonstração de que a combinação de normalização morfológica com embeddings semânticos (Maux+Post) melhora a consistência da pontuação em +10% em comparação com baselines de correspondência exata.
5. Validação Humana: Confirmação de que a métrica semântica proposta (Maux) tem maior concordância com julgamentos humanos do que os juízes baseados em LLMs.

4. Resultados

• Desempenho Geral: Modelos proprietários de ponta (especialmente GPT-5 e Claude Opus 4.1) superaram consistentemente todos os outros em todos os datasets.
• Dificuldade dos Datasets: Os datasets PerCul-SAQ e ISN-SAQ foram significativamente mais difíceis que o BLEnD, resultando em quedas acentuadas nas métricas lexicais e semânticas para a maioria dos modelos.
• Modelos Open-weight: O Gemma-2-27B destacou-se entre os modelos open-weight, superando vários modelos fine-tuned especificamente para persa, sugerindo que a escala e a arquitetura multilíngue superam o ajuste fino limitado.
• Falha dos Modelos Fine-tuned Persas: Modelos adaptados especificamente para o persa (como Maral e PersianMind) apresentaram desempenho notavelmente inferior, muitas vezes gerando tokens repetitivos ou sem sentido. Isso indica que o fine-tuning apenas em dados traduzidos ou em modelos de menor escala (7B-8B) é insuficiente para raciocínio cultural complexo.
• Análise de Subtópicos: Modelos como o Claude Opus mantiveram alta precisão (>76%) em todos os subtemas culturais, enquanto modelos menores falharam drasticamente em categorias como "Comida" e "Família".
• Concordância Humana: A métrica Maux+Post alcançou 95,1% de concordância com a maioria humana, superando o LLM-Judge (82,4%), validando sua eficácia.

5. Significado e Impacto

O trabalho TARAZ estabelece um novo padrão para a avaliação de LLMs em línguas morfologicamente complexas e culturalmente ricas.

• Avanço Técnico: Demonstra que a avaliação de IA para línguas não-inglesas exige mais do que simples tradução ou correspondência de strings; é necessário um entendimento profundo da morfologia e das normas sociais locais.
• Insight sobre Modelos: Revela que, atualmente, o ajuste fino específico para uma língua (especialmente em modelos menores) não garante competência cultural superior a modelos multilíngues massivos e proprietários.
• Reprodutibilidade: Ao liberar o código, os dados e os módulos de pré-processamento, os autores fornecem uma base sólida para pesquisas futuras em avaliação intercultural de LLMs, incentivando o desenvolvimento de modelos que realmente compreendam o contexto cultural persa, e não apenas a sintaxe.

Em resumo, o TARAZ não é apenas um novo benchmark, mas uma correção metodológica necessária para avaliar verdadeiramente a inteligência cultural de modelos de linguagem em contextos persas.