Unmasking the Factual-Conceptual Gap in Persian Language Models

1. O Problema

O artigo identifica uma lacuna crítica na avaliação de Modelos de Linguagem Grandes (LLMs) em persa. Embora os benchmarks existentes para persa tenham evoluído para cobrir pragmática e polidez, eles falham em distinguir entre:

• Fatos culturais memorizados: A capacidade de recuperar informações explícitas (ex: "O que é o Taarof?").
• Esquemas culturais implícitos: A capacidade de raciocinar sobre normas sociais sutis, dependentes de contexto e que muitas vezes carecem de justificação lógica (ex: superstições, tabus e rituais complexos).

Os autores argumentam que os modelos atuais tendem a mimetizar padrões superficiais de texto persa sem internalizar a lógica social subjacente, levando a falhas em distinguir comportamentos culturalmente apropriados de violações graves quando apresentados em cenários novos.

2. Metodologia: DIVANBENCH

Para diagnosticar essa lacuna, os autores introduzem o DIVANBENCH, um benchmark de diagnóstico focado em superstições, costumes e etiqueta social persa.

• Estrutura do Dataset:
  • Escopo: 81 conceitos culturais cobrindo 7 domínios (Etiqueta Social, Tradições do Nowruz, Seres Sobrenaturais, Rituais Apotropaicos, Cerimônias de Casamento, Tabus e Divinação).
  • Volume: 315 perguntas divididas em três tipos de tarefas:
    1. Perguntas de Múltipla Escolha Factual (Factual MCQ): 100 questões para testar a recuperação de conhecimento básico (linha de base).
    2. Verificação de Crença Binária (Binary Belief Verification): 162 afirmações (81 pares) apresentando um cenário "positivo" (correto) e um "negativo" (violação plausível). O objetivo é medir o viés de aquiescência (tendência de aceitar qualquer afirmação que soe culturalmente correta).
    3. Perguntas de Múltipla Escolha Baseadas em Cenário (Scenario-Based MCQ): 53 questões complexas que exigem inferência multi-etapa e aplicação de lógica cultural em situações novas.
• Protocolo Experimental:
  • Avaliação de 7 modelos de última geração (7B–12B parâmetros), incluindo Aya, Dorna2, Gemma, Llama e Qwen.
  • Comparação controlada entre o modelo base Llama 3.1-8B e sua variante adaptada ao persa Dorna2-8B (que passou por pré-treinamento contínuo em persa) para isolar o efeito do pré-treinamento monolíngue.
  • Uso de múltiplos prompts de sistema para mitigar sensibilidade e garantir que os modelos respondam como "insiders" culturais.

3. Contribuições Principais

• Novo Benchmark (DIVANBENCH): A primeira avaliação diagnóstica focada especificamente na distinção entre fatos culturais e esquemas de raciocínio social no idioma persa.
• Medição de Viés de Aquiescência: Uma metodologia robusta para quantificar a tendência dos modelos de concordar com violações culturais apenas porque contêm palavras-chave culturais, em vez de raciocinar sobre a lógica da situação.
• Análise do Paradoxo do Pré-treinamento: Evidência empírica de que o pré-treinamento contínuo em uma língua de baixo recurso pode degradar o raciocínio crítico, mesmo aumentando a fluência.
• Distinção Teórica: Validação da distinção antropológica entre "fatos culturais" (retrievable) e "esquemas culturais" (requerem aprendizado social embutido) no contexto de IA.

4. Resultados Chave

A avaliação revelou quatro descobertas críticas:

1. A Armadilha da Aquiescência (Acquiescence Trap):

   • 6 de 7 modelos exibiram um viés severo. Eles identificaram comportamentos apropriados com alta precisão (84–92%), mas falharam drasticamente em rejeitar violações claras (taxas de rejeição entre 19% e 48%).
   • Isso indica que os modelos estão fazendo pattern-matching (correspondência de padrões) com palavras-chave culturais em vez de raciocinar sobre a adequação da ação.

2. O Paradoxo do Pré-treinamento Persa:

   • A comparação entre Llama 3.1-8B (base) e Dorna2-8B (adaptado) mostrou um efeito negativo do pré-treinamento contínuo.
   • A precisão de rejeição do Dorna2 caiu de 73% para 30% (-43 pontos percentuais), enquanto a aceitação subiu para 91%.
   • O modelo adaptado tornou-se mais "culturalmente complacente" (aceita qualquer coisa que soe persa) e menos discernente, perdendo a capacidade de criticar violações.

3. A Lacuna Factual-Conceptual:

   • Houve uma queda média de 21% no desempenho ao transitar da recuperação factual para o raciocínio baseado em cenários.
   • Isso prova que memorizar fatos sobre a cultura persa não garante a capacidade de aplicar esses conhecimentos em situações sociais dinâmicas.

4. Tamanho não Garante Inteligência Cultural:

   • Modelos maiores (como o Gemma3-12B) tiveram melhor desempenho na memorização de fatos, mas exibiram o mesmo viés de aquiescência extrema que modelos menores, sugerindo que o aumento de escala apenas amplifica a memorização de padrões superficiais, não a compreensão profunda.

5. Significado e Implicações

O trabalho desafia a suposição comum na PLN de baixo recurso de que simplesmente escalar dados monolíngues ou realizar pré-treinamento contínuo em uma língua específica é suficiente para melhorar a competência cultural.

• Conclusão Central: A competência cultural requer mecanismos de aprendizado além da escala de dados; os modelos atuais aprendem a imitar a superfície cultural sem internalizar as regras implícitas de conduta.
• Impacto Futuro: O DIVANBENCH serve como um template para avaliar a "verdadeira" compreensão cultural em outras línguas, destacando a necessidade de desenvolver métodos de treinamento que ensinem esquemas sociais e lógica contextual, e não apenas estatísticas textuais.
• Recurso: O dataset e os códigos foram disponibilizados publicamente para permitir medições sistemáticas e comparáveis da compreensão cultural em LLMs.