Sumário Técnico: MasalBench

Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência na compreensão de linguagem figurada em línguas de alto recurso como o inglês, suas capacidades em línguas de baixo recurso permanecem subexploradas. Esta lacuna é particularmente crítica para o persa, uma língua rica no uso de provérbios, mas que carece de benchmarks abrangentes para avaliar a compreensão contextual e transcultural dos LLMs. Estudos existentes sobre provérbios persas foram limitados em escopo, frequentemente baseando-se em formatos de escolha binária com distratores simplistas ou focando em conjuntos de dados pequenos e não sistemáticos. Consequentemente, há uma falta de avaliação rigorosa sobre o quão bem os LLMs multilíngues podem interpretar provérbios dentro de contextos conversacionais e identificar provérbios culturalmente equivalentes entre idiomas.

Metodologia

Os autores introduzem o MasalBench, um benchmark abrangente projetado para avaliar LLMs em dois níveis distintos: Compreensão Contextual e Compreensão Transcultural.

Construção do Conjunto de Dados

O benchmark foi construído utilizando Foote Koozegari: Persian Proverbs and Their Stories, uma referência contendo mais de 4.000 provérbios. Os autores utilizaram o Gemini 2.5 Pro para auxiliar na extração e processamento de dados de PDFs baseados em imagens, seguido de uma rigorosa verificação manual por falantes nativos de persa para garantir a precisão cultural e a naturalidade.

1. Compreensão Contextual (1.000 itens):

   • Formato: Questões de múltipla escolha (MCQs) baseadas em diálogos curtos e naturais.
   • Estrutura: Em cada diálogo, um segundo interlocutor responde a um primeiro utilizando um provérbio persa específico. O modelo deve identificar a intenção do interlocutor.
   • Distratores: Três opções incorretas são geradas para cada questão, categorizadas especificamente para testar diferentes modos de falha:
     • Armadilha Literal (Literal Trap): Uma interpretação equivocada baseada no significado literal das palavras.
     • Plausível (Plausible): Uma interpretação logicamente coerente, mas contextualmente incorreta.
     • Irrelevante (Irrelevant): Uma opção não relacionada ao diálogo ou ao provérbio.
   • Processo: 100 diálogos foram criados manualmente, enquanto o restante foi gerado via Gemini 2.5 Pro e verificado manualmente.

2. Compreensão Transcultural (700 itens):

   • Formato: Questões de escolha binária.
   • Tarefa: Dado um provérbio persa, o modelo deve identificar o equivalente em inglês correto entre duas opções.
   • Distratores: A opção incorreta é um provérbio em inglês "irrelevante" que compartilha vocabulário, tom ou imagens semelhantes ao provérbio persa, mas transmite um significado diferente, servindo como um distrator convincente.
   • Processo: Gerado via Gemini 2.5 Pro e verificado manualmente para garantir que os equivalentes sejam autênticos e os distratores sejam culturalmente plausíveis, porém semanticamente distintos.

Configuração Experimental

O benchmark foi avaliado em oito LLMs multilíngues de última geração, incluindo Llama 4 Scout, Llama 3.3 70B Instruct, Qwen 2.5 72B Instruct, Qwen QwQ 32B, DeepSeek V3.1, DeepSeek R1, GPT-4.1 mini e GPT-4o mini.

• Prompting: Foi utilizado o prompting zero-shot com ordens de opções randomizadas para evitar o viés de posição.
• Parâmetros: A temperatura foi definida como 0 para saídas determinísticas, e o top-p como 1. Os modelos foram restringidos a retornar apenas a letra da opção.

Resultados Principais

Compreensão Contextual

Os modelos demonstraram um forte desempenho na identificação do significado pretendido de provérbios persas dentro de diálogos.

• Acurácia: Todos os modelos avaliados alcançaram pontuações de acurácia acima de 0,90.
• Melhor Desempenho: O DeepSeek V3.1 alcançou a maior acurácia (0,943), atribuída em parte ao seu grande número de parâmetros (671B).
• Análise de Erros: Quando os modelos falharam, os erros foram predominantemente de distratores plausíveis (variando de 0,06 a 0,08 de proporção de erros), indicando que os modelos têm dificuldade em distinguir entre interpretações semanticamente coerentes, mas contextualmente incorretas. Erros literais e irrelevantes foram raros (<0,02).
• Características do Modelo: Modelos ajustados por instrução (instruction-tuned) geralmente superaram seus equivalentes focados em raciocínio dentro das mesmas famílias, sugerindo que o ajuste por instrução auxilia na contextualização cultural.

Compreensão Transcultural

O desempenho caiu significativamente quando os modelos foram incumbidos de mapear provérbios persas para seus equivalentes em inglês.

• Acurácia: As pontuações variaram de 0,647 (Llama 4 Scout) a 0,793 (DeepSeek R1).
• Desafios: A tarefa provou ser mais difícil do que a compreensão contextual, exigindo não apenas decodificação linguística, mas também conhecimento cultural e raciocínio analógico para navegar pelas diferenças de imagens e vocabulário entre as línguas.
• Ajuste por Instrução: Embora o ajuste por instrução tenha proporcionado um benefício marginal, seu impacto foi limitado em comparação com a tarefa contextual, já que o sucesso dependia fortemente da exposição a dados culturais durante o pré-treinamento, em vez do seguimento de instruções.

Significância e Contribuições

O artigo reivindica várias contribções principais para o campo da avaliação de LLMs:

1. MasalBench: A introdução do primeiro benchmark abrangente especificamente projetado para avaliar a compreensão contextual e transcultural de provérbios persas, uma língua de baixo recurso com alta dependência cultural de linguagem figurada.
2. Análise de Erro Granular: O estudo fornece uma decomposição detalhada das falhas dos modelos, distinguindo entre erros literais, plausíveis e irrelevantes, revelando que os modelos atuais são robustos no raciocínio metafórico, mas propensos a selecionar interpretações semanticamente coerentes, porém incorretas.
3. Limitações Transculturais: As descobertas destacam uma lacuna significativa nas capacidades atuais dos LLMs em relação à abstração transcultural. Embora os modelos consigam compreender provérbios dentro de seu contexto cultural nativo, transferir essa compreensão para um equivalente em outro idioma continua sendo um desafio substancial, expondo limitações no embasamento cultural e no raciocínio analógico.
4. Estrutura para Pesquisas Futuras: O MasalBench oferece uma estrutura para avaliar a compreensão transcultural em outras línguas de baixo recurso, abordando uma lacuna crítica na avaliação de LLMs multilíngues.

Os autores concluem que, embora os LLMs multilíngues estejam se tornando robustos no raciocínio metafórico intra-linguagem, eles requerem maior desenvolvimento para alcançar uma verdadeira fluência transcultural, particularmente em tarefas que demandam equivalência cultural em vez de tradução direta.