AmharicStoryQA: A Multicultural Story Question Answering Benchmark in Amharic

Resumo Técnico: AmharicStoryQA

Definição do Problema
As avaliações atuais de Grandes Modelos de Linguagem (LLMs) frequentemente tratam linguagem e cultura como sinônimos, utilizando métricas de desempenho como um substituto para a compreensão de um idioma específico. Essa abordagem negligencia variações culturais significativas que existem dentro de uma única comunidade linguística. Especificamente, os benchmarks existentes para línguas de baixos recursos, como o amárico, frequentemente falham em capturar a diversidade regional, nuances dialetais e conteúdos específicos de domínio decorrentes de diferentes estruturas governamentais, histórias e normas sociais. Além disso, há uma escassez de conjuntos de dados focados em geração e de sequências longas projetados para simular o uso real de modelos nesses contextos, deixando um ponto cego significativo na compreensão de como os LLMs lidam com narrativas extensas em línguas etíopes.

Metodologia
Para abordar essas lacunas, os autores introduzem o AmharicStoryQA, um benchmark de perguntas e respostas baseado em histórias multiculturais. A metodologia envolve as seguintes etapas principais:

• Coleta de Dados: O conjunto de dados é construído a partir de 244 histórias e contos pré-traduzidos coletados de nove regiões distintas da Etiópia (incluindo Afar, Amhara, Benishangul-Gumuz, Harar, Oromia, Somália, zonas SNNP e Tigray).
• Geração de Perguntas: Utilizando o GPT-4.1, os autores geraram cinco perguntas de múltipla escolha (MCQA) distintas e uma resposta correta com três distratores (enviesados por conhecimento de mundo, irrelevantes ou factualmente falsos) para cada história.
• Controle de Qualidade:
  • Avaliação Manual: Três anotadores humanos avaliaram as perguntas quanto à correção, fidelidade, qualidade linguística e profundidade de compreensão usando o Gwet's AC1 para confiabilidade inter-avaliador.
  • Tradução: Anotadores experientes traduziram as perguntas e respostas para o amárico, preservando o estilo narrativo e a relevância cultural.
  • Pontuação Automatizada: A métrica SSA-COMET foi utilizada para sinalizar traduções automáticas de baixa qualidade (pontuação < 0,65) para inspeção manual, garantindo alta fidelidade às histórias originais.
• Divisão do Conjunto de Dados: O benchmark final consiste em 571 exemplos de treinamento e 649 de teste, divididos com base nos scores de SSA-COMET para evitar que inconsistências de tradução influenciem desproporcionalmente a avaliação.
• Protocolo de Avaliação: Os autores avaliaram sete LLMs de código aberto (incluindo Gemma, Llama, Aya e Command R) com comprimentos de contexto de até 12ks de tokens. As avaliações cobriram tanto MCQA (usando log-likelihood) quanto geração aberta (usando chrF). Além disso, o ajuste fino supervisionado (SFT) foi realizado no Llama 3.1 8B Instruct usando LoRA em conjuntos de dados apenas em inglês, apenas em amárico e combinados.

Principais Contribuições

1. Benchmark AmharicStoryQA: Um conjunto de dados de perguntas e respostas de sequência longa e multicultural em amárico e inglês, compreendendo 1.220 exemplos derivados de 244 histórias em nove regiões etíopes. Inclui tanto tarefas de MCQA quanto de geração aberta.
2. Análise Empírica de Variação Regional: O estudo demonstra que, apesar de compartilharem características linguísticas, o conteúdo específico de cada região influencia substancialmente os resultados da avaliação. Revela que os LLMs existentes exibem lacunas significativas de compreensão narrativa e diferenças acentuadas de desempenho regional.
3. Insights de Ajuste Fino (Fine-Tuning): O artigo investiga o impacto de dados de treinamento culturalmente fundamentados, mostrando que o ajuste fino supervisionado produz melhorias desiguais entre regiões e configurações de avaliação, destacando a necessidade de dados direcionados para línguas de baixos recursos.

Resultos e Análise

• Lacuna de Compreensão Narrativa: Em avaliações zero-shot, a maioria dos modelos (exceto o Gemma) exibiu um colapso agudo de desempenho nas tarefas de MCQA em amárico (caindo para 0,20–0,35 de precisão) em comparação com seu alto desempenho em tarefas em inglês. Isso sugere uma limitação estrutural na compreensão narrativa em amárico, em vez de uma falha no seguimento de instruções.
• Generativo vs. Compreensão: Embora a avaliação generativa (chrF) tenha mostrado uma degradação mais gradual do que a MCQA, os modelos ainda apresentaram desempenho significativamente inferior em narrativas em amárico. Notavelmente, fornecer prompts em inglês para narrativas em amárico melhorou a fluência superficial, mas não se correlacionou com uma maior precisão de compreensão.
• Diferenças Regionais: A análise de densidade semântica (via PCA) mostrou que, embora as histórias em amárico compartilhem um espaço semântico comum, os contornos regionais revelam motivos culturais distintos. O desempenho variou entre as regiões, com alguns modelos mostrando até ±10 pontos de diferença em chrF ou 20% de variância de precisão dependendo da região.
• Impacto do Ajuste Fino: O SFT no conjunto de dados AmharicStoryQA melhorou significativamente a precisão de MCQA para o Llama 3.1 8B Instruct (melhoria de quase 40% nas tarefas em amárico) e reduziu a lacuna de desempenho entre o prompting em inglês e em amárico. O ajuste fino também estabilizou os resultados entre as regiões para narrativas em amárico, embora as diferenças regionais tenham permanecido mais pronunciadas para narrativas em inglês mesmo após o treinamento.

Significância
O artigo argumenta que as avaliações padrão de nível de linguagem são insuficientes para avaliar LLMs em contextos multiculturais de baixos recursos. Ao introduzir um benchmark fundamentado na diversidade regional, os autores demonstram que a variação cultural dentro de uma única língua afeta significativamente a compreensão de histórias. As descobertas enfatizam a necessidade de benchmarks e dados de treinamento culturalmente fundamentados para avaliar e melhorar com precisão a compreensão narrativa em línguas como o amárico, indo além da suposição de que a proficiência linguística equivale à compreensão cultural. O trabalho serve como um chamado à ação para a comunidade desenvolver frameworks de avaliação que considerem a diversidade intra-linguística, em vez de tratar as línguas como entidades culturais monolíticas.