Simorgh at SemEval-2026 task 7: Region-Aware Hybrid Retrieval for Low-Resource Cultural Reasoning in Multilingual Question Answering

Resumo Técnico: Simorgh na SemEval-2026 Tarefa 7

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem alta proficiência em raciocínio geral e conhecimento cultural centrado no Ocidente, eles exibem degradação significativa de desempenho ao abordar questões fundamentadas culturalmente de origens orientais ou regiões de baixo recurso. Essa disparidade decorre de corpora de treinamento (por exemplo, Wikipedia, Common Crawl) que são fortemente enviesados em direção a línguas e perspectivas dominantes, levando a distribuições desequilibradas de conhecimento cultural cotidiano. Consequentemente, os modelos frequentemente produzem respostas incompletas, excessivamente genéricas ou alucinadas quando consultados sobre domínios socioculturais específicos, como culinária, dinâmicas familiares ou feriados locais em línguas como amárico, haúsa ou sundanês. O desafio central abordado neste artigo é melhorar a precisão e a adequação cultural da resposta a perguntas de múltipla escolha (MCQA) nesses contextos sub-representados, sem depender exclusivamente de conhecimento paramétrico.

Metodologia
Os autores propõem um pipeline de duas etapas, denominado Simorgh, projetado para o benchmark BLEnD (SemEval-2026 Tarefa 7). A arquitetura do sistema integra um mecanismo de Recuperação Híbrida Consciente de Região com um Motor de Inferência de LLM Quantizado.

1. Classificador Híbrido de Evidências:

   • Correspondência Lexical: Utiliza o algoritmo padrão BM25 com tokenização baseada em limites de palavras para capturar correspondências exatas de palavras-chave entre a consulta e as evidências documentais.
   • Semelhança Semântica: Emprega o SentenceTransformer all-MiniLM-L6-v2 para gerar embeddings densos, calculando a similaridade de cosseno entre a pergunta e a evidência.
   • Heurística Consciente de Região: Uma heurística de ponderação inovadora é aplicada às pontuações combinadas. Se o texto de evidência recuperado contiver referências regionais explícitas, um bônus de 30% é aplicado à pontuação.
   • Fórmula de Pontuação: A pontuação final de classificação é calculada como:
     $$\text{PontuaçãoFinal} = (0.4 \cdot \text{BM25} + 0.6 \cdot \text{Semântica}) \cdot (1 + \text{BônusRegional})$$
   • Saída: Os 5 blocos de evidência com maior classificação são extraídos para a etapa de inferência.

2. Motor de Inferência de LLM Quantizado:

   • Modelo: O sistema utiliza o modelo Qwen3-14B, carregado com quantização de 4 bits NormalFloat (nf4) com dupla quantização para otimizar o uso de VRAM e permitir agrupamento eficiente.
   • Construção do Prompt: O modelo é solicitado como um "modelo de raciocínio cultural". Os 5 documentos recuperados são inseridos diretamente acima da pergunta e das quatro opções de resposta (A, B, C, D) dentro da janela de contexto. Se nenhuma evidência for recuperada, o modelo recorre ao seu conhecimento paramétrico.
   • Seleção Determinística: Em vez de gerar texto livre (o que arrisca erros de formatação), o sistema emprega uma seleção determinística baseada em logits. Ele extrai os valores de logit de previsão do próximo token estritamente para os tokens 'A', 'B', 'C' e 'D', selecionando a opção com a maior massa de probabilidade.

Principais Contribuições

• Recuperação Híbrida Consciente de Região: O artigo introduz uma estratégia de recuperação que combina correspondência lexical (BM25) e semântica (densa) com uma heurística específica para priorizar evidências contendo referências regionais, visando aprimorar a relevância do contexto recuperado para o raciocínio situado culturalmente.
• Prompting Estruturado para Raciocínio Cultural: A abordagem demonstra como integrar efetivamente evidências culturais recuperadas em um prompt estruturado para um LLM quantizado realizar MCQA.
• Saída Determinística Baseada em Logits: Ao contornar a geração de texto para a seleção de respostas, o método garante robustez de formato e eficiência computacional, mapeando diretamente a qualidade da recuperação para a seleção da resposta.

Resultados
Experimentos conduzidos no benchmark BLEnD (abrangendo 30 línguas e 16 regiões) indicam que a abordagem de recuperação híbrida melhora a estabilidade multilíngue em comparação com a inferência puramente paramétrica.

• Lacunas de Desempenho: Embora a abordagem híbrida mitigue algumas disparidades, uma lacuna de desempenho notável persiste entre línguas de alto recurso (por exemplo, inglês, francês) e línguas de baixo recurso (por exemplo, amárico, haúsa, sundanês).
• Impacto da Recuperação: Os resultados sugerem que a augmentação baseada em recuperação ajuda a estabilizar o desempenho entre línguas, embora não supere totalmente as limitações impostas por desequilíbrios nos dados de treinamento. Línguas de alto recurso continuam a demonstrar precisão significativamente maior do que suas contrapartes de baixo recurso.

Significância e Limitações
O artigo afirma que incorporar correspondência lexical, similaridade semântica e classificação priorizada regionalmente em um modelo de recuperação híbrida e inferência baseada em logits ajuda a estabilizar o desempenho do raciocínio intercultural. No entanto, os autores mantêm uma postura modesta quanto à completude da solução. Eles reconhecem que a augmentação por recuperação sozinha é insuficiente para abordar totalmente os desequilíbrios criados por corpora de pré-treinamento em grande escala.

Limitações específicas identificadas incluem:

• Dependência de Coleções Externas: A eficácia do sistema é limitada pela disponibilidade de documentos culturais relevantes; se o corpus externo carecer de dados culturais específicos, o módulo de recuperação pode falhar em fornecer evidências significativas.
• Restrições Heurísticas: A heurística de ponderação regional pode falhar quando as referências culturais são implícitas em vez de explicitamente declaradas no texto.
• Profundidade de Raciocínio: A estratégia de seleção baseada em logits limita o raciocínio às distribuições de probabilidade do próximo token, potencialmente perdendo a deliberação matizada e multietapa necessária para inferências culturais complexas.
• Efeitos de Quantização: Embora a quantização de 4 bits ajude na eficiência, ela pode introduzir pequenas perdas de precisão representacional, afetando potencialmente o desempenho em línguas linguisticamente complexas ou gramaticalmente ricas.

Os autores concluem que trabalhos futuros devem focar no desenvolvimento de modelos regionais dinâmicos, mecanismos de reclassificação informados culturalmente e estratégias de ajuste fino direcionadas especificamente a comunidades linguísticas de baixo recurso para melhorar ainda mais a integridade e a equidade das avaliações de LLM.