A multilingual hallucination benchmark: MultiWikiQHalluA

Resumo Técnico: MultiWikiQHalluA

Declaração do Problema
As avaliações de alucinação atuais para Modelos de Linguagem de Grande Escala (LLMs) são predominantemente conduzidas em inglês, criando uma lacuna na compreensão de se as descobertas sobre a fidelidade do modelo se transferem para idiomas de recursos mais baixos. Além disso, os benchmarks existentes frequentemente confundem "alucinações de factualidade" (erros contra conhecimento do mundo real) com "alucinações de fidelidade" (conteúdo fluente, mas não fundamentado, que diverge da entrada fornecida ou é internamente inconsistente). Este trabalho aborda a necessidade de um quadro multilíngue para avaliar especificamente alucinações de fidelidade, focando em como a disponibilidade de recursos linguísticos impacta o comportamento do modelo.

Metodologia
Os autores propõem uma metodologia em duas etapas, aproveitando o framework LettuceDetect e o conjunto de dados MultiWikiQA:

1. Geração de Dados Sintéticos:

   • Conjunto de Dados Base: O estudo utiliza o MultiWikiQA, um conjunto de dados multilíngue aberto contendo triplos contexto-pergunta-resposta de artigos da Wikipedia em 306 idiomas.
   • Síntese de Alucinação: Em vez de usar o conjunto de dados RagTruth original, os autores adaptam o LettuceDetect para gerar alucinações sintéticas diretamente a partir do MultiWikiQA. Um modelo de linguagem (GPT-5-mini) é instruído a reescrever respostas de verdade fundamental com base em uma "intensidade de alucinação" amostrada (extraída de uma distribuição beta) e tipos específicos de erro (Factual, Temporal, Numérico).
   • Anotação: O framework usa o RAGFactChecker para gerar o texto alucinado e identifica os trechos de caracteres modificados. Esses trechos são projetados em subpalavras (tokens), rotulando os tokens sobrepostos como "não suportados" (1) e os outros como "suportados" (0), criando um conjunto de dados de classificação em nível de token.
   • Escala: Este processo gera conjuntos de dados de alucinação sintética para todos os 306 idiomas suportados pelo MultiWikiQA.

2. Treinamento do Classificador:

   • Os autores ajustam finamente classificadores em nível de token para distinguir entre tokens suportados e não suportados.
   • Seleção de Modelo: Vários modelos base (Ettin, EuroBERT, mmBERT) foram avaliados em dinamarquês e alemão. O modelo mmBERT-small demonstrou as maiores pontuações F1 e precisão tanto para idiomas de alto recurso (alemão) quanto para idiomas de recursos mais baixos (dinamarquês).
   • Modelos Finais: Classificadores de alucinação em nível de token foram treinados para 30 idiomas europeus usando a arquitetura mmBERT-small.

3. Avaliação:

   • Os classificadores treinados foram usados para avaliar cinco modelos de linguagem (Qwen3-0.6B, Qwen3-14B, Gemma-3-12B-IT, cogito-v1-preview-qwen-32B e cogito-v1-preview-llama-70B) em quatro idiomas: inglês, dinamarquês, alemão e islandês.
   • Métricas: A avaliação incluiu taxas de alucinação em nível de token (razão entre tokens alucinados e tokens totais) e taxas em nível de resposta (fração de respostas contendo pelo menos um token alucinado).

Principais Contribuições

• Lançamento de Conjunto de Dados: Um conjunto de dados de alucinação sintética cobrindo 306 idiomas, representando o escopo completo do MultiWikiQA.
• Lançamento de Classificador: Classificadores de alucinação em nível de token para 30 idiomas europeus, treinados nos dados sintéticos.
• Avaliação Empírica: Uma avaliação abrangente das taxas de alucinação em cinco modelos e quatro idiomas, destacando a disparidade entre configurações de alto recurso e baixo recurso.

Resultados

• Dependência de Recursos: As taxas de alucinação são consistentemente mais altas para idiomas de recursos mais baixos. O islandês exibiu as taxas mais altas em todos os modelos, enquanto o inglês e o alemão apresentaram as mais baixas.
• Desempenho do Modelo:
  • Modelos Pequenos: O Qwen3-0.6B demonstrou taxas de alucinação notavelmente altas, com até 60% das respostas contendo pelo menos uma alucinação no islandês.
  • Modelos Grandes: Geralmente, modelos maiores performaram melhor. O cogito-v1-preview-qwen-32B e o cogito-v1-preview-llama-70B alcançaram as taxas mais baixas ou empatadas nas mais baixas na maioria dos idiomas.
  • Não Monotonicidade: O tamanho do modelo sozinho não ditou estritamente o desempenho. Por exemplo, o Qwen3-14B superou o maior cogito-v1-preview-qwen-32B no alemão, e o cogito-v1-preview-llama-70B nem sempre superou o cogito-v1-preview-qwen-32B. Isso sugere que a arquitetura e a composição dos dados de treinamento são fatores críticos.
• Discrepância de Métrica: As taxas em nível de resposta foram significativamente mais altas do que as taxas em nível de token, particularmente para o islandês, indicando que mesmo um único token alucinado pode tornar uma parte significativa das respostas não fiéis.

Significância e Alegações
O artigo alega que sua abordagem fornece um método escalável e prático para avaliação de alucinação multilíngue. Ao passar da detecção em nível de resposta para a detecção em nível de token, permite a localização precisa de trechos não fiéis. Os autores observam que, embora a abordagem LettuceDetect seja eficaz, os classificadores podem superestimar as taxas de alucinação em idiomas de recursos mais baixos devido a sinais de treinamento mais ruidosos e artefatos de tokenização (onde tokenizadores de subpalavras dividem palavras familiares em mais tokens, potencialmente inflando as taxas em nível de token).

O estudo conclui que, embora modelos maiores geralmente reduzam as alucinações, a relação não é estritamente monotônica, e fatores como arquitetura e composição de dados de treinamento multilíngue desempenham um papel vital. O trabalho enfatiza a necessidade de avaliar modelos em diversos níveis de recursos para compreender totalmente sua confiabilidade, particularmente para idiomas como o islandês, onde as taxas de erro estão significativamente elevadas.