MUCH: A Multilingual Claim Hallucination Benchmark

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são propensos a "alucinações" (conteúdo plausível, mas não factual). Embora técnicas de Quantificação de Incerteza (UQ) tenham sido desenvolvidas para estimar a confiança do modelo, a maioria dos benchmarks atuais foca em uma pontuação de incerteza agregada para toda a resposta (nível de resposta). Isso é insuficiente porque:

• Não oferece uma visão granular da incerteza em partes específicas do texto.
• Pode levar à rejeição de respostas inteiras se apenas uma pequena parte estiver errada.
• Limitações dos benchmarks existentes:
  1. Falta de Logits: A maioria não disponibiliza os logits (probabilidades) dos tokens, impossibilitando o desenvolvimento e avaliação de métodos de "caixa-branca" (white-box) que dependem desses dados.
  2. Segmentação Irrealista: A divisão das respostas em "claims" (afirmações) é feita manualmente ou por outros LLMs, o que é lento, não determinístico, caro computacionalmente e não reprodutível, inviabilizando o monitoramento em tempo real.

2. Metodologia

O paper introduz o MUCH, um benchmark multilíngue projetado para superar essas limitações. A construção do dataset segue um pipeline rigoroso:

• Coleta de Dados:
  • Utiliza perguntas factuais do dataset Mu-SHROOM em quatro línguas europeias: Inglês, Francês, Espanhol e Alemão.
  • Gera respostas usando 4 modelos instruídos de peso aberto (Llama 3.1 8B, Llama 3.2 3B, Ministral 8B, Gemma 3 4B) com duas temperaturas diferentes.
  • Dados Críticos: Para cada token gerado, são preservados 24 logits, permitindo o uso de métodos baseados em logits.
• Segmentação de Claims (Muito Segmenter):
  • Introduz o much_segmenter, um algoritmo determinístico e baseado em regras (não usa LLMs) que divide o texto em afirmações usando pontuação e stopwords.
  • É extremamente rápido (requer apenas 0,2% do tempo de computação da geração do LLM) e mapeia diretamente para os tokens gerados, garantindo reprodutibilidade e viabilidade para uso em produção.
• Anotação Automática:
  • Utiliza dois modelos (GPT-4o e GPT-4.1) para verificar a factualidade de cada claim, utilizando a página da Wikipedia associada à pergunta como fonte de verdade.
  • Filtragem de Qualidade: Apenas amostras onde os dois modelos de anotação concordam em todos os claims são mantidas, resultando em um dataset de "padrão-prateado" (silver-standard) de alta qualidade.
  • O dataset final contém 4.873 amostras (20.751 claims) com anotações binárias (factual/não-factual).

3. Principais Contribuições

1. MUCH Dataset: O primeiro benchmark de UQ em nível de claim multilíngue (EN, FR, ES, DE) com logits disponíveis para cada token, facilitando a pesquisa em métodos de caixa-branca.
2. much_segmenter: Uma ferramenta de segmentação rápida, determinística e independente de métodos de UQ, que resolve o gargalo de custo e reprodutibilidade da segmentação baseada em LLM.
3. Protocolo de Avaliação Reproduzível: Disponibilização de todos os artefatos (gerações, logits, anotações e código) para permitir a comparação justa de futuros métodos sem a necessidade de regenerar dados.
4. Análise de Estado da Arte: Um benchmarking extensivo de métodos existentes, revelando lacunas significativas em desempenho e eficiência.

4. Resultados e Avaliação

Os autores avaliaram cinco métodos baseline (CCP, SAR, Token Likelihood, Token Entropy, Maximum Likelihood) no dataset MUCH:

• Desempenho: O método CCP (adaptado) obteve o melhor desempenho com um ROC-AUC de 0,772, seguido pelo SAR (0,746). No entanto, mesmo o melhor método apresenta limitações para uso em produção real (baixa precisão em taxas de falsos positivos baixas).
• Eficiência (Tempo de Execução):
  • Métodos baseados em NLI (como CCP e SAR) são computacionalmente caros. O CCP, por exemplo, adiciona um overhead de 124% sobre o tempo de geração do LLM.
  • Métodos simples baseados em logits (como Token Entropy e Maximum Likelihood) são extremamente rápidos (menos de 1% de overhead), mas têm desempenho ligeiramente inferior.
• Desempenho Multilíngue: Os métodos baseados em NLI (CCP/SAR) performam significativamente pior em línguas que não o inglês (especialmente Espanhol), devido à dependência de modelos de NLI otimizados apenas para inglês.
• Estatísticas de Alucinação: O dataset mostrou que cerca de 60,4% das amostras contêm pelo menos um claim não factual, variando conforme o modelo (Gemma-3-4b teve as taxas mais altas).

5. Significado e Conclusão

O trabalho MUCH estabelece um novo padrão para a avaliação de incerteza em LLMs, focando na granularidade (nível de claim) e na realidade de implantação (eficiência e reprodutibilidade).

• Para a Pesquisa: A disponibilidade de logits e a segmentação determinística permitem o desenvolvimento de novos métodos de caixa-branca que antes eram impossíveis de avaliar de forma justa.
• Para a Indústria: O benchmark destaca que, embora existam métodos promissores, há um grande espaço para melhoria, especialmente na eficiência computacional (para permitir monitoramento em tempo real) e na robustez multilíngue.
• Recomendação Futura: O artigo sugere que futuros métodos devem focar em reduzir o overhead de tempo (alvo de alguns por cento) e melhorar a precisão em cenários de baixo falso-positivo, além de desenvolver abordagens que funcionem bem em múltiplas línguas sem depender de modelos de NLI específicos para inglês.

Em resumo, o MUCH fornece a infraestrutura necessária para transicionar a Quantificação de Incerteza de um exercício acadêmico para uma ferramenta viável de monitoramento de confiabilidade em sistemas de IA reais.