Resumo Técnico: BenHalluEval

Declaração do Problema

Apesar de o bengali ser a sexta língua mais falada globalmente, não tem havido uma avaliação sistemática de alucinações em Modelos de Linguagem de Grande Escala (LLMs) para este idioma. Os benchmarks existentes para detecção de alucinação (ex: TruthfulQA, FActScore, HaluEval) concentram-se primariamente no inglês ou em outras línguas de alto recurso como o árabe e o hindi. Além disso, os métodos de avaliação atuais dependem frequentemente de protocolos de via única que testam apenas candidatos alucinados, falhando em considerar modelos que podem exibir vieses de resposta uniformes (ex: prever sempre "alucinação" ou "não alucinação"). Adicionalmente, o comportamento específico dos LLMs em entradas de código misto Bangla-Inglês — um padrão de uso comum na comunicação digital em bengali — permanece não examinado.

Metodologia

Os autores introduzem o BenHalluEval, um framework de avaliação de alucinação multitarefa projetado especificamente para bengali e entradas de código misto Bangla-Inglês. O framework opera através de um pipeline de três estágios:

1. Seleção e Filtragem de Conjunto de Dados Semente

O framework constrói um benchmark utilizando quatro tarefas distintas, extraídas de conjuntos de dados existentes e aplicando estratégias de filtragem específicas para identificar amostras "difíceis" propensas à alucinação:

• Resposta de Pergunta Generativa (GQA): Utiliza o TyDiQA-GoldP (Bengali). As amostras foram filtradas via prompting de três modelos (Qwen2.5-14B, Gemma-2-9B, DeepSeek-R1-14B) sem contexto; as instâncias onde todos os três falharam foram selecionadas como o conjunto semente (1.000 amostras).
• QA de Código Misto Bangla-Inglês: As 1.000 perguntas semente de GQA foram convertidas para Bangla-Inglês (escrita romana) usando GPT-5.4, mantendo as respostas originais em bengali.
• Sumarização: Utiliza o BanglaCHQ-Summ (1.800 pares de consulta-resumo médicos). As amostras foram filtradas com base em baixa similaridade BERTScore F1 quando sumarizadas por três modelos, selecionando as 1.000 instâncias mais difíceis.
• Raciocínio: Utiliza o SOMADHAN (8.792 problemas matemáticos em bengali). As amostras foram estratificadas pela extensão da cadeia de raciocínio (500 mais longas, 500 mais curtas) para garantir níveis de dificuldade diversos.

2. Geração de Amostras Alucinadas

Utilizando o GPT-5.4, os autores geraram 12.000 candidatos alucinados através das quatro tarefas. O processo de geração empregou taxonomias de alucinação específicas para cada tarefa:

• GQA e QA de Código Misto (4 tipos): Veracidade (fabricação de fatos), Compreensão (má interpretação da intenção), Especificidade (nível de detalhe inapropriado) e Inferência (conclusões não suportadas).
• Sumarização (3 tipos): Conteúdo Fabricado, Adição Não Factual e Contradição Direta.
• Raciocínio (5 tipos): Erro Aritmético, Má Aplicação de Fórmula, Dedução Inválida, Fato Intermediário Alucinado e Deriva Semântica.

3. Protocolo de Avaliação de Via Dupla

Para abordar as limitações da avaliação de via única, os autores propõem um protocolo de via dupla avaliado em sete LLMs (abrangendo categorias orientadas ao raciocínio, multilíngues e centradas em bengali):

• Via A: Apresenta respostas corretas de verdade fundamental (ground-truth). O veredito esperado é "Não" (não alucinado). Isso mede a Taxa de Falsos Positivos.
• Via B: Apresenta os candidatos alucinados gerados. O veredito esperado é "Sim". Isso mede a Taxa de Detecção de Alucinação.

4. BenHalluScore (BHS)

Os autores introduzem o BenHalluScore, uma métrica de calibração projetada para penalizar conjuntamente ambos os modos de falha (falsos positivos em verdades fundamentais e detecções perdidas em dados alucinados).
$$\text{BenHalluScore} = \frac{1}{2} \left( \frac{W_A}{N_A} + \frac{W_B}{N_B} \right) \times 100\%$$
Onde $W$ representa vereditos errados e $N$ representa o total de instâncias por via. Um score menor indica melhor calibração; um score de 50% implica comportamento aleatório ou uniformemente enviesado.

Resultados Principais

A avaliação de sete modelos (incluindo DeepSeek-R1-14B, GPT-4.1 mini, Qwen2.5-32B, Gemma-2-27B, Mistral-nemo-12B, LLaMA-3.1-8B e TigerLLM-9B) revelou variações significativas de desempenho:

• Amplitude de Desempenho: Os BenHalluScores variaram de 7,72% (Qwen2.5-32B em Sumarização) a 55,42% (Mistral-nemo-12B em QA de Código Misto).
• Variância de Tarefa: As tarefas de Sumarização geralmente produziram scores menores (melhores) do que GQA ou Raciocínio, sugerindo que o acesso a documentos de origem completos auxilia na consistência factual. As tarefas de Raciocínio mostraram a maior dispersão de desempenho, indicando alta dificuldade na detecção de alucinações de raciocínio em bengali.
• Categorias de Modelos:
  • O GPT-4.1 mini alcançou o melhor equilíbrio em GQA (15,56%), mantendo baixos erros em ambas as vias.
  • O TigerLLM-9B (um modelo centrado em bengali) superou significativamente modelos multilíngues muito maiores em GQA e Sumarização, sugerindo que o pré-treinamento específico da língua é um preditor de calibração mais forte do que a contagem de parâmetros.
  • Mistral-nemo-12B e LLaMA-3.1-8B exibiram vieses sistemáticos severos. Por exemplo, o Mistral-nemo-12B sinalizou quase todas as respostas de verdade fundamental como alucinações (87,70% de erro na Via A), enquanto o LLaMA-3.1-8B falhou em detectar a maioria das alucinações (81,63% de erro na Via B).
• Código Misto vs. Escrita Nativa: Alguns modelos multilíngues (Qwen2.5, Gemma-2, DeepSeek-R1) tiveram desempenho melhor em entradas de código misto Bangla-Inglês do que em escrita nativa de bengali, provavelmente devido a representações mais fortemente ancoradas no inglês. Inversamente, o TigerLLM-9B e o GPT-4.1 mini tiveram melhor desempenho em bengali nativo.
• Mitigação (Cadeia de Pensamento - CoT): Aplicar prompting de Cadeia de Pensamento (CoT) não melhorou consistentemente a discriminação de alucinação. Em vários casos, o CoT apenas deslocou o viés de um modelo de um "Não" uniforme para um "Sim" uniforme (ou vice-versa), sem melhorar genuinamente a precisão da detecção.

Significância e Contribuições

O artigo reivindica as seguintes contribuições e significâncias:

1. Primeiro Benchmark Dedicado: O BenHalluEval estabelece o primeiro benchmark dedicado de alucinação para o bengali, cobrindo tanto entradas nativas quanto de código misto.
2. Calibração de Via Dupla: O trabalho destaca a inadequação da avaliação de via única para línguas de baixo recurso. Ao introduzir a Via A e a Via B, ele revela modos de falha (viés de resposta uniforme) que seriam ocultados por altas taxas de detecção apenas em dados alucinados.
3. Otimização Específica da Língua: Os resultados desafiam a suposição de que contagens maiores de parâmetros garantem melhor desempenho em cenários de baixo recurso, demonstrando que o pré-treinamento centrado em bengali (TigerLLM-9B) pode gerar uma calibração superior em comparação com modelos multilíngues maiores.
4. Limitações de Prompting: O estudo fornece evidência empírica de que o prompting de CoT não é uma estratégia de mitigação universal para alucinações em bengali, pois muitas vezes altera as distribuições de predição sem melhorar as capacidades de discriminação.

Os autores concluem que uma avaliação de alucinação confiável para o bengali requer frameworks especializados de via dupla e que as estratégias de prompting atuais sozinhas são insuficientes para mitigar as alucinações neste domínio. O conjunto de dados e o código estão disponíveis para facilitar pesquisas futuras.