Resumo Técnico: HalluVerse-M3

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente geram textos coerentes que carecem de fundamentação factual, um fenômeno conhecido como alucinação. Este problema impõe riscos significativos em domínios de missão crítica, como saúde, direito e tomada de decisão executiva. Embora pesquisas recentes tenham produzido conjuntos de dados para analisar alucinações, os recursos existentes sofrem de três limitações primárias:

1. Viés Linguístico: Eles focam predominantemente no inglês, limitando a compreensão dos padrões de alucinação em outros contextos linguísticos.
2. Granularidade Grossa: A maioria trata a alucinação como um fenômeno binário (factual vs. alucinado), obscurecendo a diversidade de tipos de erro (ex: substituição de entidade vs. distorção de relação).
3. Especificidade de Tarefa: Os recursos tipicamente abordam tarefas de geração únicas, dificultando a comparação sistemática entre diferentes contextos de aplicação, como resposta a perguntas e sumarização.

Consequentemente, há uma carência de frameworks unificados capazes de analisar alucinações de granularidade fina através de múltiplas línguas e tarefas.

Metodologia

Os autores introduzem o HalluVerse-M3, um conjunto de dados projetado para permitir a análise sistemática de alucinações através de um pipeline de construção controlado.

Construção do Conjunto de Dados

• Línguas e Tarefas: O conjunto de dados cobre quatro línguas (Inglês, Árabe, Hindi, Turco) e duas tarefas de geração: Resposta a Perguntas (QA) e Sumarização de Diálogo (DS).
• Dados de Origem:
  • QA: Derivado de um conjunto de dados de QA factual por Lin et al. [2022], utilizando respostas de referência fundamentadas em evidências verificáveis.
  • DS: Derivado do conjunto de dados DialogSum [Chen et al., 2021], focando em resumos de eventos e entidades concretas.
• Preparação Multilíngue: O inglês serve como a fonte. Saídas paralelas para Árabe, Hindi e Turco foram geradas via tradução automática (Google Translate API) seguida de rigorosa verificação manual por falantes nativos para garantir correção gramatical e fidelidade semântica.
• Injeção de Alucinação: Um processo de edição controlado foi empregado para criar saídas alucinadas ($\tilde{y}$) a partir de saídas de referência ($y^*$). Este processo envolve:
  • Remover ou alterar proposições de referência específicas ($\Delta^-$).
  • Introduzir exatamente uma nova proposição não suportada ($\Delta^+$) tal que $|\Delta^+| = 1$.
  • Garantir que a nova proposição não seja suportada pela referência ($\Delta^+ \cap P(y^*) = \emptyset$).
• Anotação de Granularidade Fina: O conjunto de dados distingue entre três tipos de alucinação mutuamente exclusivos baseados na natureza da proposição injetada $p^+$:
  1. Nível de Entidade: O predicado e os atributos correspondem à referência, mas pelo menos um argumento de entidade difere.
  2. Nível de Relação: Os argumentos de entidade correspondem, mas o predicado (relação) ou os atributos (ex: ordem temporal, causalidade) diferem.
  3. Nível de Sentença: A proposição não possui uma proposição de referência alinhada; é uma afirmação sem ancoragem.
• Validação: Dois falantes nativos por língua anotaram os dados independentemente. Instâncias com erros gramaticais ou alucinações obscuras foram rotuladas como nulas (0) e excluídas. A concordância entre anotadores foi substancial a quase perfeita (Cohen's $\kappa$ variando de 0.74 a 0.83).

Configuração Experimental

Os autores avaliaram um conjunto diversificado de 14 LLMs contemporâneos (tanto de código aberto quanto proprietários) na tarefa de detecção de alucinação de granularidade fina.

• Modelos: Incluiu Phi-4, Mistral-7B, variantes Qwen-2.5, Gemma-2, LLaMA-3.3, DeepSeek-V2.5, PaLM 2, Claude-3.5, Gemini-2.5 e variantes GPT-4.
• Protocolo: A avaliação foi conduzida usando apenas prompting (sem fine-tuning). Os modelos receberam a tarefa de identificar o tipo de alucinação (Entidade, Relação ou Sentença) dada uma dupla de saídas originais e alucinadas.
• Métricas: A acurácia foi reportada como a métrica primária, analisada através de tarefas, línguas e tipos de alucinação.

Principais Resultados

A avaliação produziu várias tendências consistentes em relação ao desempenho dos modelos:

1. Dificuldade da Tarefa: Resposta a Perguntas (QA) é consistentemente mais fácil para os modelos avaliarem do que a Sumarização de Diálogo (DS). Isso é atribuído à natureza localizada dos erros em QA versus a natureza difusa e dependente de contexto das alucinações em sumarização.
2. Dificuldade do Tipo de Alucinação: Existe um gradiente claro de desempenho entre os tipos de alucinação:
   • Nível de Entidade: Mais fácil de detectar. Modelos de fronteira (ex: GPT-4o) alcançaram >90% de acurácia em QA.
   • Nível de Relação: Moderadamente difícil, exigindo raciocínio semântico profundo.
   • Nível de Sentença: Mais desafiador. Mesmo os modelos mais fortes tiveram dificuldades, com a acurácia frequentemente caindo para 50–65% em tarefas de sumarização.
3. Efeitos de Língua: O desempenho é mais alto em Inglês e degrada em línguas de menores recursos. O Hindi consistentemente exibiu a menor acurácia de detecção, particularmente em tarefas de sumarização.
4. Comparação de Modelos: Modelos proprietários geralmente superaram os sistemas de código aberto, embora modelos de código aberto maiores (ex: DeepSeek-V2.5, LLaMA-3.3-70B) tenham performado competitivamente em QA. O GPT-4o alcançou o melhor desempenho geral, provavelmente beneficiando-se de seu envolvimento no processo de injeção de alucinação.

Significância e Alegações

O artigo alega que o HalluVerse-M3 fornece um benchmark realista e desafiador para estudar alucinações em configurações multilíngues e multitarefa. Sua significância reside na:

• Granularidade: Ir além da classificação binária para distinguir entre erros de nível de entidade, relação e sentença.
• Escopo Multilíngue: Oferecer um recurso raro para analisar padrões de alucinação através de línguas tipologicamente diversas (Inglês, Árabe, Hindi, Turco).
• Diversidade de Tarefas: Permitir comparações controladas entre tarefas fundamentadas (QA) e tarefas abstrativas (Sumarização).

Os autores concluem que, embora os recentes modelos de fronteira mostrem um forte desempenho na detecção de erros de nível de entidade em QA, alucinações de nível de sentença em tarefas generativas permanecem um problema em aberto, mesmo para os modelos mais avançados. O conjunto de dados é liberado para apoiar pesquisas futuras em detecção e mitigação, enfatizando a necessidade de métodos que vão além de pistas superficiais em direção a um enraizamento semântico mais profundo.

Considerações Éticas

O conjunto de dados contém informações deliberadamente fabricadas. Os autores observam o risco de uso indevido para treinar sistemas para gerar conteúdo enganoso. Para mitigar isso, o conjunto de dados é liberado sob uma licença CC BY-NC 4.0 apenas para pesquisa não comercial, com rotulagem explícita de instâncias alucinadas e seus tipos. A triagem de segurança de conteúdo indicou uma baixa presença de linguagem ofensiva.