Resumo Técnico: LUCID - Detecção de Alucinações para Raciocínio em Grafos de Conhecimento baseados em LLM

1. Definição do Problema

Embora os Grandes Modelos de Linguagem (LLMs) integrados com Grafos de Conhecimento (KGs) tenham avançado em tarefas de raciocínio como perguntas e respostas (QA) e suporte à decisão, eles permanecem suscetíveis a alucinações. Mesmo quando triplas de KG relevantes são recuperadas e incorporadas aos prompts, os LLMs podem gerar respostas factualmente incorretas que contradizem a evidência recuperada.

Os métodos existentes de detecção de alucinação enfrentam limitações significativas neste domínio específico:

• Métodos gerais (ex: EigenScore, Perplexidade) focam nos estados internos do LLM, mas ignoram o contexto externo do KG.
• Métodos específicos para RAG (ex: RAGAs, Trulens) verificam a consistência entre as respostas e o texto recuperado, mas negligenciam a informação estrutural inerente aos KGs.
• Lacuna: Nenhum método existente aproveita conjuntamente a atenção interna do LLM, a semântica do KG e a topologia estrutural do KG para detectar alucinações em frameworks de raciocínio LLM-KG.

Os autores quantificam este problema através da anotação manual de respostas de três frameworks (Readi, ToG, StructGPT) em três conjuntos de dados (GrailQA, WebQSP, QALD-10), revelando uma taxa média de alucinação de 29,65%.

2. Metodologia: LUCID

O artigo propõe o LUCID (halLUcination deteCtIon method for LLM-based knowleDge graph reasoning), o primeiro método projetado especificamente para este cenário. O LUCID opera fundindo três fontes distintas de informação em uma Rede Neural de Grafos (GNN) para prever a probabilidade de alucinação.

2.1 Extração de Características

O método processa a interação entre o LLM e o subgrafo de KG recuperado ($G = (V, E)$) através de três estágios:

1. Informação de Estado Interno do LLM (Scores de Atenção):

   • O modelo extrai os scores de atenção da arquitetura multi-camada e multi-cabeça do LLM durante a geração da resposta.
   • Calcula o score de atenção médio para cada token da resposta sobre todos os tokens correspondentes aos nós (entidades) e arestas (relações) do KG.
   • Estes são agregados em duas matrizes de atenção média: $M_e$ (para nós) e $M_r$ (para arestas) através de todas as camadas e cabeças.

2. Informação Semântica do KG:

   • Para distinguir arestas relevantes da tarefa de arestas irrelevantes, o método computa a similaridade semântica entre a consulta (query) e as relações (arestas) no KG.
   • Utilizando um modelo de linguagem pré-treinado (all-MiniLM-L6-v2), embeddings são gerados para a consulta e as relações.
   • Scores de similaridade de cosseno $s(r, Q)$ são computados. Nota: A relevância semântica é computada para as relações, não para as entidades, pois as formas superficiais das entidades são frequentemente ambíguas.

3. Construção de Características:

   • Características de Nó ($x_e$): Formadas pelo achatamento (flattening) da matriz de atenção de nós $M_e$.
   • Características de Aresta ($x_r$): Formadas pela concatenação da matriz de atenção de arestas achatada $M_r$ com o score de similaridade semântica $s(r, Q)$.

2.2 Modelo de Detecção (GNN)

• O subgrafo enriquecido, equipado com as características de nó e aresta construídas, é alimentado em uma Rede de Isomorfismo de Grafos com Características de Aresta (GINE).
• A GINE é escolhida em vez da GIN padrão porque incorpora explicitamente as características das arestas no mecanismo de passagem de mensagem, permitendo que ela aproveite os ricos atributos estruturais e semânticos do KG.
• A GNN agrega a informação do grafo através de $K$ camadas de passagem de mensagem. Uma representação de nível de grafo é obtida somando as características dos nós, que é então passada por um classificador (MLP + Sigmoid) para gerar a probabilidade de alucinação.
• O limiar de detecção é determinado maximizando a média geométrica da sensibilidade e especificidade na curva ROC.

3. Principais Contribuições

1. Identificação de Problema e Benchmarking: Os autores são os primeiros a identificar e quantificar sistematicamente as alucinações em frameworks de raciocínio baseados em LLM e KG. Eles construíram conjuntos de dados de benchmark anotados manualmente através de três frameworks e três conjuntos de dados de QA, estabelecendo uma taxa de alucinação basal de 29,65%.
2. Método Inovador (LUCID): Eles propõem o LUCID, um framework de detecção que integra de forma única:
   • O estado interno do LLM (mecanismos de atenção).
     • A informação semântica do KG (similaridade relação-consulta).
   • A informação estrutural do KG (topologia do grafo).
3. Desempenho de Estado da Arte (SOTA): Experimentos extensivos demonstram que o LUCID supera 15 baselines (incluindo métodos de detecção geral e ferramentas específicas para RAG) em todos os frameworks e conjuntos de dados testados.
4. Utilidade Prática: O artigo demonstra que as probabilidades de alucinação do LUCID podem ser usadas para refinar estratégias de QA, reduzindo significativamente os custos de inferência enquanto mantém alta precisão.

4. Resultados Experimentais

Os experimentos foram conduzidos no GrailQA, WebQSP e QALD-10 utilizando três frameworks de raciocínio: Readi, ToG e StructGPT.

• Desempenho: O LUCID alcançou desempenho de Estado da Arte (SOTA) em todos os conjuntos de dados.
  • Em média, superou o melhor baseline (SelfCheckGPT) em 6,76% e o REDEEP (chunk) em 5,48% em termos da métrica média (AVG de ACC, AUC, PCC).
  • Apresentou os ganhos mais significativos no framework Readi (+2,81% de ganho médio), atribuído aos subgrafos de KG mais densos do Readi, que melhor se adequam ao mecanismo de passagem de mensagem do LUCID.
  • No WebQSP, o LUCID obteve um ganho médio de +2,57%, lidando efetivamente com questões centradas em relações, onde as alucinações frequentemente derivam da seleção incorreta de relações.
• Aplicação de Eficiência de Custo: Uma estratégia "Mista" foi testada, onde o Qwen2.5-7B gera respostas iniciais e o LUCID sinaliza alucinações de alta probabilidade para regeração por um modelo maior (Qwen3-235B).
  • Esta abordagem alcançou precisão comparável ao uso do modelo grande para todas as consultas (diferença de apenas 1,18%).
  • Reduziu os custos monetários em uma média de 55,4% em comparação ao uso exclusivo do modelo grande.
• Estudos de Ablação:
  • Características: Remover a similaridade semântica ou substituir as matrizes de atenção por scores de camadas ocultas ou aleatórios degradou significativamente o desempenho, confirmando a necessidade de ambos os sinais de atenção e semântica.
  • Arquitetura do Modelo: A GINE superou GCN, GAT e MLP, validando a importância de modelar explicitamente as características das arestas e a topologia do grafo.
  • Hiperparâmetros: O desempenho ideal foi alcançado com 2 camadas de GINE, 512 canais ocultos e uma taxa de aprendizado de $1 \times 10^{-3}$.

5. Significância e Alegações

O artigo afirma que o LUCID aborda uma lacuna crítica na confiabilidade do raciocínio baseado em LLM e KG. Ao ir além das verificações de consistência de superfície para analisar o alinhamento estrutural e semântico entre a atenção do LLM e o KG, o LUCID fornece um mecanismo mais robusto para detectar desinformação.

Os autores posicionam o LUCID não apenas como uma ferramenta de detecção, mas como um componente fundamental para melhorar aplicações de downstream. A capacidade de filtrar alucinações permite:

• Suporte à decisão mais confiável e descoberta automatizada de conhecimento.
• Estratégias de implantação de custo-benefício (usando modelos menores com refinamento seletivo).
• Uma base necessária para futuras melhorias na integração LLM-KG.

O trabalho conclui observando que, embora o LUCID seja eficaz, trabalhos futuros focarão na atribuição de alucinação de grão fino para melhor interpretabilidade e na extensão da avaliação para ambientes multilíngues e de múltiplos domínios.