Hallucination Detection via Activations of Open-Weight Proxy Analyzers

Resumo Técnico: Detecção de Alucinação via Ativações de Analisadores Proxy de Pesos Abertos

Declaração do Problema
Os pipelines de Geração Aumentada por Recuperação (RAG) são críticos para aplicações empresariais, mas sofrem com taxas de alucinação que variam de 5% a 20% em tarefas específicas de domínio. Os métodos de detecção existentes enfrentam limitações significativas: verificações post-hoc e abordagens baseadas em incerteza são computacionalmente caras, exigindo múltiplas passagens do modelo; métodos mecanísticos de caixa branca oferecem alta precisão, mas exigem acesso direto aos estados internos do gerador. Isso exclui modelos de API fechada (por exemplo, GPT-4), sistemas de múltiplos backends ou cenários onde reexecutar um gerador massivo exclusivamente para detecção é proibitivo em termos de custo. O desafio central é detectar alucinações sem acessar os pesos ou as ativações internas do gerador.

Metodologia
Os autores propõem um framework de analisador proxy que desacopla o detector do gerador. Dado um documento fonte ($S$), uma pergunta ($Q$) e uma resposta candidata ($A$), o sistema alimenta esse texto em um modelo "analisador" pequeno, hospedado localmente e de pesos abertos. O detector depende inteiramente das ativações internas do analisador para determinar se $A$ é alucinada, independentemente de qual modelo gerou $A$.

O framework extrai 18 características fundamentadas na mecânica dos transformadores durante uma única passagem direta:

1. Sinais de Ativação (S1–S4):
   • S1 (Norma Residual): Rastreia o crescimento das normas do fluxo residual; respostas fiéis mostram crescimento constante, enquanto alucinações estagnam precocemente.
   • S2 (Atenção à Fonte por Cabeça): A característica mais crítica (~50% da importância das características), medindo a atenção ao documento fonte por cabeça e camada.
   • S3 (Entropia de Atenção): A leitura fiel distribui a atenção; alucinações colapsam em tokens memorizados.
   • S4 (Norma MLP): Rastreia a força de disparo da memória paramétrica, análoga a uma "Pontuação de Conhecimento Paramétrico".
2. Sinais de Logit e Interação (S5–S7): Inclui trajetórias de lentes de logit, perplexidade condicional e termos de interação que refletem a dominância da memória paramétrica sobre a leitura da fonte.
3. Sinais Externos e Léxicos (S8–S10): Inclui uma pontuação Vectara HHEM, razão entre o comprimento da resposta e da fonte, e sobreposição de tokens Jaccard.
4. Sinais de Janela e Inclinação (S11–S15): Agrega S1 e S2 sobre uma janela fixa de camadas e analisa as inclinações das normas residuais e das razões de fundamentação.
5. Estatísticas de Fundamentação em Nível de Token (S16–S18): Novas estatísticas que capturam a pontuação mínima de fundamentação, variância e inclinação das trajetórias de fundamentação por token.

Uma pontuação Importância da Cabeça de Atenção (AHI) inovadora é introduzida para identificar quais cabeças de atenção específicas separam melhor respostas fiéis de alucinadas, superando sinais de atenção média brutos sob condições de distribuição fora do treinamento (OOD).

O sistema emprega um ensemble de empilhamento (Regressão Logística, Floresta Aleatória, HistGradientBoosting, XGBoost) treinado em 72.135 amostras de cinco conjuntos de dados (HaluEval, RAGTruth, MedHallu, MiniCheck-Synthetic, ANLI). Um classificador especializado, RagtStacking, é treinado exclusivamente em dados do RAGTruth para capturar padrões específicos de falha de fidelidade.

Principais Contribuições

1. Framework de Características: Introdução de 18 características fundamentadas mecanicamente, incluindo três novas estatísticas de fundamentação em nível de token, derivadas de uma única passagem direta de um modelo de pesos abertos.
2. Importância da Cabeça de Atenção (AHI): Uma métrica supervisionada que identifica cabeças de atenção específicas críticas para a fundamentação, demonstrando estabilidade superior sob deslocamentos OOD em comparação com médias de atenção brutas.
3. Estudo de Escala vs. Arquitetura: Uma avaliação abrangente em sete modelos (0,5B a 9B parâmetros) de quatro famílias (Qwen2.5, Gemma-2, Pythia, LLaMA-3), revelando que a família do modelo e o design da arquitetura frequentemente superam a contagem de parâmetros.
4. Benchmarks de Desempenho: Demonstração de que analisadores proxy podem superar métodos de caixa branca de última geração (ReDeEP) sem acesso ao gerador.
5. Correlação Profundidade-Tarefa: Descoberta de que os sinais de detecção de alucinação atingem o pico em diferentes profundidades de camada dependendo do tipo de tarefa (por exemplo, QA atinge o pico mais profundamente do que a verificação de afirmações).

Resultados

• Benchmark Primário (RAGTruth): Em todas as sete arquiteturas de analisador, o sistema superou consistentemente a AUC em nível de token do ReDeEP (0,73) em 7,4 a 10,3 pontos percentuais.
  • Qwen2.5-7B alcançou um F1 de 0,717 e uma AUC de 0,834 (com RagtStacking), superando o F1 em nível de token do ReDeEP (0,713).
  • Gemma-2-9B alcançou a maior AUC de 0,836.
  • Qwen2.5-0,5B alcançou um F1 de 0,706, demonstrando que modelos subbilionários são viáveis.
• Convergência de Tamanho do Modelo: Apesar de uma diferença de 18 vezes na contagem de parâmetros, a dispersão da AUC entre todos os sete modelos foi de apenas 2,3 pontos percentuais (0,814 a 0,837).
• A "Anomalia LLaMA": Contrariando as leis de escala, LLaMA-3-3B superou LLaMA-3-8B no RAGTruth (AUC 0,822 vs. 0,819; F1 0,698 vs. 0,687). O modelo de 8B recuperou-se apenas em dados OOD, sugerindo que, dentro da mesma família, tamanho maior não garante melhor detecção.
• Desempenho OOD: No LLM-AggreFact, todos os modelos agruparam-se dentro de 2,8 pontos percentuais de precisão balanceada. As lacunas de desempenho em relação às linhas de base foram atribuídas a incompatibilidades no comprimento do documento fonte (1.200 caracteres no treinamento vs. ~3.000 no AggreFact), e não a falhas fundamentais do sinal. Seis dos 18 sinais permaneceram estáveis através de deslocamentos de comprimento.
• Agnosticismo em Relação ao Gerador: O sistema performou consistentemente entre geradores (GPT-4, GPT-3.5, Mistral-7B, variantes Llama-2), confirmando a detecção de padrões de alucinação do documento fonte em vez de artefatos específicos do gerador.

Significado e Alegações
O artigo afirma que o design da arquitetura é um motor mais forte da qualidade de detecção do que a contagem bruta de parâmetros. Os resultados desafiam a intuição de que "maior é sempre melhor", mostrando que um modelo Qwen de 0,5B pode igualar ou superar modelos dez vezes seu tamanho, e um LLaMA de 3B pode superar sua contraparte de 8B.

Os autores afirmam que sua abordagem fornece uma guarda universal para sistemas RAG. Ao separar o detector do gerador, o sistema pode ser implantado em backends diversos (incluindo APIs fechadas) com uma única implementação. As descobertas sugerem que a alucinação é uma propriedade do desajuste entre resposta e fonte, detectável através do estado interno de qualquer transformador lendo o texto, tornando o gerador específico irrelevante para o processo de detecção. O artigo conclui que, embora lacunas OOD atuais existam devido a restrições nos dados de treinamento (comprimento da fonte), a estabilidade fundamental do sinal indica que a abordagem é fundamentalmente sólida para implantação mais ampla.