💻 computer science

Signed Layer-Level Evidence in Transformer Predictions, and a Diagnostic for When It Applies

Este artigo introduz o Language Evidence Flow (LEF) para decompor as previsões de Transformers em evidências por camada com sinal e propõe o ScopeGate, uma ferramenta de diagnóstico baseada em permutação que revela as limitações específicas de modelo e de tarefa dos detectores de erro existentes, demonstrando que nenhuma métrica única prevê universalmente a falha do modelo.

Autores originais: Jeffery Opoku, David Banahene

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jeffery Opoku, David Banahene

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala são os motores por trás de uma nova geração de inteligência artificial, capazes de escrever ensaios, resolver problemas matemáticos e manter conversas que parecem extraordinariamente humanas. No entanto, sob sua superfície fluente reside uma falha persistente: às vezes, eles inventam fatos com total confiança, um fenômeno que os pesquisadores chamam de alucinação. Durante anos, a maneira padrão de detectar esses erros tem sido olhar para a resposta final do modelo e perguntar: "O quão seguro isso parece?". Se o modelo atribui uma alta probabilidade a uma palavra, assumimos que ela está correta. Mas essa abordagem possui um ponto cego. Ela trata a saída final como uma caixa preta, ignorando a complexa maquinaria interna que a produziu. Duas respostas podem ter exatamente o mesmo nível de confiança, mas uma pode ser o resultado de um acordo claro e unânime entre os componentes internos do modelo, enquanto a outra é o produto frágil de uma feroz guerra civil interna, onde diferentes partes do sistema estão puxando em direções opostas. Compreender essa luta oculta é crucial porque uma mentira que soa confiante é frequentemente mais perigosa do que uma verdade hesitante.

Uma equipe de pesquisadores desenvolveu um novo método para espiar dentro dessa caixa preta, revelando o cabo de guerra oculto que acontece antes de uma única palavra ser dita. Eles chamam seu framework de Language Evidence Flow (Fluxo de Evidência de Linguagem). Em vez de apenas olhar para a pontuação final, este método rastreia a contribuição de cada camada individual dentro da arquitetura do modelo conforme ela processa uma frase. Imagine o modelo como uma longa cadeia de tomadores de decisão, onde cada elo adiciona sua própria peça de evidência à escolha final. Os pesquisadores descobriram que podiam atribuir um valor positivo ou negativo à contribuição de cada elo. Um valor positivo significa que a camada apoia a palavra escolhida; um valor negativo significa que ela se opõe a ela. Ao somar esses valores, eles podem calcular uma "pontuação de conflito". Uma pontuação baixa significa que as camadas internas estão em harmonia, enquanto uma pontuação alta revela que o modelo está gerando uma resposta apesar de um forte desentendimento interno. Isso permite detectar quando um modelo está alucinando, mesmo que a resposta final pareça perfeitamente confiante na superfície.

Os pesquisadores testaram essa ideia em uma ampla gama de modelos, desde versões menores de 1,4 bilhão de parâmetros até sistemas massivos de 14,7 bilhões de parâmetros, abrangendo diferentes famílias arquitetônicas. Eles descobriram que o método funciona excepcionalmente bem para detectar um tipo específico de erro: quando a memória interna do modelo entra em conflito com informações externas que ele recuperou. Em uma configuração de geração aumentada por recuperação (retrieval-augmented generation), o modelo recebe um documento para ler antes de responder. Se o documento diz uma coisa e a memória de treinamento do modelo diz outra, a pontuação de conflito interno dispara, sinalizando que a resposta é provavelmente uma alucinação. Isso funciona em uma única passagem, o que significa que adiciona quase nenhum tempo ao processo de geração, ao contrário de métodos antigos que exigiam que o modelo gerasse a mesma resposta várias vezes para verificar a consistência.

No entanto, o estudo também revelou uma limitação surpreendente e importante: este sinal de conflito interno não é uma verdade universal para todos os modelos. Os pesquisadores descobriram que, para alguns modelos, uma pontuação de conflito alta previava confiavelmente um erro, mas para outros, o sinal era fraco ou até mesmo enganoso. Por exemplo, em um popular modelo de 7 bilhões de parâmetros, a pontuação de conflito foi, na verdade, pior do que o acaso ao prever erros, enquanto em um modelo diferente do mesmo tamanho, foi um forte indicador de problemas. Essa inconsistência significa que simplesmente instalar essa ferramenta em qualquer sistema de IA não é suficiente; você deve primeiro verificar se ela funciona para o seu modelo específico. Para resolver isso, a equipe criou uma verificação de segurança chamada ScopeGate. Este é um teste simples que roda em um pequeno conjunto de respostas conhecidas como corretas e incorretas para ver se a pontuação de conflito realmente se correlaciona com erros para aquele modelo específico. Se o teste falhar, a ferramenta não é usada como um alarme autônomo, mas ainda pode ser usada para entender por que o modelo está enfrentando dificuldades.

As descobertas sugerem que a maneira como esses modelos pensam muda conforme eles são ajustados para a conversação humana. Quando os modelos são ajustados (fine-tuned) para serem mais úteis e seguirem instruções, sua confiança superficial muitas vezes torna-se um sinal de alerta menos confiável, mas o sinal de conflito interno permanece forte ou até se torna mais nítido. Isso torna o novo método particularmente valioso para os modelos mais avançados e ajustados para instruções usados em aplicações do mundo real. Os pesquisadores também mostraram que essa abordagem pode detectar erros em tarefas de raciocínio complexas de múltiplas etapas, onde o modelo tem que encadear fatos, capturando o momento em que a lógica interna começa a se desgastar.

Em última análise, este trabalho desloca o foco da saída final para o processo de criação. Ele prova que o caminho para uma resposta importa tanto quanto a própria resposta. Ao mapear a evidência assinada que flui através de cada camada da rede, os pesquisadores forneceram uma maneira de ver os desentendimentos internos do modelo em tempo real. Embora o método não funcione perfeitamente em todos os modelos sem uma verificação prévia, ele oferece uma ferramenta poderosa, que não requer treinamento adicional, que pode ser implementada imediatamente. Ele permite que os desenvolvedores vejam exatamente onde e por que um modelo está lutando contra si mesmo, transformando o processo opaco da inteligência artificial em algo que pode ser observado, medido e compreendido. A lição principal é que a confiança não é suficiente; devemos também procurar pelo silêncio do acordo ou pelo ruído do conflito dentro da máquina.

Resumo Técnico: Evidência de Camada Assinada em Predições de Transformers

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente produzem saídas fluentes e de alta probabilidade que são factualmente incorretas (alucinações). Os métodos de detecção existentes enfrentam uma limitação fundamental: eles dependem de pontuações ao nível da saída (ex: probabilidade softmax, entropia preditiva) ou exigem amostragem dispendiosa (ex: SelfCheckGPT) ou dados de treinamento rotulados (ex: classificadores de sondagem).

A dificuldade central abordada por este trabalho é que dois tokens com identicas probabilidades softmax podem ser alcançados via processos internos vastamente diferentes. Um token pode ser sustentado por um acordo quase unânime através de todas as camadas do transformer, enquanto outro pode sobreviver apesar de uma forte oposição interna (conflito) de várias camadas. As pontuações ao nível da saída são funções apenas do gap de logit e são cegas para a "massa de evidência" ou para a estrutura de discordância interna. Consequentemente, um modelo pode parecer altamente confiante enquanto sua evidência interna está lutando contra si mesma, um estado que métricas padrão não conseguem detectar.

2. Metodologia: Fluxo de Evidência de Linguagem (LEF)

Os autores introduzem o Language Evidence Flow (LEF), um framework que decompõe a predição de um token em contribuições assinadas de cada camada do transformer, cabeça de atenção e, em cenários de Geração Aumentada de Recuperação (RAG), da memória paramétrica versus documentos recuperados.

2.1 Mecanismo Central

O LEF aproveita a natureza aditiva do fluxo residual do transformer. Para uma posição de token $t$ dada, o modelo seleciona um token principal $\hat{v}_t$ e um segundo colocado $\hat{r}_t$ . O gap de logit $\Delta_t$ é decomposto exatamente em termos de evidência assinada $E_\ell(t)$ de cada camada $\ell$ :
$\Delta_t = E_0(t) + \sum_{\ell=1}^{L} E_\ell(t)$
onde $E_\ell(t)$ é a contribuição da camada $\ell$ (combinando saídas de atenção e MLP) para o gap entre o token principal e o segundo colocado.

Evidência Assinada: Se $E_\ell(t) > 0$ , a camada apoia o token escolhido; se $E_\ell(t) < 0$ , ela se opõe a ele.
Massa de Suporte e Oposição: $S^+(t)$ e $S^-(t)$ são as somas das magnitudes de evidência positiva e negativa, respectivamente.
Pontuação de Conflito ( $C$ ): Definida como $C(t) = \frac{2 \min(S^+, S^-)}{S^+ + S^-}$ . Um valor próximo de 0 indica evidência unilateral; um valor próximo a 1 indica um impasse (alto conflito).
Margem de Inversão ( $m_{flip}$ ): A redistribuição mínima de evidência necessária para inverter a predição, calculada como $m_{flip}(t) = \frac{|\Delta_t|}{2} = \frac{M(t)(1-C(t))}{2}$ . Um alto conflito implica uma margem de inversão pequena, indicando fragilidade da predição.

2.2 Decomposição RAG

Em cenários de RAG, o LEF separa a evidência em fontes paramétricas ( $E_{param}$ ) e recuperadas ( $E_{retr}$ ). Ele define o Conflito entre Fontes ( $C_{cross}$ ) para medir o desacordo entre a memória interna do modelo e os documentos externos. Isso permite a detecção de alucinações de RAG onde o modelo ignora fatos recuperados em favor do conhecimento paramétrico (ou vice-versa).

2.3 Garantias Teóricas

O artigo prova um Teorema de Identificação estabelecendo que pontuações ao nível da saída (como probabilidade ou entropia) não podem garantir a revelação de conflito interno porque a massa de evidência é um parâmetro livre independente da saída softmax. Também prova um limite inferior de conflito quando fontes paramétricas e recuperadas discordam.

2.4 ScopeGate: Um Diagnóstico de Implementação

Reconhecendo que o conflito não é universalmente preditivo de erros em todos os modelos, os autores introduzem o ScopeGate. Este é um teste de permutação que verifica se o score de um detector específico (ex: conflito) correlaciona-se com o erro em um par modelo-tarefa específico usando um pequeno conjunto de exemplos rotulados (~100–250). Se o teste falhar, o detector não está pronto para implementação naquela configuração, evitando a dependência excessiva.

3. Principais Contribuições

Framework: O LEF fornece uma decomposição de passagem única e sem necessidade de treinamento das predições em evidência assinada por camada, permitindo atribuição ao nível da camada e separação de fonte RAG.
Teoria: Provas caracterizando o limite de identificação onde pontuações de saída falham em revelar conflito, uma ligação em forma fechada entre conflito e margem de inversão, e um teorema de propagação de conflito na decodificação autorregressiva.
Validação Empírica: Avaliação em 11 modelos (1.4B–14.7B parâmetros) e seis famílias de arquitetura. As principais descobertas incluem:
- O LEF detecta o desacordo de fonte RAG em uma única passagem direta através de múltiplas famílias de arquitetura.
- O conflito do LEF (sem treinamento) quase iguala o desempenho de uma sonda de estado oculto treinada (AUROC 0.660 vs. 0.669) e supera métodos baseados em amostragem (SelfCheckGPT) com um custo de inferência 5x menor.
- Especificidade do Modelo: O conflito é um forte sinal de erro para variantes do Qwen2.5 e OLMo-2-7B-Instruct, mas falha ou é invertido para Mistral-7B e Falcon-7B.
Protocolo de Implementação: Uma receita de quatro etapas incluindo a verificação de segurança ScopeGate, ablação de camada para eficiência (monitorar os top 5–10 camadas reduz o overhead para <4%) e estratégias de ensemble com entropia.

4. Resultados Experimentais

QA Factual (TriviaQA): Em QA de passo único simples, a entropia preditiva geralmente supera o conflito bruto (ex: Mistral-7B: Entropia 0.802 vs. Conflito 0.463). No entanto, o conflito se destaca na detecção de erros confiantes (baixa entropia, alto conflito) e performa melhor em tarefas de raciocínio multi-hop para modelos específicos (ex: Qwen2.5-7B-Instruct: Conflito AUROC 0.829 no HotpotQA).
Desacordo de Fonte RAG: Quando os documentos recuperados contradizem a memória paramétrica, os scores de conflito aumentam significamente (ex: +0.048 para Mistral-7B) enquanto a precisão cai. Esse efeito se replica direcionalmente através de quatro famílias de arquitetura.
Desempenho do ScopeGate: O ScopeGate identificou corretamente 4 configurações prontas para implementação (todas as variantes Qwen2.5 e OLMo-2-7B-Instruct) de 11 modelos testados. Ele alertou corretamente contra o uso do conflito como um sinal isolado para modelos como Mistral-7B e Phi-2.
Ajuste de Instrução: O ajuste de instrução (RLHF) foi encontrado para degradar a detecção baseada em entropia (tornando os modelos mais confiantes, mas potencialmente menos confiáveis) enquanto preserva ou fortalece o sinal de conflito, tornando o LEF particularmente valioso para modelos alinhados.
Eficiência: O LEF adiciona um overhead negligenciável (~3.7% para passagem única nos top 5 camadas) em comparação com a passagem direta base.

5. Significância e Alegações

O artigo alega que o LEF oferece um sinal estruturalmente distinto para a detecção de alucinação que é ortogonal às pontuações ao nível da saída. Sua principal significância reside não em superar universalmente a entropia em todas as tarefas, mas em:

Revelar Processos Internos: Expõe o "porquê" por trás de uma predição (acordo de camada vs. conflito) em vez de apenas o "quê" (probabilidade).
Atribuição de Fonte: É o único método de passagem única capaz de separar a memória paramétrica da evidência recuperada em RAG.
Segurança via Diagnósticos: A inclusão do ScopeGate aborda a tendência do campo de implementar detectores sem verificar sua validade em modelos e tarefas específicos. O artigo enfatiza que a validade do detector é uma propriedade do par modelo-tarefa, não do detector sozinho.
Eficiência Sem Treinamento: Alcança um desempenho competitivo com sondas supervisionadas e métodos de amostragem sem exigir dados rotulados ou múltiplas passagens de inferência.

Os autores são modestos quanto à universalidade do sinal de conflito, declarando explicitamente que sua eficácia depende da arquitetura e escala específicas do modelo, e que o ScopeGate é necessário para verificar sua aplicabilidade antes da implementação. Eles não alegam ter identificado a razão mecanística precisa (ex: diversidade de camadas) pela qual alguns modelos funcionam e outros falham, observando que os testes atuais para diversidade de camadas não explicaram a variância.