💬 NLP

TRACE: Trajectory Correction from Cross-layer Evidence for Hallucination Reduction

TRACE é um algoritmo determinístico de inferência em tempo de execução, sem necessidade de treinamento, que reduz alucinações em modelos de linguagem grandes ao selecionar dinamicamente a camada ótima e o operador de correção (como reversão escalar ou recuperação de estado anterior) com base na trajetória candidata de cruzamento de camadas interna de cada entrada, alcançando ganhos significativos de precisão em 15 modelos sem exigir dados externos ou ajuste fino.

Autores originais: Tej Sanibh Ranade

Publicado 2026-05-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tej Sanibh Ranade

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem de Grande Escala (LLM) como uma fábrica massiva e multiandares onde um produto (uma resposta) é montado camada por camada. No térreo, entram as matérias-primas. À medida que avançam pelos andares (camadas), elas são processadas, refinadas e embaladas. Finalmente, no último andar, o produto acabado é expedido.

O problema, conforme explica o artigo, é que, às vezes, a fábrica comete um erro exatamente no cais de expedição. Os trabalhadores do último andar podem ficar confusos, distraídos ou pressionados, e expedem uma "alucinação" (uma resposta confiante, porém errada), mesmo que a verdade estivesse claramente visível e correta nos andares inferiores.

As tentativas anteriores de corrigir isso eram como usar uma única ferramenta rígida para todos os problemas:

A abordagem do "Volante": Tentar forçar a fábrica a virar para a esquerda ou para a direita com base em uma regra fixa.
A abordagem do "Consultor Externo": Trazer especialistas de fora (sistemas de recuperação) para verificar o trabalho.
A abordagem do "Compare e Contraste": Apenas olhar para o último andar e dizer: "Isso não parece certo, vamos tentar o andar abaixo".

O artigo argumenta que esses métodos são muito rígidos. Às vezes, a verdade está escondida profundamente no meio; às vezes, está logo no início; às vezes, a fábrica está travando uma batalha entre três ideias erradas diferentes, não apenas duas. Uma única ferramenta não consegue corrigir todos esses cenários diferentes.

A Solução: TRACE (O Inspetor Inteligente da Fábrica)

Os autores apresentam o TRACE, um novo método que atua como um inspetor inteligente e adaptativo que percorre a fábrica enquanto o produto está sendo fabricado. Em vez de usar uma regra fixa, o TRACE observa a "jornada" da resposta à medida que ela se move do térreo até o topo.

Veja como o TRACE funciona, usando analogias simples:

1. O "Mapa da Jornada" (Trajetória de Candidatos entre Camadas)

À medida que a fábrica processa uma pergunta, o TRACE não olha apenas para a resposta final. Ele cria um "Mapa da Jornada" para cada resposta possível. Ele pergunta: "A fábrica preferiu a verdade no térreo? Ela vacilou no meio? Ela mudou abruptamente para uma mentira no topo?"

2. Dois Tipos de Problemas, Dois Tipos de Correções

O TRACE analisa o Mapa da Jornada para ver que tipo de problema a fábrica está enfrentando e, em seguida, escolhe a ferramenta adequada:

Cenário A: O Problema da "Mente Unidirecional" (Regime Escalar)
- A Situação: A fábrica está basicamente travando uma batalha entre duas opções: Verdade vs. Mentira. Toda a fábrica concorda com a verdade durante a maior parte da jornada, mas o último andar fica confuso e inverte a chave para a mentira.
- A Correção: O TRACE atua como um Botão de Volume. Ele simplesmente aumenta o volume do sinal de "Verdade" e diminui o do sinal de "Mentira". É uma correção simples e unidirecional.
- Subvariação: Se a fábrica estiver tão confusa no topo que o Botão de Volume não funcionar, o TRACE atua como uma Máquina do Tempo. Ele diz: "O último andar está quebrado; vamos expedir o produto exatamente como era quando saiu do primeiro andar, pois essa era a versão mais honesta."
Cenário B: O Problema do "Caos no Meio" (Regime Multidirecional)
- A Situação: A fábrica está bagunçada. Há três ou quatro ideias erradas diferentes lutando entre si, e a verdade está escondida em um andar específico do meio, mas o último andar está escolhendo o vencedor errado. Um simples "Botão de Volume" não consegue corrigir isso porque o problema é muito complexo.
- A Correção: O TRACE atua como um Foco de Luz. Ele escaneia o mapa da jornada, encontra o andar específico onde o candidato "Verdade" foi o mais forte e claro (a "Camada Decisiva") e diz: "Ignore o último andar. Expeda o produto exatamente como ele parecia naquele andar específico."

3. O "Projeto da Fábrica" (Invariante do Modelo)

Para saber qual ferramenta usar para o problema da "Mente Unidirecional", o TRACE lê o Projeto da fábrica (os pesos do modelo) uma vez antes de começar.

Se o projeto mostrar que o último andar é geralmente confiável, o TRACE usa o Botão de Volume.
Se o projeto mostrar que o último andar tende a se afastar da verdade, o TRACE usa a Máquina do Tempo para voltar ao início.

Por Que Isso Importa (Os Resultados)

O artigo testou esse "Inspetor Inteligente" em 15 modelos de IA diferentes (de pequenos a gigantes) em 3 testes diferentes de verificação de fatos.

Sem Necessidade de Treinamento: O TRACE não precisa reensinar a IA. Ele funciona instantaneamente durante a geração da resposta.
Sem Dados Externos: Ele não precisa pesquisar na internet por respostas. Ele usa a própria memória interna da IA.
Sucesso Universal: Ele melhorou a precisão de todos os modelos testados. Não houve nenhum caso em que ele piorou as coisas.
Ganhos Significativos: Em média, ele aumentou a precisão factual em cerca de 12 pontos (um salto enorme neste campo), com alguns modelos apresentando melhorias de quase 47 pontos.

O Ponto de Atenção (Limitações)

O artigo é honesto sobre as compensações:

Velocidade: Como o TRACE precisa observar cada andar da fábrica para construir o "Mapa da Jornada", leva cerca de 2 a 3 vezes mais tempo para gerar uma resposta do que uma IA padrão.
Escopo: Atualmente, ele funciona melhor em perguntas curtas, no estilo de múltipla escolha (como "X é verdadeiro ou falso?"). Ainda não foi testado na escrita de histórias longas ou conselhos médicos complexos.

Resumo

Pense no TRACE como um detetive que não olha apenas para a cena do crime (a resposta final), mas investiga toda a linha do tempo dos eventos. Ele descobre onde o erro aconteceu e como corrigi-lo, usando uma estratégia diferente para um deslize simples versus um emaranhado complexo. Ele prova que a IA já conhece a verdade profundamente em seu interior; ela apenas precisa de uma maneira inteligente de ouvir a parte certa de seu próprio cérebro no momento certo.

Resumo Técnico: TRACE (Correção de Trajetória a partir de Evidências Transcamadas para Redução de Alucinações)

1. Declaração do Problema

Apesar dos avanços em escala e alinhamento pós-treinamento, os Modelos de Linguagem de Grande Porte (LLMs) continuam a produzir erros factuais confiantes, ou alucinações. Estratégias de correção existentes geralmente se enquadram em três categorias:

Evidência Externa: Geração aumentada por recuperação (RAG) e sistemas de verificação que dependem de dados externos.
Direcionamento de Ativação: Métodos como Intervenção no Tempo de Inferência (ITI) que direcionam ativações ao longo de direções fixas de "veracidade".
Contraste de Camadas: Estratégias de decodificação (por exemplo, DoLa, SLED) que contrastam ou agregam sinais de camadas intermediárias contra a camada final.

O artigo argumenta que essas abordagens são estruturalmente incompletas porque assumem uma relação uniforme entre profundidade da camada e veracidade. A observação empírica sugere que as camadas intermediárias não são uniformemente mais verdadeiras nem uniformemente menos confiáveis do que as camadas finais. Em vez disso, a evolução do suporte a candidatos através da profundidade da rede varia significativamente:

Corrigível Tardiamente: O suporte verdadeiro está presente internamente, mas suprimido pelas camadas finais.
Confiável Precoce: O suporte verdadeiro é mais forte nas camadas iniciais, mas erodido pelas camadas posteriores.
Multidirecional: Múltiplos candidatos concorrentes permanecem ativos através da profundidade, exigindo correções não escalares.

Intervenções de forma fixa atuais falham porque não conseguem adaptar-se a essas "trajetórias de candidatos" variáveis. Um método que assume uma única correção escalar com sinal é insuficiente para casos onde a competição é genuinamente multidirecional.

2. Metodologia: TRACE

TRACE é um algoritmo determinístico, sem treinamento, no tempo de inferência que corrige alucinações derivando o operador de correção apropriado diretamente da trajetória interna de candidatos transcamadas do modelo. Não requer rótulos, recuperação, pré-treinamento, ajuste fino ou calibração por modelo.

Componentes Principais

O método depende de duas quantidades estruturais:

Lado do Item: Trajetória Transcamada de Candidatos $S(x)$ :
- Construída lendo o fluxo residual em cada camada através da própria cabeça de saída do modelo (construção de lente de logits).
- Representa a evolução das probabilidades log-normalizadas por comprimento para um conjunto de conclusões de candidatos através da profundidade.
- A partir disso, calcula-se a Dimensão Efetiva da Trajetória ( $d_{eff}$ ). Esta métrica (a razão de participação dos autovalores da matriz de Gram da trajetória) determina se a competição de candidatos é efetivamente unidimensional (rank-1) ou multidimensional.
Lado do Modelo: Invariante Apenas de Pesos $I(M)$ :
- Uma razão adimensional calculada uma vez a partir dos tensores de pesos do modelo (especificamente estatísticas de norma de linha das projeções de chave/valor iniciais/médias versus projeções de saída tardias e norma final).
- $I(M)$ caracteriza se a arquitetura do modelo tende a amplificar evidências de camadas tardias ou a desviar de estados confiáveis iniciais.

Regimes de Correção e Operadores

Com base em $d_{eff}$ e $I(M)$ , o TRACE seleciona dinamicamente um dos três operadores de correção:

Regime Multidirecional ( $d_{eff} > \tau_{dim}$ ):
- Condição: A competição de candidatos abrange múltiplas direções independentes (rank > 1). Misturas escalares são matematicamente insuficientes para corrigir esses casos.
- Operador: Correção no Espaço de Candidatos. O TRACE identifica a camada $\ell^*$ com a classificação de candidatos mais nítida (maximizando a margem entre os dois primeiros em relação à entropia) e usa a distribuição completa de probabilidade logarítmica dessa camada como correção.
- Portão (Gating): Esta substituição só é aplicada se a camada selecionada for significativamente mais nítida do que a camada final e a camada final for suficientemente incerta.
Regime Escalar ( $d_{eff} \le \tau_{dim}$ ):
- Condição: A competição colapsa para um único eixo com sinal. A correção reduz-se a uma mistura escalar da pontuação da camada final $b(x)$ e uma pontuação derivada da trajetória $t(x)$ .
- Sub-ramificação via $I(M)$ :
  - Mistura com Sinal ( $I(M) > \tau_I$ ): Se as camadas tardias do modelo forem confiáveis, o TRACE calcula uma segunda visão $t(x)$ re-lerendo a trajetória para coerência transprofundidade (inclinação, salto, curvatura do suporte do token). Em seguida, mistura $b(x)$ e $t(x)$ com um escalar com sinal $\lambda$ determinado por se a trajetória reforça ou contradiz a base.
  - Recuperação do Estado Mais Antigo ( $I(M) \le \tau_I$ ): Se as camadas tardias do modelo forem pouco confiáveis (propensas a desvio), o TRACE ignora o resumo da trajetória e recorre à pontuação da camada mais antiga $s_0(x)$ , mas apenas se a confiança da camada final for baixa (abaixo de um piso natural).

Fluxo do Algoritmo

Calcule $S(x)$ e $b(x)$ a partir de uma única passagem forward condicionada a um candidato.
Calcule $d_{eff}(x)$ .
Se Multidirecional: Selecione a camada decisiva $\ell^*$ , extraia sua distribuição e aplique os portões. Se os portões passarem, retorne o argmax da camada decisiva; caso contrário, retorne o argmax base.
Se Escalar: Calcule $I(M)$ $I (M)$ .
- Se $I(M)$ for alto: Calcule $t(x)$ , determine o sinal de mistura e retorne o argmax misturado.
- Se $I(M)$ for baixo: Verifique a confiança da camada final; se baixa, retorne o argmax da camada mais antiga; caso contrário, retorne a base.

3. Contribuições Principais

Formulação no Nível de Trajetória: Identifica a trajetória transcamada de candidatos como o objeto primário para correção no tempo de inferência, substituindo camadas de sonda fixas e direções de direcionamento fixas.
Teoria Estrutural de Correção: Prova que os regimes de correção são distintos: trajetórias de rank-1 admitem correção escalar, enquanto trajetórias multidirecionais necessitam de uma classe de operadores no espaço de candidatos.
Algoritmo Universal (TRACE): Instancia essa teoria em um algoritmo determinístico, sem treinamento, que induz seu operador de correção a partir da estrutura da trajetória e dos pesos do modelo.
Avaliação Abrangente: Demonstra que uma única configuração de hiperparâmetros congelada melhora a factualidade em 15 modelos, 8 famílias e 3 benchmarks sem regressões.

4. Resultados Experimentais

O método foi avaliado em TruthfulQA, HaluEval-QA e HaluEval-Sum em 15 modelos pré-treinados (incluindo LLaMA, Gemma, Qwen, GPT-OSS, Mixtral, Phi, Ministral e DeepSeek).

Desempenho: O TRACE melhorou todas as células de avaliação individuais (45 combinações totais de modelo e benchmark).
- Ganho Médio: +12,26 pontos MC1 e +8,65 pontos no estilo MC2.
- Ganho Máximo: +47,20 pontos MC1 e +43,38 pontos no estilo MC2 (observado no Gemma-3-1B).
- Regressões: 0/45.
Robustez: O método utilizou um único conjunto de hiperparâmetros congelados $\Theta$ para todos os modelos, sem ajuste por modelo.
Sobrecarga: O custo de tempo real aumenta por um fator de 1,33x a 3,42x (média 2,27x) em comparação com uma passagem condicionada a candidatos de base, principalmente devido à leitura extra por camada.

5. Significado e Alegações

O artigo afirma que o cálculo forward de LLMs pré-treinados contém evidências estruturadas suficientes para sustentar um único algoritmo universal de redução de alucinações, desde que a intervenção seja induzida pela própria trajetória e não imposta por heurísticas fixas.

Necessidade Estrutural: O trabalho demonstra que uma estratégia de correção apenas escalar é matematicamente incompleta para espaços de candidatos multidirecionais, necessitando do ramo de espaço de candidatos do TRACE.
Adaptação do Modelo: O uso do invariante apenas de pesos $I(M)$ permite que o algoritmo se adapte a diferenças arquitetônicas (por exemplo, se um modelo desvia ou amplifica o final) sem retreinamento.
Limitações: Os autores reconhecem que o TRACE é atualmente limitado ao inglês, factualidade restrita a candidatos (protocolos MC1/MC2). Ele atua em passagens forward completas em vez de geração iterativa de longo prazo e não aborda as causas no tempo de treinamento das alucinações. Também introduz latência de inferência devido à leitura extra.

O artigo conclui que a falha de métodos anteriores de forma fixa não é um problema de ajuste, mas uma incompatibilidade entre a classe de correção e a estrutura da trajetória. O TRACE resolve isso inferindo o regime de correção correto a partir dos próprios dados.