💬 NLP

CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts

O CoRect é um método que resolve conflitos de conhecimento em RAG ao identificar e retificar camadas de redes neurais que priorizam o conhecimento interno do modelo em detrimento das evidências recuperadas, sem a necessidade de rótulos de referência.

Autores originais: Xuhua Ma, Richong Zhang, Zhijie Nie

Publicado 2026-02-10

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xuhua Ma, Richong Zhang, Zhijie Nie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar uma criança a jogar um jogo de tabuleiro novo, mas ela é muito teimosa e insiste em jogar do jeito que aprendeu com o avô dela, mesmo que as regras na sua frente digam o contrário.

Esse é exatamente o problema que os pesquisadores do artigo CoRect estão tentando resolver nos modelos de Inteligência Artificial (como o ChatGPT).

Aqui está uma explicação simples do que eles descobriram e como resolveram:

1. O Problema: A "Teimosia" da IA (Conflito de Conhecimento)

Quando usamos uma técnica chamada RAG (que é como dar um livro de consulta para a IA ler antes de responder), queremos que ela use as informações do livro.

O problema é que a IA tem uma "memória interna" (o que ela aprendeu no treinamento) que às vezes é muito forte. Se o livro diz que "O Brasil foi descoberto em 1500", mas a memória interna da IA estiver "bugada" e ela achar que foi em 1501, ela vai ignorar o livro e responder o erro. Isso é o que chamamos de alucinação.

2. A Descoberta: O "Efeito de Apagamento"

Os pesquisadores usaram uma técnica de "raio-x" para olhar dentro do cérebro da IA enquanto ela pensa. Eles descobriram algo fascinante:

No começo do pensamento, a IA até lê a informação correta do livro.
Mas, conforme a informação passa pelas camadas mais profundas do "cérebro" dela, uma parte específica (chamada de camadas FFN) age como um "apagador de memórias".
Essas camadas pegam a informação nova e correta e a "atropelam" com o que a IA já sabia de cor. É como se a informação correta fosse uma mensagem escrita a lápis e a memória antiga fosse uma borracha passando por cima.

3. A Solução: O CoRect (O "Guarda de Trânsito" Interno)

Em vez de apenas tentar mudar a resposta final (o que é como tentar corrigir um erro depois que o aluno já escreveu a prova errada), os pesquisadores criaram o CoRect.

O CoRect funciona em dois passos:

Passo 1: Identificar o Alvo (O Detetive): Antes de a IA falar, o CoRect faz uma busca rápida para descobrir qual seria a palavra correta baseada no contexto, sem precisar de um professor dando a resposta pronta.
Passo 2: A Retificação (O Filtro de Ruído): Quando o CoRect percebe que aquela camada "teimosa" da IA está prestes a apagar a informação correta, ele intervém. Ele não força a IA a dizer a palavra; ele apenas "desativa o apagador".

A analogia perfeita:
Imagine que a IA é um rádio tentando sintonizar uma estação (a informação correta), mas há um chiado muito alto (a memória antiga) impedindo o som.

As técnicas antigas tentavam aumentar o volume da música (o que causava distorção e barulho).
O CoRect vai lá e abaixa o volume do chiado. Assim, a música (a verdade) consegue passar limpa e clara, sem que a IA perca o seu jeito natural de falar.

Resumo da Ópera

O CoRect torna a IA mais honesta e fiel aos fatos que ela está lendo, sem precisar de um treinamento pesado ou de um humano corrigindo cada palavra. Ele apenas limpa o caminho para que a verdade que já estava lá dentro possa sair!

Resumo Técnico: CoRect

1. O Problema: Conflitos de Conhecimento no RAG

O principal desafio abordado é o fenômeno de conflito de conhecimento em sistemas de Geração Aumentada por Recuperação (RAG). Isso ocorre quando o conhecimento paramétrico interno do Modelo de Linguagem de Grande Escala (LLM) contradiz a evidência externa recuperada (o contexto). Nesses casos, o modelo tende a ignorar o contexto e a gerar respostas baseadas em seus vieses internos (memória de pré-treinamento), resultando em alucinações e falta de fidelidade aos dados fornecidos.

Os autores identificam que as abordagens atuais falham por dois motivos:

Intervenções de Decodificação (Black-box): Métodos que ajustam apenas os logits na camada de saída não impedem que as representações internas do modelo sejam progressivamente desviadas para a resposta errada durante o processamento das camadas profundas.
Edição de Modelos (Supervised): Métodos como ROME exigem o rótulo da resposta correta (ground-truth) para atualizar os pesos, o que é inviável em tarefas de geração aberta durante a inferência.

2. Metodologia: O Fenômeno da Supressão Paramétrica

Através de uma análise de camada por camada usando a técnica Logit Lens, os autores descobrem a Supressão Paramétrica: embora as camadas iniciais do modelo consigam codificar a evidência correta do contexto, as camadas profundas (especialmente as redes Feed-Forward - FFN) sobrepõem essa informação com memórias paramétricas, "suprimindo" a resposta correta.

Para resolver isso, o CoRect propõe um framework de duas etapas que não requer treinamento nem rótulos prévios:

Etapa 1: Seleção de Token Confiável (Trustworthy Token Selection)
Em vez de depender de um rótulo externo, o CoRect infere um token alvo ( $\tilde{t}^*$ ) a partir do próprio prompt:

Estimativa de Informação Mútua Contextual: Compara-se uma passagem de inferência com o contexto completo contra uma passagem com "contexto nulo" (apenas instruções). Isso identifica quais tokens são impulsionados especificamente pelo contexto.
Filtro de Atenção: Aplica-se um filtro que verifica se o token candidato possui uma massa de atenção significativa nas posições correspondentes dentro do contexto, garantindo que o token selecionado seja fundamentado na evidência.

Etapa 2: Retificação do Estado Oculto (Hidden State Rectification)
Uma vez identificado o token alvo e as camadas que causam a supressão, o método intervém diretamente no fluxo residual:

Localização de Camadas: Identificam-se as camadas onde a contribuição da FFN para o token alvo é negativa (ou seja, onde a FFN está "lutando" contra a resposta correta).
Intervenção de Desinibição: Em vez de forçar uma nova resposta (injeção), o CoRect aplica um "patch" aditivo para anular a componente da FFN que suprime o token alvo. Isso remove a inibição, permitindo que a informação correta, que já estava presente nas camadas iniciais, flua naturalmente para a saída.

3. Principais Contribuições

Descoberta Mecanística: Identificação do fenômeno de "Supressão Paramétrica" nas camadas FFN profundas.
Intervenção Agnóstica ao Alvo: Um método de inferência que localiza e corrige camadas de conflito sem a necessidade de saber a resposta correta de antemão.
Abordagem de "Desinibição": Diferente de métodos que tentam "empurrar" o modelo para uma resposta, o CoRect foca em "remover o obstáculo" interno, preservando a fluência linguística e a estabilidade semântica.

4. Resultados Experimentais

O CoRect foi testado em diversos modelos (Qwen, LLaMA, Mistral) e tarefas (QA e Sumarização):

Question Answering (QA): Superou consistentemente baselines como CAD e AdaCAD em benchmarks como NQ, SQuAD e, crucialmente, no NQ-Swap (um teste de estresse de alto conflito onde o contexto contradiz diretamente o conhecimento prévio).
Sumarização: Demonstrou melhorias significativas na fidelidade factual (AlignScore) em tarefas como XSum e CNN/DailyMail, sem degradar a qualidade da escrita (ROUGE-L).
Robustez: O método mostrou-se eficaz tanto em tarefas de extração direta quanto em tarefas que exigem raciocínio e síntese.

5. Significância

O trabalho é significativo por mudar o paradigma de correção de erros em RAG: de ajustes superficiais na saída para uma correção mecanística interna. Ao tratar o problema na raiz (no fluxo residual do modelo), o CoRect oferece uma solução mais robusta, interpretável e eficiente para mitigar alucinações em sistemas de IA que dependem de fontes de conhecimento externas.