Resumo Técnico: Shift - Modulação de Ativação por Portão para Mitigação de Conflito de Conhecimento

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) aprimora os Grandes Modelos de Linguagem (LLMs) ao incorporar conhecimento externo, mas enfrenta um desafio crítico: o conflito de conhecimento. Isso ocorre quando a evidência contextual recuperada contradiz o conhecimento paramétrico do modelo (codificado durante o pré-treinamento). Em tais cenários, os LLMs podem ignorar evidências recuperadas válidas, confiar excessivamente em conhecimento paramétrico desatualizado ou incorreto, ou misturar essas duas fontes de forma inconsistente, comprometendo a confiabilidade factual.

As estratégias de mitigação existentes dividem-se em duas categorias com limitações significativas:

1. Intervenções ao nível de neurônio: Estas tentam localizar e editar neurônios específicos relacionados ao conhecimento. No entanto, o conhecimento é frequentemente representado de forma esparsa, tornando a localização detalhada frágil e propensa a efeitos em cascata indesejados nas capacidades gerais do modelo.
2. Intervenções ao nível de camada: Estas aplicam regras fixas a camadas ou componentes selecionados. Embora sejam mais práticas, carecem de flexibilidade entre diferentes instâncias de conflito e podem prejudicar as capacidades gerais devido a esquemas de intervenção rígidos.

Metodologia: O Framework Shift

O artigo propõe o Shift (Intervenção Seletiva de Estado Oculto em Redes Feed-forward), um framework leve que reformula a mitigação de conflito de conhecimento como um problema de modulação de portão (gate modulation) treinável. O Shift opera sem modificar os parâmetros da espinha dorsal (backbone) do LLM.

1. Modulação de Ativação por Portão

O Shift insere módulos de portão leves e treináveis nas ramificações da Rede Feed-Forward (FFN) de cada camada Transformer. Em vez de editar diretamente os pesos ou aplicar regras estáticas, esses portões modulam adaptativamente as ativações do estado oculto com base na entrada.

• Mecanismo: Para um estado oculto $\tilde{h}_{l,t}$ na camada $l$ e token $t$, a contribuição da FFN é escalonada por um valor de portão escalar $g_{l,t}$:
  $$h_{l,t} = \tilde{h}_{l,t} + g_{l,t} \cdot \text{FFN}_l(\text{LN}(\tilde{h}_{l,t}))$$
• Computação do Portão: O valor do portão é computado como:
  $$g_{l,t} = \lambda_g \cdot \sigma(w_l^\top \tilde{h}_{l,t} + b_l)$$
  onde $\sigma$ é a função sigmoide, $w_l$ e $b_l$ são parâmetros treináveis, e $\lambda_g$ controla a amplitude da modulação.
• Inicialização: Para garantir que o modelo comece com o comportamento original, os portões são inicializados de modo que $g_{l,t} \approx 1$ (especificamente, $b_l = \text{logit}(1/\lambda_g)$), deixando a saída da FFN inalterada inicialmente.

2. Otimização Baseada em Reforço (GRPO)

Os parâmetros do portão são otimizados usando Otimização de Política Relativa de Grupo (GRPO), mantendo a espinha dorsal do LLM congelada.

• Processo: Para cada entrada, a política com portão gera um grupo de respostas candidatas.
• Sinal de Recompensa: Uma recompensa composta é utilizada, compreendendo:
  • Recompensa de Formato: Garante a saída estruturada.
  • Recompensa de Fidelidade: Incentiva a resposta a alinhar-se com o contexto recuperado quando este é a verdade fundamental, ou com o conhecimento paramétrico quando o contexto é enganoso.
• Regularização: Um termo de regularização L2 é aplicado aos parâmetros do portão para evitar que eles perturbem o comportamento geral da espinha dorsal congelada.
• Objetivo: A otimização minimiza a perda GRPO enquanto restringe a política para permanecer próxima ao modelo de referência (congelado) e penaliza grandes desvios nos parâmetros do portão.

Principais Contribuições

1. Framework Minimamente Invasivo: O Shift introduz um framework de modulação de portão que resolve conflitos de conhecimento modulando dinamicamente as ativações internas sem exigir modificações nos parâmetros da espinha dorsal do LLM.
2. Adaptação Dependente da Entrada: Diferente das intervenções estáticas ao nível de camada, o Shift utiliza portões dependentes da entrada otimizados via GRPO para equilibrar adaptativamente o conhecimento contextual e o paramétrico. Ele alcança isso treinando menos de 0,01% do total de parâmetros.
3. Superioridade Empírica: Experimentos extensos demonstram que o Shift supera consistentemente os fortes baselines (incluindo estratégias de prompting, métodos baseados em decodificação e abordagens de fine-tuning completo) na mitigação de conflitos de conhecimento, enquanto preserva melhor as capacidades gerais do modelo.

Resultados Experimentais

Os autores avaliaram o Shift em seis conjuntos de dados (HotpotQA, SearchQA, NewsQA, Natural Questions, TriviaQA, SQuAD) e no benchmark out-of-domain ConFiQA, utilizando famílias de modelos Qwen e Llama variando de 0.6B a 8B parâmetros.

• Desempenho: O Shift superou consistentemente os baselines. No benchmark MRQA, alcançou melhorias médias de 6,16% (Qwen-3-0.6B) e 2,64% (Qwen-3-8B) sobre os baselines mais fortes. Em configurações específicas de conflito (ConFiQA), as melhorias foram ainda mais pronunciadas (ex: +11,15% EM no Qwen-3-0.6B).
• Generalização: O método mostrou robusta transferibilidade através de diferentes arquiteturas de modelos (Qwen e Llama) e escalas. Modelos menores beneficiaram-se significativamente (até 34,72% de melhoria no Llama-3.2-1B), enquanto modelos maiores ainda mostraram ganhos positivos.
• Preservação de Capacidade: Crucialmente, o Shift preservou as capacidades gerais dos modelos de espinha dorsal. No benchmark MMLU, a degradação de desempenho foi marginal (redução média < 0,5%), com o modelo Qwen 8B retendo 99,3% de sua pontuação original.
• Análise de Mecanismo: A visualização das ativações dos portões revelou que os portões treinados aprenderam a distinguir entre tipos de conflito (contexto correto vs. conhecimento paramétrico correto), com a Área Sob a Curva (AUC) para separar esses tipos aumentando de 0,500 para 0,832.

Significância e Alegações

O artigo afirma que o Shift oferece uma solução minimamente invasiva e flexível para o problema de conflito de conhecimento em RAG. Ao mudar de uma edição de neurônios frágil ou intervenção de camada rígida para uma modulação de portão adaptativa, o framework permite que os LLMs arbitrem efetivamente entre fontes de conhecimento conflitantes.

Os autores enfatizam que sua abordagem:

• Evita o "esquecimento catastrófico" associado ao fine-tuning completo.
• Previne a "fragilidade" e os "efeitos em cascata" da edição de neurônios.
• Fornece um método escalável e eficiente em termos de parâmetros (treinando <0,01% dos parâmetros) que mantém a integridade do conhecimento geral pré-treinado do modelo enquanto aumenta sua capacidade de utilizar evidências externas quando necessário.

O trabalho conclui que a regulação interna adaptativa via portões leves é um paradigma promissor para alcançar uma geração aumentada por recuperação confiável.