🤖 machine learning

Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning

Este artigo propõe o Multi-Objective In-context Knowledge Editing (MO-IKE), um algoritmo de aprendizado por reforço multiobjetivo que formula a construção de prompts como um Processo de Decisão de Markov Restrito para otimizar simultaneamente confiabilidade, generalidade e especificidade, alcançando assim um desempenho superior na atualização de conhecimento de LLMs em comparação com métodos anteriores.

Autores originais: Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

Publicado 2026-08-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os grandes modelos de linguagem são os motores por trás de uma nova geração de inteligência artificial, capazes de escrever histórias, resolver problemas e responder a perguntas com uma fluidez que frequentemente mimetiza o pensamento humano. No entanto, esses sistemas possuem uma limitação fundamental: seu conhecimento é congelado no tempo. Uma vez que um modelo conclui seu treinamento inicial, os fatos que ele detém tornam-se estáticos. Se um modelo foi treinado antes das Olimpíadas de Inverno de 2026, ele não saberá a contagem final de medalhas, não importa quantas vezes você pergunte. Atualizar esse conhecimento geralmente requer um processo de retreinamento massivo e caro, que é impraticável para a maioria dos usuários. Para resolver isso, pesquisadores desenvolveram uma técnica chamada edição de conhecimento em contexto (in-context knowledge editing). Em vez de alterar o código interno do modelo, este método fornece ao modelo um conjunto de exemplos no prompt da conversa, efetivamente ensinando-lhe um novo fato pela duração daquela interação específica. O desafio reside na construção do conjunto perfeito de exemplos: ele deve ser forte o suficiente para forçar o modelo a aceitar o novo fato, flexível o suficiente para funcionar mesmo se a pergunta for formulada de maneira diferente e preciso o suficiente para garantir que o modelo não acidentalmente esqueça ou altere fatos não relacionados que já conhece.

Uma equipe de pesquisadores introduziu agora um novo sistema chamado MO-IKE, que melhora significativamente como esses prompts são construídos. Tentativas anteriores de automatizar este processo baseavam-se em aprendizado por reforço, um método onde um programa de computador aprende por tentativa e erro. Embora esses sistemas anteriores pudessem ensinar com sucesso um novo fato ao modelo, eles frequentemente o faziam a um custo elevado. Em sua pressa para garantir que o novo fato fosse aceito, os sistemas removiam os exemplos necessários para proteger o conhecimento existente do modelo. Isso criava um equilíbrio frágil onde corrigir um erro fazia outros aparecerem. A nova abordagem trata a construção do prompt não como uma simples lista de itens, mas como um processo de tomada de decisão sequencial. O sistema aprende a escolher, um por um, se adiciona um exemplo que afirma o novo fato, um exemplo que refraseia a pergunta ou um exemplo que reforça um fato que deve permanecer inalterado. Ele para de adicionar exemplos apenas quando determina que o prompt está completo.

Os pesquisadores treinaram este sistema usando uma estrutura de recompensa multiobjetivo, o que significa que o computador foi recompensado pelo sucesso em três áreas simultaneamente: acertar o novo fato, lidar com diferentes formas de fazer a pergunta e manter seguros os fatos não relacionados. Ao equilibrar esses objetivos concorrentes, o novo método impede que o sistema se torne excessivamente agressivo em suas atualizações. Ao serem testados em um conjunto padrão de fatos, o novo sistema elevou a taxa de sucesso de edição de 87,1 por cento para 91,1 por cento. Mais importante ainda, ele melhorou dramaticamente a preservação do conhecimento não relacionado, elevando a taxa de retenção de 41,0 por cento para 63,4 por cento. Isso significa que o modelo agora é muito menos propenso a "esquecer" fatos que não precisavam ser alterados enquanto aprendia os novos. O sistema também provou ser altamente adaptável; uma versão treinada em um modelo de linguagem específico funcionou tão bem quando aplicada a um modelo completamente diferente sem qualquer treinamento adicional.

O estudo demonstra que a maneira como os exemplos são organizados importa tanto quanto os próprios exemplos. Métodos anteriores frequentemente usavam um template fixo ou focavam apenas em um único tipo de exemplo, o que levava a prompts desequilibrados. O novo sistema mistura dinamicamente diferentes tipos de exemplos, criando um contexto que é robusto e específico. Em testes em cinco modelos de linguagem congelados diferentes e quatro conjuntos de dados diferentes, incluindo um benchmark massivo com mais de 300.000 exemplos, o método superou consistentemente as técnicas anteriores. Os pesquisadores descobriram que, ao gerenciar cuidadosamente o equilíbrio entre ensinar novas informações e proteger as informações antigas, eles poderiam alcançar um nível de confiabilidade e especificidade que era anteriormente inalcançável. Este trabalho sugere que o futuro de atualizar a inteligência artificial pode não residir em um retreinamento massivo, mas em maneiras mais inteligentes e equilibradas de guiar o modelo através da conversa.

Resumo Técnico: MO-IKE via Aprendizado por Reforço Multi-Objetivo

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) dependem de conhecimento paramétrico estático que se torna desatualizado após o pré-treinamento. Enquanto a Edição de Conhecimento (KE) visa atualizar o comportamento do modelo em fatos específicos sem o retreinamento total, a Edição de Conhecimento em Contexto (IKE) surgiu como uma alternativa livre de treinamento aplicável a modelos de caixa-preta. A IKE constrói um prompt recuperando e concatenando demonstrações para induzir a atualização desejada.

No entanto, construir um prompt de IKE eficaz envolve equilibrar três objetivos frequentemente contraditórios:

Confiabilidade (Reliability): O modelo deve produzir com sucesso o novo fato para a consulta alvo.
Generalidade (Generality): A atualização deve aplicar-se a consultas semanticamente equivalentes (paráfrases).
Especificidade (Specificity): O modelo deve reter fatos vizinhos não relacionados sem alterações.

Abordagens recentes de Aprendizado por Reforço (RL), como o DR-IKE, tentam selecionar demonstrações dinamicamente para otimizar a confiabilidade. No entanto, o artigo identifica duas deficiências críticas nesses métodos de estado da arte:

Negligência da Ordenação Sequencial: Eles frequentemente tratam a organização das demonstrações como uma preocupação secundária ou otimizam apenas o ranking de tipos específicos (ex: RETAIN), ignorando a interdependência global da ordem das demonstrações.
Desequilíbrio na Otimização de Objetivos: Ao otimizar primariamente o sucesso da edição (confiabilidade), esses métodos inadvertidamente descartam demonstrações RETAIN (que protegem o conhecimento vizinho). Isso leva a um fenômeno de "hack de recompensa" (reward hacking), onde o recuperador filtra exemplos que protegem a especificidade, causando um colapso na Taxa de Retenção (especificidade).

Metodologia: MO-IKE

Os autores propõem o MO-IKE (Multi-Objective In-context Knowledge Editing), um algoritmo que enquadra a construção de prompts como um Processo de Decisão de Markov Restrito (Constrained MDP) para otimizar conjuntamente confiabilidade, generalidade e especificidade.

1. Formulação como um Constrained MDP

O processo de recuperação é modelado como um problema de tomada de decisão sequencial $(S, A, T, R, C)$ :

Estado ( $S$ ): O contexto do prompt atualmente construído.
Ação ( $A$ ): Diferente do DR-IKE, que restringe as ações ao ranking de candidatos RETAIN, o MO-IKE expande o espaço de ação para incluir a seleção entre demonstrações de COPY (reiteração direta), UPDATE (consulta parafraseada) e RETAIN (fato não relacionado), além de uma ação de STOP. Isso permite que o agente aprenda a ordenação global e a proporção ideal de tipos de demonstração.
Recompensa ( $R$ ): A recompensa primária é o Sucesso de Edição (ES), indicando se o modelo produz o novo fato.
Restrições de Custo ( $C$ ): Para impor especificidade e generalidade, o framework introduz restrições de custo para Consistência de Paráfrase (PC) e Taxa de Retenção (RR). Estas são definidas como o inverso lógico do sucesso da tarefa (ou seja, um custo é incorrido se o modelo falhar em manter o fato original ou falhar em generalizar para uma paráfrase).

2. Modelagem de Recompensa Multi-Objetivo

Para resolver o problema de otimização restrita, o MO-IKE utiliza relaxação Lagrangiana para escalarizar o problema multi-objetivo. O sinal de recompensa final $r(s, a)$ é computado como:
$r(s, a) = R(s, a) - \sum_{k \in \{PC, RR\}} \lambda_k C_k(s, a)$
Aqui, $\lambda_k$ são hiperparâmetros fixos (não variáveis duais aprendidas) que penalizam a degradação na generalidade e na especificidade. Esta estrutura impede que o recuperador sacrifique a especificidade em prol da confiabilidade.

3. Otimização de Política

O recuperador, implementado como um codificador baseado em BERT com matrizes de projeção treináveis, é treinado usando Otimização de Política Relativa de Grupo (GRPO).

Amostragem: Para cada instância de edição, a política amostra um grupo de $G$ trajetórias de prompt.
Avaliação: O LLM alvo congelado avalia essas trajetórias para computar recompensas compostas.
Atualização: As vantagens são estimadas em relação à média do grupo, e a política é atualizada para maximizar o objetivo substituto clipado (clipped surrogate objective) enquanto penaliza a divergência de uma política de referência via divergência KL.

Principais Contribuições

Identificação de Deficiências: O artigo destaca que os métodos existentes de IKE baseados em RL (especificamente o DR-IKE) falham em equilibrar o compromisso entre o sucesso da edição e a retenção de conhecimento, e negligenciam a importância da ordenação sequencial de diversos tipos de demonstração.
Algoritmo MO-IKE: Os autores introduzem um algoritmo de RL multi-objetivo que trata a construção de prompts como um Constrained MDP. Ao expandir o espaço de ação para incluir todas as categorias de demonstração e aplicar restrições de custo via modelagem de recompensa, o MO-IKE garante uma política estável que equilibra confiabilidade, generalidade e especificidade.
Melhorias Arquiteturais: O método introduz um recuperador dinâmico capaz de aprender a ordenação "global" ideal de demonstrações COPY, UPDATE e RETAIN, em vez de tratar as mesmas como templates estáticos ou otimizar apenas um subconjunto.

Resultados Experimentais

Os autores avaliaram o MO-IKE no Llama-3.2-3B, Mistral-7B e outros modelos nos benchmarks COUNTERFACT, ZSRE, WIKI-COUNTERFACT e no grande benchmark UniEdit (311 mil exemplos).

Ganhos de Desempenho: No Llama-3.2-3B, o MO-IKE melhorou o Sucesso de Edição (Confiabilidade) de 85,0% para 92,0% e a Taxa de Retenção (Especificidade) de 34,7% para 57,7% contra o baseline DR-IKE. A pontuação da média harmônica geral aumentou de 54,9 para 73,5.
Preservação de Especificidade: Crucialmente, o MO-IKE reverteu a degradação de especificidade observada no DR-IKE. Para o Mistral-7B, ele melhorou a Taxa de Retenção em +22,7% sobre o baseline, mudando a Métrica de Retenção de um valor negativo de -22,5 para um positivo de +32,1.
Generalização Zero-Shot: Um recuperador treinado no Llama-3.2 generalizou-se efetivamente para o Mistral-7B em um cenário zero-shot, mantendo um desempenho comparável ao de um recuperador treinado nativamente.
Estudos de Ablação:
- Remover a restrição de retenção levou a uma queda significativa na especificidade, confirmando a necessidade da formulação multi-objetivo.
- Expandir o espaço de ação para incluir todos os tipos de demonstração (em vez de apenas RETAIN) mostrou-se crítico para alcançar um desempenho equilibrado em todas as métricas.

Significância e Alegações

O artigo afirma que o MO-IKE fornece uma solução fundamentada para os objetivos conflitantes da edição de conhecimento em contexto. Ao enquadrar o problema como um Constrained MDP e utilizar modelagem de recompensa multi-objetivo, o método alcança uma "política estável" que evita o "hack de recompensa" de abordagens de RL anteriores.

Os autores enfatizam que sua abordagem é livre de treinamento para o LLM alvo (o LLM permanece congelado) e é aplicável a modelos de caixa-preta. Eles observam que, embora o MO-IKE melhore significativamente as estratégias de recuperação existentes, a taxa de retenção absoluta continua sendo um gargalo inerente aos métodos de aprendizado em contexto (pairando em torno de 60%), sugerindo que abordagens sem gradiente ainda têm espaço para melhoria. O trabalho estabelece que equilibrar a proporção e a ordenação de distintos tipos de demonstração é essencial para uma edição de conhecimento confiável, generalizável e específica.