Benchmarking Knowledge Editing using Logical Rules

Resumo Técnico: Avaliação de Referência para Edição de Conhecimento usando Regras Lógicas

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em aplicações que exigem conhecimento atualizado, embora o retreinamento desses modelos seja computacionalmente proibitivo. Técnicas de Edição de Conhecimento (KE - Knowledge Editing) surgiram para atualizar fatos específicos sem o retreinamento total. No entanto, os benchmarks atuais para KE avaliam primariamente a capacidade do modelo de recordar a asserção diretamente editada (ex: "Quem é o Presidente?"). Eles negligenciam amplamente a capacidade do modelo de manter a consistência lógica com o conhecimento correlacionado ou implicado (ex: "Quem é o cônjuge do Presidente?"). Os métodos existentes frequentemente conseguem injetar um fato direto, mas falham em propagar as consequências lógicas dessa edição através das cadeias de raciocínio do modelo, levando a inconsistências em consultas de múltiplos saltos (multi-hop). Além disso, os benchmarks existentes que abordam o raciocínio de múltiplos saltos (como o MQuAKE) dependem de perguntas curadas manualmente, o que limita sua escalabilidade e adaptabilidade em diferentes domínios.

Metodologia
Os autores propõem um novo framework de benchmark que avalia automaticamente os métodos de KE ao testar sua capacidade de lidar com consequências lógicas derivadas de uma única edição de fato. O fluxo de trabalho consiste em quatro etapas principais:

1. Construção do Grafo de Conhecimento: Partindo de um conjunto de dados de referência (perguntas), o sistema extrai entidades usando spaCy e recupera triplas associadas do DBpedia via SPARQL para construir um subgrafo ($G$).
2. Mineração de Regras Lógicas: O sistema emprega o AMIE3, um sistema de mineração de regras, para extrair regras lógicas ($\Phi$) do grafo de conhecimento construído. Essas regras representam relações como $bornIn(X, Y) \land livedIn(X, Y) \Rightarrow citizen(X, Y)$.
3. Geração de Casos de Teste: Usando as regras mineradas e as triplas originais, um Grande Modelo de Linguagem (ex: GPT-4) é instruído a gerar pares de Pergunta-Resposta (QA) de múltiplos saltos. Essas perguntas são desenhadas para verificar se uma edição em uma asserção base (ex: mudar uma cidadania) se propaga corretamente para fatos dependentes (ex: a nacionalidade de um cônjuge) por meio das regras lógicas.
4. Avaliação: O benchmark avalia os modelos editados ($L^*$) em dois critérios:
   • Sucesso da Edição: A probabilidade de o modelo responder corretamente à consulta direta.
   • Consistência Lógica: A capacidade do modelo de responder corretamente às perguntas de múltiplos saltos geradas, medida por Exact Match (EM) e pontuações F1.

O framework foi testado em dois conjuntos de dados: MLaKE (multilíngue, salto único e múltiplos saltos) e MQuAKE (atualizações de conhecimento temporal). A avaliação focou em métodos de edição baseados em parâmetros: ROME (Rank-One Model Editing), FT (Constrained Fine-tuning) e KN (Knowledge Neurons), utilizando variantes do GPT-2 como modelos base.

Principais Contribuições

• Uma Nova Abordagem de Benchmark: O artigo introduz um benchmark escalável e automatizado que aumenta a avaliação de KE com conhecimento correlacionado derivado de regras lógicas, indo além da simples recuperação de fatos.
• Geração Automatizada de Casos de Teste: Diferente dos benchmarks manuais, esta abordagem utiliza AMIE3 e LLMs para gerar perguntas de múltiplos saltos adaptáveis ao domínio, garantindo ampla cobertura sem curadoria trabalhosa.
• Avaliação Abrangente: Os autores lançam um framework de código aberto e realizam experimentos extensos comparando ROME, FT e KN tanto em conhecimento direto quanto em conhecimento implicado.

Resultos
Os experimentos revelaram uma lacuna significativa entre a edição direta e a consistência lógica:

• ROME e FT: Estes métodos demonstraram alto sucesso na inserção de asserções diretas, mas exibiram falhas substanciais na consistência lógica. Por exemplo, o ROME mostrou uma queda de desempenho de até 24% quando avaliado em conhecimento correlacionado em comparação ao conhecimento direto. Os resultados do FT foram ainda mais pronunciados, com desempenho próximo de zero em consultas correlacionadas, sugerindo que esses métodos têm dificuldade em propagar edições através de cadeias de raciocínio.
• Knowledge Neurons (KN): Em contraste, o KN demonstrou um desempenho relativamente melhor na generalização para o conhecimento correlacionado, mostrando pontuações F1 e EM mais altas em perguntas de múltiplos saltos em comparação aos outros métodos.
• Sensibilidade do Modelo: Os resultados variaram conforme o tamanho dos modelos (gpt2-medium, large, xl), mas a tendência de baixa propagação lógica para ROME e FT permaneceu consistente.

Significância e Alegações
O artigo argumenta que o estado atual da Edição de Conhecimento é insuficiente para implantação no mundo real, onde os fatos são interdependentes. Os autores afirmam que, embora os métodos existentes possam recuperar asserções editadas com precisão, eles frequentemente falham em injetar o conhecimento implicado, levando à incoerência lógica. O benchmark proposto destaca essa limitação crítica, demonstrando que frameworks de avaliação conscientes de semântica são necessários para garantir que as edições se propaguem coerentemente através de fatos interconectados. Os autores concluem modestamente que seu trabalho expõe fraquezas nos métodos atuais de KE em relação a cadeias de raciocínio e fornece uma ferramenta para pesquisas futuras melhorarem a robustez e a consistência. Eles sugerem que trabalhos futuros devem estender essas avaliações para novos LLMs (ex: LLaMA, Mistral) e grafos de conhecimento maiores como o Wikidata.