Benchmarking Knowledge Editing using Logical Rules

Resumen Técnico: Evaluación de Referencia del Conocimiento Editado mediante Reglas Lógicas

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) se despliegan cada vez más en aplicaciones que requieren conocimiento actualizado, pero el reentrenamiento de estos modelos es computacionalmente prohibitivo. Las técnicas de Edición de Conocimiento (KE, por sus siglas en inglés) han surgido para actualizar hechos específicos sin necesidad de un reentrenamiento completo. Los benchmarks actuales para KE evalúan principalmente la capacidad del modelo para recordar la aserción directamente editada (por ejemplo, "¿Quién es el Presidente?"). Sin embargo, descuidan en gran medida la capacidad del modelo para mantener la consistencia lógica con el conocimiento correlacionado o entailado (por ejemplo, "¿Quién es el cónyuge del Presidente?"). Los métodos existentes suelen inyectar con éxito un hecho directo, pero fallan en propagar las consecuencias lógicas de dicha edición a través de las cadenas de razonamiento del modelo, lo que genera inconsistencias en consultas de múltiples saltos (multi-hop). Además, los benchmarks existentes que sí abordan el razonamiento de múltiples saltos (como MQuAKE) suelen depender de preguntas curadas manualmente, lo que limita su escalabilidad y adaptabilidad en diferentes dominios.

Metodología
Los autores proponen un nuevo marco de evaluación (benchmark) que evalúa automáticamente los métodos de KE mediante la prueba de su capacidad para manejar las consecuencias lógicas derivadas de la edición de un único hecho. El flujo de trabajo consta de cuatro etapas principales:

1. Construcción del Grafo de Conocimiento: Partiendo de un conjunto de datos de referencia (preguntas), el sistema extrae entidades utilizando spaCy y recupera triples asociados de DBpedia mediante SPARQL para construir un subgrafo ($G$).
2. Minería de Reglas Lógicas: El sistema emplea AMIE3, un sistema de minería de reglas, para extraer reglas lógicas ($\Phi$) del grafo de conocimiento construido. Estas reglas representan relaciones tales como $bornIn(X, Y) \land livedIn(X, Y) \Rightarrow citizen(X, Y)$.
3. Generación de Casos de Prueba: Utilizando las reglas minadas y los triples originales, se le solicita a un Modelo de Lenguaje de Gran Escala (por ejemplo, GPT-4) que genere pares de Pregunta-Respuesta (QA) de múltiples saltos. Estas preguntas están diseñadas para verificar si una edición en una aserción base (por ejemplo, cambiar una ciudadanía) se propaga correctamente a los hechos dependientes (por ejemplo, la nacionalidad de un cónyuge) a través de las reglas lógicas.
4. Evaluación: El benchmark evalúa los modelos editados ($L^*$) bajo dos criterios:
   • Éxito de la Edición (Edit Success): La probabilidad de que el modelo responda correctamente la consulta directa.
   • Consistencia Lógica: La capacidad del modelo para responder correctamente las preguntas de múltiples saltos generadas, medida mediante las métricas de Coincidencia Exacta (EM) y F1.

El marco fue probado en dos conjuntos de datos: MLaKE (multilingüe, de un solo salto y múltiples saltos) y MQuAKE (actualizaciones de conocimiento temporal). La evaluación se centró en métodos de edición basados en parámetros: ROME (Rank-One Model Editing), FT (Fine-tuning Restringido) y KN (Knowledge Neurons), utilizando variantes de GPT-2 como modelos base.

Contribuciones Clave

• Un Nuevo Enfoque de Benchmark: El artículo introduce un benchmark escalable y automatizado que aumenta la evaluación de KE con conocimiento correlacionado derivado de reglas lógicas, yendo más allá de la simple recuperación de hechos.
• Generación Automatizada de Casos de Prueba: A diferencia de los benchmarks manuales, este enfoque utiliza AMIE3 y LLMs para generar preguntas de múltiples saltos adaptables al dominio, asegurando una amplia cobertura sin una curación laboriosa.
• Evaluación Exhaustiva: Los autores lanzan un marco de código abierto y realizan experimentos extensos comparando ROME, FT y KN tanto en conocimiento directo como en el derivado (entailed).

Resultados
Los experimentos revelaron una brecha significativa entre la edición directa y la consistencia lógica:

• ROME y FT: Estos métodos demostraron un alto éxito en la inserción de aserciones directas, pero exhibieron fallos sustanciales en la consistencia lógica. Por ejemplo, ROME mostró una caída de rendimiento de hasta un 24% cuando se evaluó sobre conocimiento correlacionado en comparación con el conocimiento directo. Los resultados de FT fueron aún más pronunciados, con un rendimiento cercano a cero en consultas correlacionadas, lo que sugiere que estos métodos tienen dificultades para propagar ediciones a través de cadenas de razonamiento.
• Knowledge Neurons (KN): En contraste, KN demostró un rendimiento relativamente mejor en la generalización al conocimiento correlacionado, mostrando puntuaciones de F1 y EM más altas en preguntas de múltiples saltos en comparación con los otros métodos.
• Sensibilidad del Modelo: Los resultados variaron según el tamaño del modelo (gpt2-medium, large, xl), pero la tendencia de la deficiente propagación lógica de ROME y FT se mantuvo constante.

Significancia y Reivindicaciones
El artículo sostiene que el estado actual de la Edición de Conocimiento es insuficiente para el despliegue en el mundo real donde los hechos son interdependientes. Los autores afirman que, si bien los métodos existentes pueden recordar con precisión las aserciones editadas, frecuentemente fallan al inyectar el conocimiento derivado (entailed), lo que conduce a la incoherencia lógica. El benchmark propuesto resalta esta limitación crítica, demostrando que son necesarios marcos de evaluación conscientes de la semántica para asegurar que las ediciones se propaguen coherentemente a través de hechos interconectados. Los autores concluyen modestamente que su trabajo expone las debilidades de los métodos actuales de KE con respecto a las cadenas de razonamiento y proporciona una herramienta para la investigación futura destinada a mejorar la robustez y la consistencia. Sugieren que el trabajo futuro debería extender estas evaluaciones a nuevos LLMs (por ejemplo, LLaMA, Mistral) y grafos de conocimiento más grandes como Wikidata.