Disentangling Knowledge Representations for Large Language Model Editing

1. El Problema: La Preservación de Conocimiento Irrelevante de Alta Granularidad

El Knowledge Editing (edición de conocimiento) en Grandes Modelos de Lenguaje (LLMs) busca actualizar información específica (por ejemplo, cambiar "El presidente de EE. UU. es Biden" a "El presidente de EE. UU. es Trump") sin reentrenar todo el modelo.

Aunque los métodos actuales (como ROME, MEMIT, AlphaEdit) son efectivos para inyectar nuevos conocimientos y preservar hechos coarse-grained (de grano grueso, es decir, con sujetos totalmente diferentes, como "Microsoft fue fundada por Bill Gates"), fallan estrepitosamente con el conocimiento irrelevante de alta granularidad (fine-grained irrelevant knowledge).

• Definición: Son hechos que comparten el mismo sujeto que el conocimiento editado, pero tienen una relación y objeto diferentes.
  • Ejemplo: Si editamos el presidente de EE. UU., el hecho "La capital de EE. UU. es Washington" es irrelevante de alta granularidad.
• La Causa del Fallo: Las representaciones internas de los LLMs para un sujeto (ej. "EE. UU.") codifican múltiples atributos de manera entrelazada. Cuando se modifica la representación del sujeto para actualizar un atributo (el presidente), se altera involuntariamente la representación de otros atributos (la capital) porque están "enredados" en el mismo espacio vectorial y parámetros.
• Limitación de Métodos Actuales: Las técnicas existentes intentan preservar conocimiento irrelevante usando restricciones basadas en datos generales (como texto de Wikipedia), pero estas restricciones son demasiado coarse-grained y no pueden distinguir entre relaciones específicas del mismo sujeto.

2. Metodología: DiKE (Disentangling Knowledge Representations for LLM Editing)

Los autores proponen DiKE, un enfoque de tipo locate-then-edit que se basa en desenredar (disentangle) las representaciones del conocimiento antes de realizar la edición. El marco consta de dos módulos principales:

A. Módulo de Desentrelazamiento de Representación de Conocimiento (KRD)

Este módulo se entrena previamente para descomponer la representación del sujeto ($h_s$) en dos componentes vectoriales distintos:

1. Componente Relacionado con el Objetivo ($z^r_e$): Captura la información específica de la relación que se va a editar.
2. Componente No Relacionado con el Objetivo ($z^u_e$): Captura toda la información del sujeto que es irrelevante para la edición (los hechos de alta granularidad que deben preservarse).

Funcionamiento del KRD:

• Utiliza un Disentangler (desentrelazador) que toma las representaciones del sujeto y la relación como entrada.
• Utiliza un Recomposer (recomponedor) para reconstruir la representación original a partir de los dos componentes separados.
• Funciones de Pérdida: Se optimiza mediante tres objetivos:
  1. Pérdida de Desentrelazamiento (Contrastiva): Maximiza la información mutua entre cada componente y el sujeto, mientras minimiza la similitud entre los dos componentes (tratándolos como pares negativos).
  2. Pérdida de Restricción de Conocimiento: Asegura que el componente $z^r_e$ pueda predecir el objeto editado y que $z^u_e$ pueda predecir los objetos irrelevantes.
  3. Pérdida de Reconstrucción: Garantiza que la suma de los componentes reconstruya fielmente la representación original del sujeto.

B. Módulo de Edición de Conocimiento Basado en Desentrelazamiento (DKE)

Una vez entrenado el KRD, el módulo DKE realiza la edición de parámetros:

1. Edición del Objetivo: Se actualiza solo el componente $z^r_e$ para inyectar el nuevo conocimiento.
2. Preservación Estricta: Se impone una restricción explícita para que el componente $z^u_e$ permanezca invariante (sin cambios) durante la edición.
3. Actualización de Parámetros: Derivan una fórmula de actualización de rango uno en forma cerrada basada en la teoría de matrices. Esta fórmula resuelve un problema de optimización que minimiza el error en la nueva tarea mientras mantiene la invarianza del componente no relacionado.

La actualización de pesos $\hat{W}$ se calcula como:
$$\hat{W} = W + (W_3^T W_3 + E)^{-1} \Delta_{MEMIT}$$
Donde el término adicional $(W_3^T W_3 + E)^{-1}$ actúa como un factor de corrección que protege el conocimiento irrelevante de alta granularidad, algo que los métodos anteriores (como MEMIT) no logran hacer con precisión.

3. Contribuciones Clave

1. Identificación del Problema: Distinguen formalmente entre conocimiento irrelevante coarse-grained y fine-grained, demostrando que este último es el cuello de botella actual en la edición de modelos.
2. Propuesta DiKE: Introducen un marco novedoso que separa explícitamente la información relevante de la irrelevante dentro de la representación del sujeto, permitiendo ediciones precisas sin "efectos de arrastre" (ripple effects) en hechos relacionados.
3. Solución Matemática Eficiente: Derivan una solución analítica (forma cerrada) para la actualización de parámetros que incorpora múltiples restricciones de preservación, evitando la necesidad de reentrenamiento costoso.
4. Nuevo Benchmark (FINE-KED): Crean un conjunto de datos específico para evaluar la preservación de conocimiento irrelevante de alta granularidad, categorizado por niveles de dificultad (Easy, Middle, Hard) basados en la similitud semántica de las relaciones.

4. Resultados Experimentales

Los autores evaluaron DiKE en modelos de diferentes tamaños (GPT-2-XL, GPT-J, LLaMA-3) utilizando los benchmarks FINE-KED y COUNTERFACT.

• Preservación de Conocimiento (Relational Locality): DiKE supera significativamente a los métodos del estado del arte (ROME, MEMIT, AlphaEdit, MEND).
  • En el benchmark FINE-KED, DiKE mejora la preservación de conocimiento irrelevante de alta granularidad en un 8.3% en promedio sobre la línea base, logrando puntuaciones superiores al 70% incluso en niveles difíciles donde otros métodos caen por debajo del 50%.
• Eficacia de Edición: Mantiene una tasa de éxito de edición (Efficacy) competitiva (cerca del 99%), demostrando que la preservación de conocimiento no sacrifica la capacidad de actualizar el modelo.
• Edición por Lotes (Batch Editing): En escenarios donde se editan múltiples hechos del mismo sujeto simultáneamente, DiKE mantiene su estabilidad, mientras que métodos como ROME sufren degradaciones severas debido a conflictos en las representaciones entrelazadas.
• Generalización: El módulo KRD muestra una fuerte capacidad de generalización, funcionando bien incluso con sujetos y relaciones que no vio durante el entrenamiento (Out-of-Distribution).

5. Significado e Impacto

El trabajo DiKE representa un avance fundamental en la fiabilidad de la edición de modelos de lenguaje:

• Precisión Clínica: Resuelve el problema de la "contaminación" de hechos relacionados, permitiendo actualizar un dato sin corromper el conocimiento circundante del mismo sujeto.
• Eficiencia: Al proporcionar una solución en forma cerrada y un módulo de desentrelazamiento que se entrena una sola vez, el método es computacionalmente eficiente y escalable.
• Confianza en IA: Mejora la seguridad y la utilidad de los LLMs en aplicaciones críticas donde la precisión factual es vital (ej. medicina, derecho, noticias), asegurando que la actualización de un hecho no degrade la comprensión general del modelo sobre una entidad.

En resumen, DiKE demuestra que desentrelazar las representaciones internas es la clave para lograr una edición de conocimiento que sea tanto precisa en la actualización como robusta en la preservación del conocimiento existente.