One Mask to Rule Them All: On Hidden Facts after Editing and How to Find Them

Resumen Técnico: "Una Máscara para Gobernarlas Todas: Sobre Hechos Ocultos tras la Edición y Cómo Encontrarlos"

Enunciado del Problema
Los métodos de edición de conocimiento (KE), específicamente los enfoques de localizar y editar como ROME y MEMIT, buscan actualizar las asociaciones factuales en modelos transformadores modificando directamente los pesos de las capas MLP. Estos métodos operan bajo la hipótesis de que las capas MLP funcionan como memorias asociativas donde las actualizaciones dirigidas pueden sobrescribir hechos específicos. Sin embargo, los mecanismos internos de estas ediciones permanecen poco explorados. Existe un enigma conceptual: si el conocimiento factual en los transformadores está distribuido a través de vías redundantes (el "efecto Hidra"), ¿cómo puede la modificación de una sola capa o de un pequeño rango de capas sobrescribir con éxito la recuperación de conocimientos? Las evaluaciones actuales se basan únicamente en el comportamiento de salida (es decir, ¿produce el modelo el nuevo hecho?), dejando sin resolver la cuestión de si el conocimiento se sobrescribe realmente o simplemente se suprime.

Metodología
Los autores hipotetizan que ROME y MEMIT no sobrescriben el conocimiento original, sino que suprimen su recuperación inyectando señales amplificadas que secuestran la atención aguas abajo. Para verificar esto, proponen aislar un subespacio funcional común crítico para mantener las ediciones a través de hechos diversos.

1. Entrenamiento de Máscara Compartida: El método central implica entrenar una máscara binaria compacta ($K$) sobre las matrices de pesos editadas ($\hat{W}$) de múltiples ediciones diversas simultáneamente. La máscara se parametriza mediante parámetros entrenables $\Theta$ y se aplica elemento a elemento ($\hat{W} \odot K$) durante un pase forward condicional.
2. Objetivo de Optimización: La máscara se entrena para satisfacer tres restricciones mediante una función de pérdida combinada:
   • Restauración: El modelo podado ($M_p$) debe preferir el objeto original ($o$) sobre el objeto editado ($o^*$).
   • Minimalidad: La máscara debe podar el subconjunto más pequeño posible de pesos (restricción de dispersión).
   • Preservación del Comportamiento: Las capacidades generales de lenguaje del modelo podado (medidas por la divergencia KL respecto al modelo original) deben permanecer intactas.
3. Configuración Experimental: El estudio utiliza el conjunto de datos CounterFact en tres modelos (GPT-2 XL, LLaMA-3.2, Qwen2.5) y dos métodos de edición (ROME para ediciones individuales, MEMIT para ediciones por lotes). La máscara se entrena en un conjunto de ediciones y se evalúa tanto en conjuntos de entrenamiento como en conjuntos de prueba retenidos, incluyendo relaciones fuera de distribución (OOD).

Resultados Clave

• Reversión Universal: Una sola máscara binaria dispersa (que poda típicamente <10% de los pesos) revierte con éxito más del 80% de las ediciones en el conjunto de entrenamiento y más del 70% en ediciones de prueba no vistas. Esta generalización se mantiene a través de diferentes modelos y métodos de edición, lo que sugiere un mecanismo estructural compartido.
• Identificación del Mecanismo: La descomposición del flujo residual revela que la máscara revierte las ediciones al eliminar la sobre-atención en las capas posteriores. Mientras que los modelos editados muestran picos masivos en las contribuciones de atención aguas abajo de la capa de edición, los modelos podados restauran los niveles de atención para igualar al modelo original. Crucialmente, las vías MLP, que continúan codificando el conocimiento original, permanecen mayormente afectadas por la máscara.
• Necesidad del Mecanismo: Inyectar la máscara aprendida durante el proceso de edición (bloqueando el subespacio identificado) hace que la tasa de éxito de la edición caiga del 98% al 38%. Esto confirma que el subespacio de pesos identificado no es meramente suficiente para la reversión, sino que es estructuralmente necesario para que las ediciones tengan éxito.
• Restauración de Capacidades: Aplicar la máscara recupera las capacidades generales de modelado de lenguaje (perplejidad) que se degradaron por las ediciones de ROME, a menudo reduciendo los picos de perplejidad de millones a niveles de línea base.

Significado y Afirmaciones
El artículo afirma reencuadrar fundamentalmente la comprensión de los métodos de localizar y editar:

1. Supresión vs. Sobrescritura: ROME y MEMIT no sobrescriben el conocimiento almacenado; suprimen su recuperación secuestrando los mecanismos de atención. Los hechos originales permanecen codificados en las vías MLP pero se les impide emerger debido a una atención desproporcionada a la señal editada.
2. Subespacio Funcional Compartido: A pesar de los cambios de pesos específicos de cada hecho, diversas ediciones dependen de un subconjunto común y pequeño de pesos para mantener la edición. Este mecanismo compartido explica por qué estos métodos fallan al propagar cambios a hechos relacionados (efectos de onda expansiva) y por qué son vulnerables a la reversión.
3. Defensa y Detección: La existencia de un mecanismo compartido implica que las ediciones dejan una firma común. Una sola máscara dispersa no solo puede revertir ediciones no deseadas, sino también "bloquear" un modelo contra futuras ediciones al impedir el subespacio necesario. Esto proporciona una vía práctica para defender modelos de pesos abiertos contra ediciones maliciosas y detectar hechos editados basándose en su huella estructural compartida.

Los autores concluyen que la hipótesis de memoria asociativa que motiva estos métodos es incompleta; aunque los hechos pueden estar almacenados en las MLP, la recuperación depende fuertemente de la atención, la cual los métodos de edición actuales explotan en lugar de actualizar. Esta limitación sugiere un límite superior en lo que los métodos de localizar y editar pueden lograr: pueden suprimir la recuperación pero no pueden modificar realmente el grafo de conocimiento subyacente.