Auditing Forgetting in Limited Memory Language Models

Resumen Técnico: Auditoría del Olvido en Modelos de Lenguaje de Memoria Limitada

Planteamiento del Problema
Los Modelos de Lenguaje de Memoria Limitada (LMLM, por sus siglas en inglés) representan una arquitectura híbrida que separa la competencia lingüística (codificada en los parámetros del modelo) del conocimiento fáctico (almacenado en una base de datos externa). Este diseño tiene como objetivo permitir el "desaprendizaje basado en la eliminación", donde la remoción de hechos de la base de datos elimina el acceso a ellos sin necesidad de reentrenar el modelo. Sin embargo, los métodos de evaluación existentes para el olvido son insuficientes. Típicamente miden la corrección agregada antes y después de la eliminación, pero no logran distinguir el mecanismo de la corrección post-eliminación. Un modelo podría seguir respondiendo correctamente debido a:

1. Memoria paramétrica residual: El hecho permanece codificado en los pesos del modelo.
2. Rutas de recuperación alternativas: El hecho es recuperado a través de alias, paráfrasis o entradas semánticamente relacionadas que no fueron explícitamente eliminadas.
3. Artefactos de recuperación: El modelo genera la respuesta correcta basándose en candidatos vecinos cercanos que no son equivalentes de oro (gold-equivalent) al hecho eliminado.

Las métricas actuales no pueden determinar si el conocimiento se ha externalizado con éxito o si persiste internamente dentro de los parámetros del modelo.

Metodología: Marco de Auditoría Causal
Los autores proponen un marco de auditoría causal que mantiene fijo el modelo mientras varía el estado de la base de datos en el momento de la inferencia. El marco evalúa 12,228 cierres de alias a través de trece bases de datos (incluyendo la base de datos LMLM publicada y doce variantes personalizadas) utilizando seis formulaciones de prompts distintas.

El marco emplea tres estados de intervención controlados:

1. FULL (COMPLETO): La base de datos está intacta y la recuperación está habilitada. Esto establece la precisión base.
2. DEL-ON (ELIMINACIÓN ACTIVADA): El hecho objetivo (y sus equivalentes de alias) ha sido eliminado de la base de datos, pero la recuperación permanece habilitada. Esto pone a prueba la recuperación mediante rutas alternativas o artefactos.
3. DEL-OFF (ELIMINACIÓN DESACTIVADA): El hecho objetivo ha sido eliminado y la recuperación se ha desactivado. Esto aísla la recuperación paramétrica, forzando al modelo a responder sin evidencia externa.

Métricas Clave y Descomposición
El marco descompone el comportamiento post-eliminación en tres componentes distintos:

• Fuga Paramétrica ($L(f)$): Ocurre cuando el modelo responde correctamente en el estado DEL-OFF. Esto indica que el hecho eliminado persiste en los parámetros del modelo.
• Corrección Mediada por Recuperación ($R(f)$): Ocurre cuando el modelo es correcto en DEL-ON pero incorrecto en DEL-OFF. Esto indica que la respuesta fue recuperada a través del grafo de recuperación.
• Tasa de Artefactos de Recuperación ($A(f)$): Ocurre cuando el modelo produce la respuesta correcta en DEL-ON a pesar de que no hay un candidato equivalente de oro presente en la traza de recuperación. Esto indica que la respuesta fue reconstituida a partir de candidatos vecinos cercanos (por ejemplo, señuelos parafrásticos).

Los autores construyen variantes de bases de datos personalizadas para estresar modos de falla específicos:

• Base: Solo tríos canónicos (línea base limpia).
• Alias: Hechos almacenados únicamente bajo formas de alias (prueba la completitud del cierre de alias).
• Noise (Ruido): Tríos señuelo con sujetos parafrásticos que apuntan al mismo objeto (prueba la reconstrucción por vecinos cercanos).
• Collision (Colisión): Tríos de "casi acierto" que comparten un sujeto pero se dirigen a un objeto diferente (prueba la deriva de vecinos confusos).

Resultados Clave
La auditoría arroja varios hallazgos críticos a través de 36,684 completaciones del modelo:

1. Fuga Paramétrica Casi Nula: En todas las variantes de base de datos y estilos de prompt, la fuga paramétrica ($\hat{L}$) es efectivamente cero (0.11% en promedio). El modelo rara vez devuelve una respuesta eliminada en ausencia de recuperación. Esto sugiere que, para esta clase de LMLM, la operación de "desaprendizaje" dentro de los parámetros del modelo es limpia; el modelo se comporta como si nunca hubiera visto el hecho una vez que la recuperación se desactiva.
2. Los Residuales Viven en el Grafo de Recuperación: La corrección sobreviviente tras la eliminación es casi enteramente atribuible al grafo de recuperación, no al modelo. La tasa de corrección mediada por recuperación ($R(f)$) coincide con la tasa de artefactos de recuperación ($A(f)$) dentro de los errores de redondeo en todas las variantes. Esto confirma que la corrección post-eliminación es predominantemente reconstituida desde la recuperación de vecinos cercanos en lugar de ser recordada.
3. La Topología de la Base de Datos Controla los Residuales: La magnitud del residual (el porcentaje de hechos eliminados que sobreviven) está determinada por la topología de la base de datos, no por la arquitectura del modelo o el estilo del prompt.
   • Base: ~3.7% de residual.
   • Alias: ~6.2% de residual.
   • Collision: ~7.2% de residual.
   • Noise: ~13.6% de residual (el peor caso, donde los señuelos parafrásticos permiten que la recuperación recupere la respuesta).
   • Base de Datos LMLM Publicada: ~0.7% de residual.
4. Impacto de la Formulación del Prompt: Aunque el estilo del prompt afecta significamente la precisión base (FULL) (variando de ~17% a ~57% F1), tiene un control independiente mínimo sobre el residual post-eliminación. Una vez que la evidencia de apoyo es removida, la tasa de supervivencia de un hecho está dictada por la estructura del grafo de recuperación, no por la forma superficial de la pregunta.

Significancia y Reivindicaciones
El artículo sostiene que la contribución principal es una descomposición del comportamiento de olvido en lugar de una única métrica agregada. Al aislar la recuperación paramétrica de la corrección en el lado de la recuperación, la auditoría revela que:

• El "límite de desaprendizaje" en esta clase de LMLM es trazado principalmente por el administrador de la base de datos, no por el modelo.
• Los procedimientos de eliminación estándar que solo eliminan tríos canónicos y equivalentes de alias son insuficientes si el grafo de recuperación contiene señuelos parafrásticos (como se ve en la variante "Noise").
• El residual de corrección observado en estudios previos (por ejemplo, el artículo original de LMLM) es probablemente una propiedad del grafo de recuperación específico utilizado (que era benigno) en lugar de un fallo del modelo para olvidar.

Los autores concluyen que, para un desaprendizaje efectivo en LMLM, la gobernanza debe extenderse más allá de los alias de entidades para incluir la topología del grafo de recuperación, asegurando que las rutas parafrásticas hacia información sensible también sean cerradas al momento de la eliminación. El artículo no afirma que los LMLM sean universalmente perfectos en el desaprendizaje, sino que sus modos de falla son estructurales al diseño de la base de datos y no inherentes a la memoria paramétrica del modelo.