Unlearning Isn't Invisible: Detecting Unlearning Traces in LLMs from Model Outputs

Resumen Técnico: El desaprendizaje no es invisible: detección de rastros de desaprendizaje en LLMs a partir de las salidas del modelo

Planteamiento del problema
El desaprendizaje de máquinas (MU, por sus siglas en inglés) para los modelos de lenguaje extensos (LLMs) tiene como objetivo eliminar datos o conocimientos específicos no deseados (por ejemplo, identificadores personales, contenido protegido por derechos de autor o capacidades dañinas) preservando al mismo tiempo la utilidad del modelo en tareas estándar. Aunque los métodos actuales de desaprendizaje aproximado (como el ascenso de gradiente, la optimización de preferencias y la edición de representaciones) están diseñados para suprimir la influencia de un "conjunto de olvido", su eficacia suele evaluarse únicamente basándose en si el modelo falla al responder consultas relevantes para el olvido.

Este artículo identifica una vulnerabilidad previamente inexplorada: la detección de rastros de desaprendizaje. Los autores postulan que el desaprendizaje deja tras de sí "huellas dactilares" persistentes tanto en el comportamiento del modelo como en sus representaciones internas. Estos rastros permiten a un adversario determinar si un modelo ha sido sometido a un proceso de desaprendizaje observando puramente su comportamiento de entrada-salida, incluso cuando se interroga al modelo con prompts irrelevantes para el olvido (entradas no relacionadas con el conocimiento borrado). Si un adversario puede detectar que un modelo ha sido desaprendido, puede invertir estratégicamente recursos para realizar ingeniería inversa a la información olvidada (por ejemplo, mediante ataques de jailbreaking o de reaprendizaje), socavando así las garantías de privacidad y seguridad del proceso de desaprendizaje.

Metodología
El estudio enmarca la detección de rastros de desaprendizaje como una tarea de clasificación supervisada. La hipótesis central es que los modelos desaprendidos exhiben cambios conductuales y representacionales distintos en comparación con sus contrapartes originales.

1. Configuración experimental:

   • Modelos: Se utilizaron cuatro LLMs ajustados por instrucciones: Zephyr-7B, LLaMA-3.1-8B, Qwen2.5-14B y Yi-34B.
   • Métodos de desaprendizaje: Se evaluaron dos enfoques de vanguardia:
     • RMU (Reingeniería de Representación): Modifica las activaciones intermedias de las muestras del conjunto de olvido hacia un vector aleatorio fijo.
     • NPO (Optimización de Preferencias Negativas): Trata las muestras del conjunto de olvido como ejemplos negativos en un marco de optimización de preferencias para alejar al modelo del comportamiento previo al desaprendizaje.
   • Conjuntos de datos: El conjunto de olvido consistió en 3,668 preguntas peligrosas de bioseguridad/ciberseguridad del benchmark WMDP. Los datos irrelevantes para el olvido se extrajeron de MMLU (utilidad general) y UltraChat.
   • Entradas: El estudio evalúa la detección utilizando dos tipos de salidas:
     • Respuestas textuales: Salidas discretas de tipo "duro" generadas por el modelo.
     • Activaciones pre-logit: Vectores de activación continuos de tipo "suave" (estados ocultos) extraídos antes de la capa softmax final.

2. Pipeline de detección:

   • Se entrena un clasificador supervisado ligero (un MLP de dos capas) para distinguir entre modelos "originales" y "desaprendidos".
   • Para las respuestas textuales, se utiliza un codificador LLM2Vec para incrustar el texto generado antes de la clasificación.
   • Para las activaciones, el MLP se entrena directamente sobre los vectores pre-logit.
   • Los clasificadores se prueban con prompts no vistos de WMDP (relevantes para el olvido), MMLU y UltraChat (irrelevantes para el olvido).

3. Análisis espectral:

   • Para comprender el mecanismo detrás de la detección, los autores realizan una Descomposición de Valores Singulares (SVD) en las matrices de activación centradas. Proyectan las activaciones sobre los vectores singulares derechos superiores (SV1) para visualizar los cambios distributivos ("huellas espectrales") entre los modelos originales y los desaprendidos.
   • También emplean UMAP (Aproximación y Proyección de Variedad Uniforme) para investigar variedades no lineales de baja dimensión en el espacio de activación.

Resultos clave

1. Alta detectabilidad: Clasificadores supervisados simples pueden distinguir modelos desaprendidos de los originales con una alta precisión (>90% en muchos casos), incluso cuando se interroga al modelo con prompts irrelevantes para el olvido.

   • Modelos NPO: Exhiben una detectabilidad fuerte. Los clasificadores entrenados únicamente en respuestas textuales logran una precisión casi perfecta (99–100%) en todos los tamaños de modelo y tipos de prompt. Esto se atribuye a los cambios conductuales agresivos y globales que impone NPO.
   • Modelos RMU: Exhiben rastros más sutiles. La detección basada en texto es menos efectiva en prompts irrelevantes para el olvido (por ejemplo, ~54% para Zephyr-7B en MMLU, cercano al azar). Sin embargo, los clasificadores entrenados en activaciones pre-logit logran una precisión casi perfecta (>95%) incluso para modelos RMU en datos irrelevantes para el olvido.

2. Huellas espectrales:

   • NPO: Muestra cambios distributivos pronunciados en las activaciones de la última capa a lo largo del primer vector singular (SV1).
   • RMU: No muestra cambios claros en la última capa. Sin embargo, se observan huellas espectrales distintas en las capas intermedias (específicamente en las subcapas de proyección descendente de las Redes de Alimentación hacia Adelante, por ejemplo, L7.D_PROJ).
   • Separación de variedades: A pesar de la falta de separación lineal en las activaciones finales para RMU, el análisis UMAP revela que las activaciones originales y desaprendidas residen en variedades no lineales de baja dimensión separables. Esto explica por qué los clasificadores neuronales (que pueden aprender fronteras no lineales) tienen éxito donde el análisis espectral lineal podría parecer inconcluyente.

3. Escala del modelo y generalización:

   • Los modelos más grandes (por ejemplo, Yi-34B) exhiben una detectabilidad más fuerte que los modelos más pequeños (por ejemplo, Zephyr-7B).
   • Los clasificadores entrenados en activaciones pre-logit de una familia de modelos (por ejemplo, Zephyr) pueden generalizarse para detectar el desaprendizaje en otras familias de modelos (por ejemplo, Yi, Qwen) con alta precisión, aunque el rendimiento varía según la arquitectura específica del modelo.

4. Detección de datos de olvido:

   • Una vez identificado un modelo como desaprendido, el artículo demuestra que es posible detectar si una respuesta específica se originó en el "dominio de olvido" (contenido peligroso) frente al conocimiento general, logrando una precisión superior al 70% aprovechando los cambios estadísticos en la entropía y las probabilidades de predicción.

Significado y afirmaciones
El artículo afirma revelar una vulnerabilidad crítica en el paradigma actual del desaprendizaje de LLMs. Los autores argumentan que:

• El desaprendizaje no es invisible: El proceso de eliminar el conocimiento deja firmas medibles y persistentes tanto en el texto de salida del modelo como en su espacio de activación interna.
• Riesgo de ingeniería inversa: La capacidad de detectar rastros de desaprendizaje permite a los adversarios identificar modelos "desaprendidos" y, potencialmente, concentrar recursos computacionales para recuperar la información borrada, eludiendo eficazmente las protecciones de privacidad o seguridad previstas.
• Limitaciones de los métodos actuales: El estudio destaca que los métodos actuales de desaprendizaje aproximado, aunque efectivos para suprimir respuestas específicas, no logran borrar la "huella dactilar" del propio proceso de desaprendizaje.
• Necesidad forense: Los hallazgos sugieren que evaluar el desaprendizaje requiere más que simplemente comprobar el rendimiento en consultas relevantes para el olvido; requiere un análisis forense de los rastros conductuales y representacionales del modelo para garantizar un borrado real.

Los autores concluyen que los rastros de desaprendizaje son un subproducto fundamental de los algoritmos de desaprendizaje actuales, introduciendo un nuevo vector de riesgo para la ingeniería inversa de la información olvidada en dominios de alto riesgo.