Resumen Técnico: PREUNLEARN: Auditoría del Daño al Conocimiento Colateral Antes del Desaprendizaje de Grandes Modelos de Lenguaje

1. Planteamiento del Problema

El desaprendizaje de conocimiento (machine unlearning) para Grandes Modelos de Lenguaje (LLMs) tiene como objetivo eliminar conocimiento específico, sensible o perjudicial (el "conjunto de olvido") mientras se preserva la utilidad general del modelo. Sin embargo, el límite entre el conocimiento que debe olvidarse y el que debe retenerse es a menudo difuso debido al entrelazamiento de información relacionada y distante dentro de los parámetros del modelo.

Las prácticas de evaluación actuales suelen depender de métricas de utilidad agregadas o de sondas post-hoc limitadas, las cuales no logran capturar la propagación granular del daño. Específicamente, los benchmarks existentes a menudo asumen un conjunto de olvido fijo y no caracterizan adecuadamente cómo los efectos del desaprendizaje se propagan desde el conjunto objetivo hacia el conocimiento del mismo dominio y, posteriormente, hacia el conocimiento de dominios distantes. En consecuencia, dos cuestiones críticas permanecen inexploradas:

1. RQ.1: ¿Cómo impacta el desaprendizaje en la propagación desde un conjunto de olvido $X$ hacia el conocimiento del mismo dominio y del dominio distante $Y$?
2. RQ.2: ¿Podemos predecir el daño colateral potencial en el conocimiento $Y$ resultante del desaprendizaje de $X$ antes de que se ejecute el proceso de desaprendizaje?

2. Metodología

2.1 Marco de Impacto de Desaprendizaje de Tres Capas

Los autores proponen un marco de evaluación centrado en los datos que organiza la degradación del conocimiento post-desaprendizaje en tres capas semánticas relativas a un conjunto de olvido $D_f$:

• L1 (Degradación Intencionada): Rendimiento sobre el propio conjunto de olvido $D_f$.
• L2 (Daño de Mismo Dominio): Rendimiento sobre pasajes retenidos semánticamente cercanos al dominio de olvido.
• L3 (Daño de Dominio Distante): Rendimiento sobre pasajes de otros dominios semánticos no relacionados.

El impacto se cuantifica mediante la Relación de Perplejidad (PPL): $R(S) = \text{PPL}(M^*_\theta, x) / \text{PPL}(M_\theta, x)$, donde $M^*_\theta$ es el modelo desaprendido y $M_\theta$ es el modelo original. Una relación $>1.0$ indica degradación del rendimiento.

2.2 Configuración Experimental

• Dataset: WikiText-103, procesado en 10 clústeres semánticos bien separados. Se construyeron 100 conjuntos de datos de desaprendizaje, cada uno conteniendo divisiones de olvido y retención disjuntas.
• Modelos: Llama-3.1-8B-Instruct y Qwen2.5-7B-Instruct.
• Algoritmos: Se evaluaron tres métodos distintos de desaprendizaje:
  • Ascenso de Gradiente (GA)
  • Optimización de Preferencia Negativa (NPO)
  • Desaprendizaje mediante Auto-destilación en Logits Ajustados (UNDIAL)

2.3 Formulación de la Auditoría Pre-Desaprendizaje

El artículo formula la "auditoría del conjunto de olvido" como un problema de regresión supervisada. El objetivo es predecir la relación de daño colateral ($\rho_{f,e}$) para un par de un conjunto de olvido candidato ($D_f$) y un conjunto de evaluación ($D_e$) antes de que ocurra cualquier actualización del modelo.

• Variable Objetivo: $\rho_{f,e} = \frac{\log(\text{PPL}_{después, e} / \text{PPL}_{antes, e})}{\log(\text{PPL}_{después, f} / \text{PPL}_{antes, f})}$. Esto normaliza la degradación en el conjunto de evaluación respecto a la fuerza de olvido lograda.
• Características de Entrada: El auditor utiliza únicamente características pre-actualización ($\phi(D_f, D_e, M_\theta)$) y no tiene acceso a gradientes, checkpoints o mediciones post-desaprendizaje. Las características se categorizan en:
  1. Características Intrínsecas: Propiedades de $D_f$ y $D_e$ de forma independiente (ej. longitud, diversidad, dimensionalidad).
  2. Características de Interacción: Relaciones geométricas entre ambos conjuntos (ej. distancia euclidiana de centroides, similitud de coseno, ratios léxicos).
• Modelos: Se entrenaron Regresión de Ridge, Random Forests y XGBoost para predecir $\rho_{f,e}$.
• Evaluación: El auditor fue probado utilizando validación cruzada de Dejar un Dominio Fuera (LODO) y una prueba de dominio semántico totalmente aislada para asegurar la generalización más allá de las identidades de dominios específicos.

3. Resultados Clave

3.1 Patrones de Impacto de Tres Capas (RQ.1)

• Patrón de Decaimiento: Se observó un patrón de decaimiento consistente en todas las combinaciones de modelos y algoritmos: $L1 > L2 > L3$. El impacto del desaprendizaje es más fuerte en el conjunto de olvido, más débil en el conocimiento del mismo dominio y más débil (pero aún presente) en el conocimiento de dominios distantes.
• Dependencia del Algoritmo: La magnitud del daño varía significativamente según el algoritmo. El Ascenso de Gradiente (GA) produjo el impacto más agresivo (aumento de la relación de PPL de hasta $12.85\times$), mientras que NPO y UNDIAL se mantuvieron dentro de $1.05\text{--}1.65\times$.
• Variabilidad del Conjunto de Olvido: Incluso con hiperparámetros y algoritmos fijos, diferentes conjuntos de olvido inducen perfiles de impacto sustancialmente distintos. Esta variación sugiere que la elección del conjunto de olvido en sí mismo es una decisión de diseño crítica.
• Separación Distribucional: Las distribuciones de degradación para L1, L2 y L3 están claramente separadas, aunque L3 exhibe una "cola derecha", lo que indica que puede ocurrir un daño colateral severo incluso en dominios distantes.

3.2 Desempeño de la Auditoría Pre-Desaprendizaje (RQ.2)

• Predictibilidad: La tarea de auditoría es factible. Los mejores regresores alcanzaron correlaciones de rango de Spearman ($\rho$) de hasta 0.93 (GA) y 0.90 (UNDIAL) bajo validación cruzada LODO. El rendimiento se mantuvo informativo ($\rho \geq 0.51$) incluso para el objetivo más difícil, NPO.
• Importancia de las Características: Las señales predictivas más fuertes son las características de interacción entre el conjunto de olvido y el de evaluación, específicamente:
  • Distancia euclidiana de centroides (correlación negativa con el daño).
  • Similitud de coseno de centroides (correlación positiva).
  • Ratios de longitud y léxico entre conjuntos.
  • Las propiedades intrínsecas de los conjuntos por sí solos fueron menos predictivas que su relación geométrica.
• Estabilidad: La calidad de clasificación del auditor se mantuvo estable a través de diferentes algoritmos de desaprendizaje, lo que sugiere que el daño colateral está determinado en parte por el acoplamiento geomético preexistente entre los conjuntos de datos.
• Sensibilidad: El auditor respondió correctamente a los cambios en la composición de riesgo de los conjuntos de evaluación, distinguiendo entre bloques de alto y bajo riesgo en lugar de reaccionar ante ruido aleatorio.

4. Significación y Reivindicaciones

El artículo posiciona la auditoría del conjunto de olvido como una herramienta de alerta temprana en lugar de un reemplazo para la evaluación completa. Sus principales contribuciones y significancia son:

1. Caracterización Granular: Establece un marco de tres capas que demuestra que el daño por desaprendizaje no se limita al objetivo, sino que decae con la distancia semántica, persistiendo incluso a través de las fronteras de dominio.
2. Tamizaje de Riesgo Preventivo: Demuestra que el daño colateral puede predecirse utilizando únicamente la geometría de los datos (características de interacción) antes de ejecutar cualquier optimización de desaprendizaje costosa.
3. Triaje Práctico: El auditor permite a los profesionales priorizar ejecuciones de desaprendizaje riesgosas, asignar presupuestos de datos de retención a dominios vulnerables o rechazar candidatos de conjuntos de olvido de alto riesgo tempranamente en el flujo de trabajo.
4. Perspectiva Centrada en los Datos: Los hallazgos sugieren que el daño colateral no es solo una función de la mecánica del algoritmo de desaprendizaje, sino que está significativamente influenciado por la relación geométrica entre los datos que se desean olvidar y los datos que se desean retener.

Los autores señalan modestamente las limitaciones, incluyendo que el estudio cubre un subconjunto de algoritmos y modelos de desaprendizaje, y que la perplejidad sirve como un proxy para la degradación del comportamiento. Concluyen que, si bien el auditor no reemplaza la evaluación final, transforma el proceso de una medición puramente post-hoc en un problema de clasificación más económico y guiado por el riesgo.