Resumen Técnico: Decodificación de Divergencia (Divergence Decoding)

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) memorizan frecuentemente datos de entrenamiento sensibles, lo que crea riesgos significativos de privacidad y derechos de autor. Abordar estos riesgos eliminando el conocimiento específico de los checkpoints existentes de los modelos es un desafío. Los enfoques tradicionales, como el reentrenamiento de modelos desde cero utilizando conjuntos de datos saneados, son computacionalmente inviables a escalas de frontera (requiriendo millones de horas de GPU). Los métodos de desaprendizaje de máquina existentes, que modifican los pesos del modelo mediante técnicas como el ascenso de gradiente o la optimía de preferencia negativa, a menudo sufren de una pérdida catastrófica de utilidad, son frágiles y siguen siendo costosos. Además, estos métodos frecuentemente degradan el rendimiento general del modelo en los datos retenidos.

Metodología: Decodificación de Divergencia (DD)

Los autores proponen la Decodificación de Divergencia (DD), un mecanismo de desaprendizaje en tiempo de inferencia que dirige los logits de un modelo objetivo lejos de datos específicos sin modificar directamente los pesos del modelo. El método está inspirado en el marco de Producto de Expertos (Product of Experts) y el Muestreo de Importancia (Importance Sampling).

Mecanismo Central

DD utiliza dos modelos auxiliares pequeños, $p$ y $q$, entrenados mediante pipelines de ajuste fino estándar para actuar como proxies de la diferencia entre el Modelo Objetivo actual ($P$, entrenado con tanto el conjunto de retención como el de olvido) y el Modelo de Reentrenamiento ideal ($Q$, entrenado solo con el conjunto de retención).

• Modelo Auxiliar $p$: Entrenado en el conjunto de "olvido" (o una combinación de olvido y retención, dependiendo de la configuración del benchmark).
• Modelo Auxiliar $q$: Entrenado en el conjunto de "retención".

El método aproxima el muestreo de un Modelo de Reentrenamiento ideal $Q$ ajustando los logits del Modelo Objetivo accesible $P$ basándose en la diferencia entre los modelos auxiliares. Se proponen dos ajustes específicos:

1. Decodificación de Divergencia Lineal: Una combinación lineal de logits donde la diferencia entre los modelos auxiliares dirige al objetivo:
   $$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$$
   Aquí, $\alpha$ es un hiperparámetro. La relación $q/p$ actúa como un "Experto de Dominio" que aumenta el peso de los tokens probablemente presentes en el conjunto de retención y disminuye el peso de aquellos probablemente presentes en el conjunto de olvido.

2. Decodificación de Divergencia Basada en Rango: Un ajuste basado en rangos que suprime los $k$ logits más divergentes:
   $$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$$
   (En la práctica, para evitar puntuaciones de privacidad degeneradas, los $k$ logits superiores se reemplazan por el $k$-ésimo logit más grande de la distribución original).

Destilación de Modelos

Para abordar los costos de latencia y cómputo de ejecutar tres modelos (Objetivo + 2 Auxiliares) simultáneamente durante la inferencia, los autores proponen destilar el comportamiento del sistema aumentado por DD de vuelta a un solo modelo. Un sistema de DD Lineal congelado actúa como profesor, y el Modelo Objetivo es ajustado mediante un objetivo de divergencia KL sobre el conjunto de olvido. Esto convierte al controlador en tiempo de inferencia en una red paramétrica que puede ser servida sin modelos auxiliares.

Contribuciones Clave

El artículo realiza las siguientes contribaciones a la literatura sobre desaprendizaje de máquinas:

• Direccionamiento de Logits Novedoso: Un mecanismo que supera a los métodos actuales del estado del arte (SOTA) en los benchmarks estándar de desaprendizaje (TOFU y MUSE).
• Puente entre Paradigmas: Una conexión entre el desaprendizaje en tiempo de inferencia y el desaprendizaje basado en pesos mediante la destilación, permitiendo un despliegue flexible.
• Eficacia Transversal de Dominios: Exploraciones iniciales que demuestran la aplicabilidad del método más allá de la generación de texto, específicamente en la generación de imágenes basada en transformers.
• Ablaciones Exhaustivas: Análisis exhaustivo que cubre la elección de hiperparámetros, impactos en cómputo/latencia, generalización entre tokenizadores/familias y robustez adversarial.

Resultados Experimentales

Los autores evaluaron DD utilizando el marco de Open Unlearning en los benchmarks TOFU (ajuste de instrucciones, consultas complejas) y MUSE (pre-entrenado, Q&A de pocos disparos).

• Rendimiento: DD supera decisivamente a las líneas base SOTA (incluyendo Ascenso de Gradiente, NPO, RMU y UNDIAL) en el benchmark TOFU. En MUSE, mejora marginalmente sobre las líneas base fuertes en tareas de Memorización de Conocimiento y Q&A, aunque es menos efectivo en Memorización Verbatim (donde los métodos de filtrado simples suelen sobresalir).
• Preservación de la Utilidad: A diferencia de muchos métodos de desaprendizaje que causan un olvido catastrófico, DD preserva el conocimiento general y la utilidad del modelo.
• Destilación: El modelo destilado recupera la mayor parte de las ganancias de rendimiento del DD Lineal en tiempo de inferencia, superando a los métodos previos de desaprendizaje basados en gradiente.
• Escalabilidad y Sostenibilidad: El método escala bien con el aumento de los tamaños del conjunto de olvido y maneye solicitudes de desaprendizaje secuenciales sin una degradación significativa del rendimiento.
• Robustez Adversarial: Bajo el benchmark Leak@K, que prueba si la información olvidada puede recuperarse mediante prompts adversariales repetidos, el DD destilado iguala el rendimiento de un reentrenamiento completo, indicando que el desaprendizaje es robusto y no meramente una corrección superficial.
• Generación de Imágenes: Los resultados preliminares en la generación de imágenes basada en ImageNet muestran que DD puede reducir la generación de semánticas visuales específicas (por ejemplo, clases de perros en el conjunto de olvido) mientras mantiene la calidad perceptual, aunque se requieren valores de $\alpha$ más altos para configuraciones lineales en comparación con el texto.

Significado y Reivindicaciones

El artículo argumenta que el camino hacia una IA más segura y conforme no reside en "lisiar" el modelo base mediante la modificación directa de sus pesos, sino en guiarlo. Los autores afirman que para muchos casos de uso prácticos (por ejemplo, solicitudes de "Derecho al olvido", cumplimiento de derechos de autor y backtesting financiero para prevenir el sesgo de anticipación), modificar los pesos del modelo es innecesario y potencialmente perjudicial para la utilidad.

En su lugar, DD ofrece un enfoque de "aprender sobre olvidar" donde modelos auxiliares pequeños y económicos dirigen la generación de un modelo grande. Esto proporciona una solución práctica para despliegues de alto riesgo donde se requiere un desaprendizaje frecuente y ad-hoc, redefiniendo el rendimiento SOTA al equilibrar un desaprendizaje efectivo con la preservación de las capacidades del modelo. El método se presenta como aplicable de forma general a cualquier modelo probabilístico, extendiendo su utilidad más allá del texto hacia dominios como la generación de imágenes.