Resumen Técnico: Olvido Geométrico para LLMs con Mínima Divulgación de Datos

Declaración del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) se despliegan en sistemas del mundo real, enfrentan restricciones regulatorias y de gobernanza crecientes que requieren la eliminación post-hoc de contenido específico (por ejemplo, datos personales, temas sensibles) mientras se preserva la utilidad general. Esto se conoce como olvido selectivo.

Los enfoques existentes dependen típicamente de tuberías basadas en datos que requieren acceso al corpus de entrenamiento original. Estos métodos generalmente caen en dos categorías:

1. Ajuste de rechazo a nivel de salida: Provocar rechazos o respuestas no coincidentes mediante ingeniería de prompts o intervenciones en tiempo de inferencia.
2. Actualizaciones de parámetros: Utilizar procedimientos basados en gradientes en conjuntos de datos designados de "olvido" y "retención".

Sin embargo, estas estrategias enfrentan una tensión crítica: a menudo requieren acceso a los datos de entrenamiento originales (que pueden no estar disponibles debido a restricciones de privacidad, licencias o gobernanza) y arriesgan volver a exponer datos sensibles durante el proceso de olvido. Además, depender de grandes flujos de retención coincidentes con la distribución para prevenir la degradación colateral a menudo es poco práctico en entornos desplegados. El artículo postula la necesidad de un olvido selectivo libre de corpus original que logre una fuerte supresión del objetivo con mínima divulgación de datos.

Metodología: Olvido Geométrico (GU)

Los autores proponen el Olvido Geométrico (GU), un enfoque a nivel de representación que opera directamente sobre los estados de planificación en tiempo de prompt del modelo sin acceder al corpus de entrenamiento original. El método se fundamenta en la observación de que las representaciones ocultas de los LLM en la etapa de prompt codifican señales linealmente decodificables predictivas de las propiedades de la respuesta, y que los factores semánticos de alto nivel a menudo están estructurados en subespacios lineales de baja dimensión.

GU procede en tres etapas principales:

1. Construcción de la Geometría de Planificación del Objetivo

En lugar de utilizar los datos de entrenamiento originales, GU define un pequeño conjunto de prompts de referencia seguros ($D_{ref}$) diseñados para elicitar comportamientos seguros deseados (por ejemplo, plantillas de rechazo o respuestas de "no lo sé").

• El modelo procesa estos prompts para extraer estados ocultos en tiempo de prompt ($h^{pr}_{\ell}$) en capas específicas.
• Se estima un subespacio de bajo rango (la "geometría de planificación segura") mediante PCA sobre estas activaciones centradas.
• Se calcula un proyector ortogonal $P_{\ell}$ para mapear vectores a este subespacio seguro, mientras que $P^{\perp}_{\ell}$ proyecta sobre el complemento ortogonal. Estos búferes se precalculan y se congelan.

2. Prompts Virtuales Condicionados por Anclajes

Para evitar requerir un conjunto de datos de olvido completo, GU genera un conjunto compacto de prompts virtuales ($D_{virt}$) utilizando puntos de anclaje (por ejemplo, la entidad o el tema específico que debe ser olvidado).

• Los anclajes se insertan en diversas plantillas contextuales (biográficas, instructivas, comparativas, etc.) para crear prompts sintéticos.
• Para cada prompt, se identifica una ventana local de tokens que rodea la ocurrencia del anclaje.
• El modelo procesa estos prompts para recopilar estados ocultos dentro de esta ventana.

3. Alineación Geométrica y Estabilización

El modelo se ajusta fino para alinear los estados ocultos de los prompts virtuales con la geometría segura congelada, mientras preserva la utilidad no objetivo.

• Objetivo Principal de Olvido: Para cada acierto de anclaje, el estado oculto agregado por ventana se descompone en componentes dentro del subespacio y fuera del subespacio. La función de pérdida ($L_{core}$) consiste en:
  • Atracción del Centroide ($L_{cent}$): Minimizar la distancia del estado desde la media de referencia.
  • Confinamiento de Retorno ($L_{fold}$): Penalizar la energía del componente residual ortogonal al subespacio seguro. Esto se logra reflejando el estado a través del subespacio y minimizando la disimilitud del coseno, forzando efectivamente al estado a residir dentro de la variedad segura.
• Estabilización del Lado de Retención: Para evitar la deriva colateral (degradación del conocimiento no objetivo), el método emplea un modelo profesor congelado (inicializado desde el mismo punto de control).
  • Pérdida de Mantenimiento de Fondo: Alinea la salida del estudiante en los tokens fuera de la ventana de los prompts objetivo con la del profesor.
  • Destilación de Retención Sintética: Alinea al estudiante con el profesor en un conjunto sintético separado de prompts no objetivo (incluyendo nombres confusos para prevenir la sobre-generalización).

Contribuciones Clave

1. Marco Libre de Corpus Original: GU elimina la necesidad de acceso al corpus de preentrenamiento original o a grandes conjuntos de datos de retención, abordando una barrera principal para el despliegue práctico.
2. Intervención a Nivel de Representación: En lugar de modificar las probabilidades de salida o los pesos directamente mediante descenso de gradiente sobre datos, GU manipula la estructura direccional de los estados de planificación ocultos para inducir un estado "difuso" o incierto para los temas objetivo.
3. Eficiencia de Datos: El método logra un olvido efectivo utilizando solo un conjunto mínimo de prompts sintéticos generados a partir de anclajes y un pequeño conjunto de prompts de referencia seguros.
4. Regularización Geométrica: La introducción del confinamiento de retorno y la proyección ortogonal proporciona un mecanismo matemáticamente fundamentado para dirigir las representaciones hacia un subespacio seguro mientras se preserva el contenido ortogonal.

Resultados Experimentales

Los autores evaluaron GU en dos puntos de referencia orientados a la privacidad: ToFU (olvido factual) y UnlearnPII (olvido de información de identificación personal), utilizando los modelos LLaMA-2-7B y LLaMA-3.2-1B.

• Efectividad del Olvido: GU logró una fuerte supresión del objetivo (baja Fuerza de Extracción y ROUGE de Olvido), comparable o superior a las líneas base basadas en gradientes como GA y GradDiff.
• Preservación de la Utilidad: GU mantuvo una alta utilidad del modelo en tareas no objetivo, superando a los métodos que inducían salidas "en blanco" o "sin sentido".
• Riesgo de Privacidad: En Ataques de Inferencia de Membresía (MIAs), GU redujo el riesgo de privacidad (medido por la desviación del AUC al azar) a niveles cercanos a cero, indicando que los datos olvidados se volvieron indistinguibles de los datos no de entrenamiento.
• Características de Salida: A diferencia de las líneas base que a menudo producen respuestas "sustitutas" (no relacionadas) o respuestas "en blanco", GU produjo consistentemente salidas de estilo rechazo (por ejemplo, "no estoy seguro"), representando un comportamiento de olvido más estructurado y conforme a la seguridad.
• Estudios de Ablación:
  • Presupuesto de Muestra: 20–30 muestras sintéticas por anclaje proporcionaron el equilibrio óptimo entre la fuerza de olvido y la preservación de la utilidad.
  • Selección de Capas: Alinear las últimas una o dos capas produjo el mejor compromiso, ya que los estados de planificación de capas tardías están más directamente acoplados a la política de generación.

Significado y Afirmaciones

El artículo afirma que el olvido efectivo puede lograrse con mínima divulgación de datos sintéticos, apoyando un paradigma de "Menos es Más". Al operar sobre la estructura geométrica de los estados de planificación en tiempo de prompt, GU elude la necesidad de volver a exponer datos de entrenamiento sensibles.

Los autores enfatizan que, aunque GU logra un rendimiento sólido en evaluaciones estándar basadas en extraibilidad, es más efectivo cuando los objetivos son invocados de manera confiable por anclajes. Reconocen limitaciones respecto a alias, variantes multilingües y menciones indirectas, señalando que el método no certifica un borrado representacional completo bajo auditorías de caja blanca más fuertes. Sin embargo, el trabajo demuestra que controlar un pequeño conjunto de estados en tiempo de prompt mediante alineación geométrica es una estrategia viable y eficiente para el olvido selectivo en entornos restringidos y sensibles a la privacidad.