Resumen Técnico: Atención Olvidadiza: Una Memoria de Soporte-Vector Entrenable con Selección Certificada y Olvido Exacto

Declaración del Problema

Los mecanismos de atención de aprendizaje en tiempo de prueba (TTL) actuales, como DeltaNet, la atención lineal y los modelos de espacio de estados selectivos, operan manteniendo estados de memoria densos y no restringidos (típicamente de mínimos cuadrados o recurrentes). En estos sistemas, cada token retiene un peso no nulo, y el único mecanismo para eliminar tokens es la decaimiento exponencial. Este enfoque presenta dos limitaciones fundamentales:

1. Falta de Selección Certificada: No existe una forma de principios para determinar qué tokens de contexto pueden descartarse sin alterar la salida del modelo. Las heurísticas de poda existentes (p. ej., H2O, SnapKV) dependen de métricas puntuadas sin garantías de que la expulsión preserve la lectura (readout).
2. Olvido Imperfecto: Los requisitos regulatorios (p. ej., el derecho al borrado de la GDPR) y las necesidades clínicas exigen la capacidad de eliminar directamente la influencia de un token específico. Los métodos de olvido basados en gradientes (p. ej., ascenso de gradiente, escalado de coeficientes) dejan influencias residuales que son difíciles de acotar y defender ante auditores.

Metodología

El artículo introduce la Atención de Soporte-Vector (SV-Attention), una capa de memoria de margen máximo restringida que reformula la atención como un problema de Descripción de Datos de Vector de Soporte (SVDD) de una clase ajustado en línea a las claves de contexto.

Mecanismo Central

Dados los keys de contexto $x_i$ y los valores $v_i$, la SV-Attention computa un promedio ponderado donde los pesos son los coeficientes de soporte $\alpha$ de un SVM de una clase:
$$o(q) = \frac{\sum_i \alpha_i \kappa(q, x_i) v_i}{\sum_i \alpha_i \kappa(q, x_i)}$$
Los coeficientes $\alpha$ resuelven un programa cuadrático convexo con un parámetro de caja fijo $C$:
$$\min_{\alpha} \alpha^\top K \alpha - \text{diag}(K)^\top \alpha \quad \text{sujeto a} \quad \sum \alpha_i = 1, \quad 0 \le \alpha_i \le C$$
donde $K$ es la matriz de Gram de las claves (keys).

La Partición del Conjunto Activo

La solución particiona los tokens en tres conjuntos basados en las condiciones de Karush–Kuhn–Tucker (KKT):

1. Conjunto de Margen ($S$): $0 < \alpha_i < C$. Estos tokens portan la lectura.
2. Conjunto de Error ($E$): $\alpha_i = C$. Claves de frontera o valores atípicos (outliers).
3. Conjunto de Reserva ($R$): $\alpha_i = 0$. Tokens interiores a la descripción.

Selección Certificada: Por complementariedad de slackness, los tokens en el Conjunto de Reserva ($R$) tienen exactamente cero peso. Eliminar estos tokens es demostrablemente preservador de la salida.
Olvido Exacto: El sistema utiliza un solver incremental (Cauwenberghs & Poggio, 2000) que mantiene la inversa de la matriz KKT bordeada. Esto permite:

• Adición Incremental: Añadir un token mientras se preservan las condiciones KKT.
• Eliminación Decremental: Revertir el proceso para eliminar un token, devolviendo al solver al estado exacto en el que habría ocupado si el token nunca hubiera sido visto (bajo el mismo $C$ fijo).

Entrenamiento e Implementación

El artículo emplea dos rutas numéricas distintas:

1. Ruta de Mantenimiento Exacto (fp64): Utilizada para inferencia y verificación de certificados. Mantiene la inversa KKT, lo que permite un paso hacia atrás (backward pass) personalizado que reutiliza esta inversa (no requiere un segundo solve) y soporta la eliminación decremental exacta.
2. Ruta Estabilizada por Lotes (Entrenamiento): Para permitir el entrenamiento en GPUs, los autores utilizan una aproximación separada. Emplea un solver FISTA por lotes para estimar las máscaras del conjunto activo, seguido de un torch.linalg.solve regularizado por ridge ($10^{-3}$) para los coeficientes. Esta ruta es diferenciable vía autograd pero no proporciona certificados de eliminación exacta ni reutiliza la inversa KKT.

Una capa híbrida combina estas: una memoria global de largo alcance (resuelta por la ruta exacta o su aproximación) maneja el prefijo, mientras que una ruta local densa (softmax estándar) maneja el chunk actual.

Contribuciones Clave

1. Olvido Exacto: El solver fp64 de mantenimiento exacto logra un olvido "perfecto", definido como la equivalencia a reentrenar desde cero sin los datos. Los experimentos muestran que la eliminación decremental recupera la partición del conjunto activo idéntica y la función de decisión (desviación de la mediana $\sim 10^{-9}$ a $10^{-13}$) comparado con un modelo reentrenado, siempre que el óptimo sea único.
2. Selección Certificada: La partición del conjunto activo sirve como un certificado matemático en lugar de una puntuación heurística. Evictar tokens de reserva garantiza que no se cambiará la salida.
3. Memoria de Margen Máximo Entrenable: Los autores demuestran una capa entrenable usando un paso hacia atrás personalizado que reutiliza la inversa KKT mantenida en el paso hacia adelante, evitando el costo computacional de un segundo solve del sistema para la ruta exacta.
4. Capacidades del Mundo Real: El sistema demuestra el olvido de hechos quirúrgico, la edición de conocimiento exacta y la eliminación de registros de pacientes bajo el "derecho al olvido" en flujos de la UCI de MIMIC-IV con cero fuga de información.

Resultados Experimentales

Verificación de Olvido Exacto

• Coincidencia de Partición: Sobre claves Gaussianas, de MIMIC-IV real y de modelos entrenados, la ruta decremental recuperó la partición del conjunto activo idéntica a un modelo reentrenado en el 98–100% de los ensayos (óptimos únicos).
• Desviación de la Función de Decisión: La desviación de la mediana entre la solución decremental y la solución reentrenada fue de $\sim 10^{-9}$ (Gaussiano/UCI) y $10^{-13}$ (claves aprendidas). La peor desviación ($1.1 \times 10^{-2}$) ocurrió solo en flujos de duplicados cercanos mal condicionados.
• Comparación con el Decaimiento: El decaimiento de coeficientes (el baseline estándar) mostró desviaciones órdenes de magnitud mayores ($10^{-2}$ a $10^{-1}$) porque nunca resuelve nuevamente los tokens restantes.

Rendimiento de Selección Certificada

• Recuperación de Ítems Raros: Bajo redundancia sesgada, la selección certificada retuvo ítems raros con un 0.86 de recall, comparado con un 0.32 para la expulsión de "heavy-hitters" tipo H2O (incluso cuando H2O tenía acceso de oráculo a las consultas).
• Estado Adaptativo: En tareas de copia selectiva con relleno creciente, la SV-Attention mantuvo $\sim 0.99$ de recall mientras el tamaño del conjunto de soporte permanecía acotado (11–14 tokens), mientras que los baselines de estado fijo (DeltaNet, lineal) colapsaron al azar.
• Flujos de la UCI: En datos de MIMIC-IV, la selección certificada retuvo 0.80 de las horas de deterioro crítico con un presupuesto igualado, frente a 0.05 para la expulsión de heavy-hitters.

Rendimiento de Modelado de Lenguaje

• Escala Pequeña (3.22M parámetros): En enwik8, la SV-Attention híbrida logró 2.178 BPC comparado con 2.383 BPC para un Transformer de ventana deslizante de estado igualado (mejora del 8.6%, $p=0.001$).
• Escalabilidad: A 10M de parámetros, la ventaja desapareció (lavado), atribuido a que la puerta (gate) congelada por chunks converge más lento y menos establemente que el softmax a escalas mayores. El artículo señala que la optimización escalable y estable de la puerta sigue siendo un problema abierto.
• Throughput: La ruta de entrenamiento híbrida alcanza 9,125 tokens/s en un modelo de 3.22M, lo cual es 35.8× más lento que una implementación de referencia MPS softmax estándar.

Significancia y Reivindicaciones

El artículo posiciona a la SV-Attention no como un reemplazo de propósito general para la atención que domine en throughput bruto o perplexidad en todas las escalas, sino como un mecanismo especializado para escenarios que requieren garantías auditables.

• Valor Regulatorio y Clínico: La principal significancia radica en proporcionar un mecanismo donde la eliminación de tokens es demostrable en lugar de aproximada. Para aplicaciones sujetas al "derecho a ser olvidado" o la retirada de consentimiento clínico, la capacidad de demostrar que la salida de un modelo es matemáticamente equivalente a uno que nunca vio los datos es un diferenciador crítico frente al olvido basado en gradientes.
• Ventaja Estructural: El artículo argumenta que la restricción de margen máximo introduce un "conjunto activo" estructural que las memorias de mínimos cuadrados densos carecen. Esta estructura permite la selección certificada de valores atípicos y el olvido exacto, lo cual es particularmente valioso en flujos redundantes y de anomalías (p. ej., constantes vitales médicas, documentos de texto genérico).
• Limitaciones: Los autores declaran explícitamente que el certificado de eliminación exacta se aplica solo a la memoria global de largo alcance resuelta por la ruta exacta fp64. La ruta de chunk local y la aproximación de entrenamiento por lotes no portan dicho certificado. Además, la ventaja de rendimiento se encuentra actualmente confinada al modelado de lenguaje de pequeña escala, y el sistema es significativamente más lento que las implementaciones de atención estándar.

En resumen, la SV-Attention intercambia el throughput bruto y la dominancia de la perplexidad a gran escala por propiedades certificables: la capacidad de probar que ciertos tokens son ignorados (selección) y que otros han sido completamente borrados (olvido).