Resumen Técnico: Amnesia – Un ataque de repetición sigiloso sobre el Aprendizaje Continuo

Declaración del Problema

Los sistemas de Aprendizaje Continuo (CL, por sus siglas en inglés) dependen de la repetición de experiencias para mitigar el olvido catastrófico, típicamente intercalando una pequeña memoria de ejemplos pasados con los datos actuales. Aunque la investigación de seguridad existente en CL se ha centrado en el envenenamiento (modificación de entradas para degradar el rendimiento) y las puertas traseras (inserción de disparadores para fallos dirigidos), estos enfoques suelen carecer de las restricciones explícitas y auditables presentes en los entornos de producción monitorizados.

En los flujos de trabajo de CL desplegados, los muestreadores de repetición suelen estar instrumentados para fines de cumplimiento, registrando telemetría como conjuntos de índices de repetición, recuentos de etiquetas por lote y tasas de repetición. Estos registros permiten "presupuestos auditables" donde los monitores verifican que el histograma de clases de la repetición realizada se mantenga cerca de una línea base nominal y que la tasa de repetición no cambie. El artículo identifica una brecha crítica de robustez: la vulnerabilidad de los sistemas de CL ante un insider de privilegios limitados que controla únicamente la selección de índices de repetición (la etapa de "soñar") sin acceso a los parámetros del modelo, los píxeles o las etiquetas. Este atacante tiene como objetivo maximizar el olvido de tareas pasadas mientras cumple estrictamente con estas restricciones de visibilidad y masa auditables, una superficie de amenaza previamente inexplorada bajo tales restricciones estrictas.

Metodología: El Ataque Amnesia

Los autores introducen Amnesia, un ataque de composición de repetición a nivel de muestreador que sesga qué índices se extraen del búfer de repetición. El ataque opera bajo dos restricciones explícitas:

1. Presupuesto de Visibilidad ($\delta$): La divergencia (Divergencia de Kullback-Leibler o de Variación Total) entre el histograma de repetición atacado y una línea base nominal ($p_0$) no debe exceder un umbral.
2. Presupuesto de Masa ($f$): La tasa de repetición total (fracción de mantenimiento) permanece fija.

El ataque sigue un procedimiento de dos pasos de "inclinar-luego-proyectar":

1. Preferencia (Inclinar)

El atacante utiliza señales de utilidad ligeras y legibles por el muestreador (por ejemplo, la Media Móvil Exponencial (EMA) de la pérdida de entropía cruzada o puntuaciones de confianza registradas como metadatos) para identificar clases "dañinas", aquellas cuya sobrerrepresentación maximiza el olvido. Estas utilidades ($u$) se utilizan para inclinar el histograma de clases nominal $p_0$ hacia una distribución objetivo $\tilde{p}$ que favorece a las clases de alta utilidad (dañinas).

2. Proyección (Sigilo)

La distribución inclinada $\tilde{p}$ se proyecta de nuevo en la "bola de sigilo" auditable definida por la restricción de divergencia $\delta$. El artículo proporciona optimizadores exactos y eficientes para dos tipos de divergencia:

• Divergencia KL: Utiliza una inclinación exponencial de un solo parámetro ($p^*(c) \propto p_0(c) \exp(\alpha u_c)$) con una búsqueda de raíz 1-D monótona para encontrar el multiplicador $\alpha$ que satura el presupuesto. Esto preserva la masa positiva en todas las clases, resultando en una discretización más suave.
• Divergencia de Variación Total (TV): Utiliza un algoritmo de llenado de agua (water-filling) de dos lados y de naturaleza codiciosa que transfiere masa de probabilidad de las clases de baja utilidad a las de alta utilidad hasta que el presupuesto de $\ell_1$ se agota. Esto puede empujar las clases de baja utilidad hacia cero, creando distribuciones más dispersas.

3. Realización y Programación

La distribución continua óptima $p^*$ se convierte en cuotas enteras ($q$) para el tamaño del lote $m$. El sistema emplea un programador de ventana utilizando un búfer circular para aplicar un presupuesto por paso más ajustado ($\delta_t$), asegurando que la divergencia promedio sobre cualquier ventana rodante $W$ permanezca dentro del límite global $\delta$. Esto gestiona el ruido de discretización introducido al redondear las cuotas a números enteros.

Principales Contribuciones

• Ataque Amnesia: El primer ataque de composición de repetición a nivel de muestreador que manipula la selección de índices para maximizar el olvido mientras permanece conforme con las auditorías basadas en registros (tasas y chequeos de histograma). No altera los píxeles, los cálculos de pérdida ni los parámetros del modelo.
• Formulación Principialista: Un marco de optimización que maximiza el daño ($\langle u, p \rangle$) sujeto a restricciones auditables ($Div(p \| p_0) \le \delta$ y masa fija $m$). Los autores demuestran que su paso de proyección es la mejor respuesta exacta de composición de clases, dominando débilmente a cualquier otro ataque de muestreo factible bajo restricciones equivalentes.
• Realización de Auditoría: Un flujo de trabajo práctico que convierte distribuciones teóricas en cuotas enteras con mecanismos de "auditoría y corrección" y un programador de ventana para garantizar el cumplimiento tanto de los controles por lote como de los controles de ventana rodante.
• Evaluación Exhaustiva: Análisis sistemático del compromiso entre impacto (olvido), visibilidad (divergencia) y presupuesto a través de múltiples conjuntos de datos (Split CIFAR-10/100, CORe50, Tiny-ImageNet) y bases de comparación de repetición fuertes (ER, ER-ACE, SCR, DER++).

Resultados Experimentales

Los autores evaluaron Amnesia en cuatro entornos de referencia de CL frente a bases de comparación de repetición fuertes:

• Impacto: Amnesia reduce consistentemente la precisión final (ACC) y empeora significamente la transferencia hacia atrás (aumenta $-BWT$). Por ejemplo, en Split CIFAR-10 con ER, el ataque redujo la ACC del 50.4% al 29.3% mientras aumentaba el olvido ($-BWT$) de 55.1 a 82.7.
• Compromiso Sigilo vs. Impacto:
  • La variante KL logra un alto impacto permaneciendo mayormente indetectable por las auditorías, con una baja divergencia de cola ($r_{batch@95}$) y cero violaciones de ventana. Su inclinación exponencial distribuye la masa de forma más suave, evitando la "fragmentación" que activa las alertas de auditoría.
  • La variante TV es a menudo más dañina (mayor olvido) pero más fácil de detectar, particularmente bajo restricciones estrictas por clase, debido a su tendencia a crear asignaciones extremas y dispersas que son más difíciles de realizar bajo cuotas enteras.
• Comparación con Envenenamiento: A pesar de operar bajo estrictas restricciones conscientes de la auditoría y sin tener acceso a los componentes internos del modelo o a los píxeles de los datos, Amnesia logra niveles de olvido comparables o superiores a las bases de comparación de envenenamiento de datos como BrainWash y PACOL, lo que destaca el control exclusivo de índices como una superficie de amenaza potente.
• Robustez: El ataque sigue siendo efectivo a través de diferentes arquitecturas de red (ResNet-18, ViT-Tiny, ConvNeXt-Base) y métodos de repetición, aunque métodos como ER-ACE muestran una robustez ligeramente mayor.
• Sobrecarga: El ataque introduce una sobrecarga computacional mínima (aprox. 3.5% para KL y 7.1% para TV) en relación con el tiempo de entrenamiento base.

Significado y Reivindicaciones

El artículo afirma exponer el control de repetición basado solo en índices como una amenaza práctica y peligrosa en los sistemas de Aprendizaje Continuo. Al formalizar el compromiso entre impacto y visibilidad bajo presupuestos auditables, los autores demuestran que un insider con privilegios limitados (acceso solo al muestreador) puede degradar significativamente el rendimiento del modelo sin activar los controles de cumplimiento estándar.

El trabajo establece un compromiso fundamental entre impacto-visibilidad-presupuesto, mostrando que maximizar el daño bajo restricciones de divergencia estrictas es un problema de optimización exacto en lugar de un heurístico. Los autores argumentan que las defensas actuales de CL son insuficientes contra tales ataques de composición sigilosos, ya que a menudo asumen que las amenazas implican la corrupción de datos o la manipulación de parámetros, pasando por alto la sutil manipulación de las distribuciones de muestreo. Los resultados sugieren que el monitoreo de las estadísticas de repetición por sí solo puede no ser suficiente para detectar ataques de composición sofisticados y restringidos por divergencia, lo que requiere nuevos mecanismos de defensa que tengan en cuenta la manipulación estratégica de los índices de repetición.