🤖 machine learning

Memory-Bounded Continuation of Greedy Sampling for Continual Anomaly Detection

Este artículo presenta ContCore, un método de detección de anomalías continua que mantiene un presupuesto de memoria fijo mediante la aplicación iterativa de muestreo codicioso a datos nuevos y existentes, preservando así la representatividad del coreset con garantías teóricas y logrando un rendimiento de vanguardia en múltiples evaluaciones de referencia.

Autores originales: Yoon Gyo Jung, Jaewoo Park, Kuan-Chuan Peng, Seongdeok Bang, Octavia Camps

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yoon Gyo Jung, Jaewoo Park, Kuan-Chuan Peng, Seongdeok Bang, Octavia Camps

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las fábricas que construyen nuestros coches, en los hospitales que escanean nuestros cuerpos y en las redes que aseguran nuestros datos, se necesita un guardián silencioso: un sistema que pueda detectar la única cosa que está mal. Este es el trabajo de la detección de anomalías. A diferencia de un guardia de seguridad que sabe exactamente qué aspecto tiene un ladrón, estos sistemas suelen ser entrenados únicamente con las cosas "normales": los engranajes perfectos, los tejidos sanos, el código limpio. Aprenden la forma de lo que es correcto tan bien que, cuando algo se desvía, aunque sea ligeramente, lanzan una alarma. El desafío aumenta cuando el entorno cambia. Imagine una fábrica que comienza a producir un nuevo tipo de pieza de motor, luego otro, y otro más. Un sistema entrenado solo para la primera pieza podría olvidar cómo reconocerla una vez que aprenda las nuevas, o simplemente podría quedarse sin espacio en su memoria para almacenar los detalles de todo lo que ha visto. Este es el problema del "olvido catastrófico", donde aprender cosas nuevas causa que una máquina pierda el conocimiento de las cosas antiguas, y el problema de los "límites de memoria", donde un sistema no puede mantener una lista infinita de ejemplos.

Los investigadores han intentado resolver esto durante mucho tiempo creando un resumen pequeño y perfecto de todos los datos normales, una colección de ejemplos clave que represente el todo. La mejor manera de construir tal resumen es elegir ejemplos que sean lo más diferentes posible entre sí, asegurando que ninguna parte del mundo "normal" se quede fuera. Sin embargo, cuando llegan nuevas tareas una tras otra, mantener este resumen perfecto sin permitir que crezca infinitamente es increíblemente difícil. Si simplemente se añaden nuevos ejemplos, la memoria se llena. Si se eliminan los antiguos para hacer espacio, se corre el riesgo de perder la capacidad de reconocer las tareas originales. Un equipo de investigadores liderado por Yoon Gyo Jung y sus colegas ha encontrado una forma de mantener este resumen tanto pequeño como perfecto, sin importar cuántas nuevas tareas encuentre el sistema. Desarrollaron un método llamado ContCore, que permite a una máquina aprender un flujo continuo de nuevos patrones normales sin olvidar nunca los anteriores, todo ello utilizando una cantidad fija de memoria.

El núcleo de su descubrimiento reside en cómo actualizan la memoria. En lugar de intentar almacenar cada uno de los nuevos ejemplos o utilizar redes neuronales complejas que pueden olvidar fácilmente, utilizan una estrategia de selección simple pero poderosa. Cuando llega un nuevo lote de datos normales, el sistema primero busca los nuevos ejemplos que son más diferentes de lo que ya recuerda. Elige estos ejemplos "más distantes" para añadirlos a su colección. Luego, para asegurar que el número total de ejemplos se mantenga dentro del estricto límite de memoria, realiza una segunda selección. Observa toda la colección —los ejemplos antiguos más los nuevos— y elige el grupo de ejemplos más dispersos que se ajuste al límite de tamaño. Este proceso de dos pasos, que ellos llaman "expansión codiciosa" seguido de "consolidación codiciosa", asegura que la memoria contenga siempre las muestras más representativas de todo lo que ha visto hasta ahora.

Los investigadores demostraron que este método funciona porque preserva la "forma" de los datos normales. Aunque el sistema descarta muchos ejemplos en cada paso para mantenerse dentro de su presupuesto de memoria, los que conserva son elegidos tan cuidadosamente que aún cubren todo el rango de variaciones normales. Demostraron matemáticamente que la brecha entre esta memoria pequeña y constantemente actualizada y una memoria perfecta e ilimitada es siempre pequeña y controlada. En la práctica, esto significa que el sistema no sufre el olvido catastrófico que plaga a otros métodos. Al ser probado en una amplia variedad de tareas, desde actualizaciones de clase única simples hasta secuencias complejas de muchas clases diferentes, su sistema superó consistentemente a los métodos existentes de última generación. En conjuntos de datos industriales estándar, logró una mayor precisión al detectar defectos mientras olvidaba casi nada de lo que había aprendido previamente.

Lo que hace que este enfoque sea particularmente robusto es su eficiencia. A diferencia de otros métodos que requieren cantidades masivas de potencia de cálculo o enormes cantidades de datos para reentrenar, este sistema actualiza su memoria con un proceso de selección simple. No necesita volver a aprender tareas antiguas ni almacenar vastas cantidades de imágenes brutas. En pruebas donde el sistema tenía que aprender de datos una imagen a la vez, un escenario donde otros métodos fallaron significativamente, ContCore mantuvo un alto rendimiento. Los investigadores también demostraron que este método funciona bien en diferentes tipos de datos y hardware, probando que el principio de seleccionar cuidadosamente un grupo pequeño y representativo es más poderoso que simplemente lanzar más potencia de cálculo al problema. Al mantener la memoria acotada pero la representatividad alta, han proporcionado una forma fiable para que las máquinas se adapten a un mundo cambiante sin perder su pasado.

Resumen Técnico: Continuación de Muestreo Greedy con Límite de Memoria para la Detección Continua de Anomalías

Declaración del Problema

La detección de anomalías (AD) no supervisada es crítica en industrias como la manufactura y la ciberseguridad, sin embargo, descubrir los límites de decisión entre lo normal y las anomalías no acotadas sigue siendo un desafío. Aunque los modelos tempranos lograron un alto rendimiento entrenando modelos separados por clase, estos sufren de altos costos de anotación y tamaños de modelo elevados. Los métodos de AD multi-clase abordan esto entrenando modelos únicos sobre múltiples clases, pero fallan en entornos dinámicos donde llegan nuevas tareas secuencialmente debido al olvido catastrófico.

El desafío específico en la Detección de Anomalías Continua (CAD) es prevenir el olvido catastrófico mientras se detectan anomalías recién introducidas bajo un esquema no supervisado (sin etiquetas de clase, solo imágenes normales de entrenamiento). Los enfoques existentes enfrentan limitaciones significativas:

Los métodos basados en regularización (p. ej., EWC, SI) luchan por equilibrar la estabilidad y la plasticidad, y son sensibles a los hiperparámetros.
Los métodos basados en replay sufren problemas de escalabilidad ya que el uso de memoria crece proporcionalmente con el número de tareas.
Los métodos basados en coresets (p. ej., DNE, UCAD) evitan el re-entrenamiento pero enfrentan desbordamiento de memoria a medida que las tareas se acumulan, ya que típicamente requieren memoria ilimitada para mantener la representatividad.
Las soluciones dedicadas de CAD (p. ej., CDAD, IUF) a menudo sufren de olvido catastrófico en cronogramas de largo plazo o requieren etiquetas de clase, lo que limita su aplicabilidad.

La pregunta central abordada es: ¿Podemos diseñar un coreset acotado que preserve la calidad representacional de uno no acotado?

Metodología: ContCore

Los autores proponen ContCore, un detector de anomalías basado en memoria que construye un coreset de muestreo greedy-continuo bajo restricciones estrictas de memoria fija. El método se basa en la observación de que el muestreo greedy continuado —aplicando iterativamente el muestreo greedy sobre conjuntos previamente muestreados mediante greedy— preserva efectivamente la representatividad.

Mecanismo Central

ContCore opera en dos pasos en cada transición de tarea $t$ :

Expansión Greedy: Dada una serie de características de incrustación de parches (patch embedding features) $Z_t$ de la nueva tarea, el método selecciona características que son máximamente distantes del coreset actual $M_{t-1}$ . Esto se formaliza como muestreo greedy sobre un conjunto base:
$G_{n_t}(Z_t; M_{t-1}) = \{z^*_i \in Z_t : z^*_i = \arg\max_{z \in Z_t} d(z, Z^*_{i-1} \cup M_{t-1})\}$
donde $n_t$ es el tamaño de muestreo para la tarea actual.
Consolidación Greedy: La unión de las características recién expandidas y el coreset previo se procesa para imponer el presupuesto de memoria fija $m$ . El método selecciona las características máximamente separadas de este conjunto combinado:
$M_t = G_m(G_{n_t}(Z_t; M_{t-1}) \cup M_{t-1})$

Implementación Práctica

Aproximación de Eficiencia: Para mitigar el costo computacional del muestreo greedy estricto durante la consolidación, los autores aproximan el proceso utilizando vecinos más cercanos. Una fracción $q$ de las muestras se selecciona basándose en distancias de vecinos más cercanos en lugar de un muestreo greedy completo, reduciendo significativamente la complejidad temporal mientras mantiene la cobertura.
Inferencia: Los puntajes de anomalía se calculan basándose en la distancia más cercana al coreset actual $M_t$ para cada parche, siguiendo el enfoque de PatchCore.

Justificación Teórica

El artículo proporciona una garantía teórica (Teorema 4.1) que muestra que el coreset greedy-continuado resultante $M_T$ aproxima al coreset oráculo (el resultado del muestreo greedy sobre todos los datos de todas las tareas combinadas) dentro de una brecha acotada. Se demuestra que la distancia de Hausdorff entre el oráculo y el coreset construido está acotada por la suma de los errores de aproximación por tarea, probando que la representatividad se degrada de forma gradual en lugar de catastrófica.

Contribuciones Clave

Observación y Teoría: Los autores demuestran que el muestreo greedy continuado preserva la representatividad bajo límites estrictos de memoria. Proporcionan una justificación teórica que muestra que el coreset greedy-continuado aproxima al coreset oráculo dentro de una brecha acotada.
Algoritmo ContCore: La instanciación de este principio en un método que construye un coreset greedy-continuado mediante expansión y consolidación greedy, manteniendo un uso de memoria fijo.
Desempeño Empírico: ContCore logra un desempeño de vanguardia (state-of-the-art) a través de 11 diferentes cronogramas de tareas en los conjuntos de datos MVTecAD y VisA.
Robustez en Entornos Online: El método es validado en entornos de CAD online estrictos (pasada única, tamaño de lote 1), donde los métodos previos se degradan significamente.

Resultados Experimentales

Los experimentos se realizaron en MVTecAD y VisA utilizando 11 cronogramas de tareas diferentes (desde el incremental simple $1 \times 15$ hasta cronogramas mixtos complejos como $10 \times 1 \times 5$ ).

Desempeño: ContCore logró el promedio de AUROC de tarea más alto y la Medición de Olvido (FM) más baja en casi todos los cronogramas. Por ejemplo, en el cronograma $1 \times 15$ de MVTecAD, ContCore logró un AUROC a nivel de imagen del 98.8%, superando al siguiente mejor (UCAD con 93.0%) y reduciendo significativamente el olvido (FM: 0.1 frente a 1.0 para UCAD).
Trans-dataset: En configuraciones de trans-dataset (MVTecAD $\to$ VisA y viceversa), ContCore superó a los baselines anteriores como CDAD, mostrando una mejora del 8.9% en el AUROC a nivel de imagen de VisA $\to$ MVTecAD.
Eficiencia: ContCore es altamente eficiente comparado con los métodos neuronales. Requiere significativamente menos GFLOPs (9.24 frente a 5628 para CDAD) y parámetros (45.3M frente a 11G para CDAD), con tiempos de entrenamiento e inferencia más rápidos.
Validación a Gran Escala: En el conjunto de datos Real-IAD (30 clases, ~100k imágenes), ContCore superó tanto a UniAD-Oracle como a los modelos PatchCore-OneClass, a pesar de haber sido entrenado con cronogramas de tareas continuas.
Aprendizaje Online: En el entorno estricto de "CAD online" (tamaño de lote 1, un solo epoch), ContCore mantuvo un alto desempeño (97.2% AUROC en MVTecAD), mientras que otros métodos (DNE, UCAD, IUF, CDAD) sufrieron caídas significativas de desempeño.

Significancia y Reivindicaciones

El artículo afirma que ContCore ofrece una solución robusta al problema de la detección de anomalías continua con restricciones de memoria. Su significancia radica en:

Romper el compromiso entre Memoria y Desempeño: A diferencia de la acumulación de coresets que requiere memoria ilimitada, o los métodos de regularización que sufren de olvido, ContCore mantiene una huella de memoria fija mientras logra un desempeño de vanguardia.
Garantías Teóricas: El método no es solo empírico; está respaldado por una prueba de que la brecha de representatividad respecto al coreset oráculo óptimo permanece acotada.
Generalizabilidad: El enfoque es efectivo a través de diversos cronogramas de tareas, diferentes arquitecturas de backbone (WideResNet, EfficientNet, DINOv2), e incluso en escenarios desafiantes de aprendizaje online donde los datos se procesan una sola vez.
Despliegue Práctico: Al evitar el olvido catastrófico y el crecimiento ilimitado de la memoria, ContCore se presenta como una solución viable para el despliegue en el mundo real en entornos dinámicos donde se introducen nuevas clases de anomalías sin acceso a datos históricos.