TailedCore: Few-Shot Sampling for Unsupervised Long-Tail Noisy Anomaly Detection

Resumen Técnico: TailedCore

Enunciado del Problema
El artículo aborda un escenario práctico pero desafiante en la detección de anomalías no supervisada: entrenar un único modelo en un conjunto de datos multiclase que sufre de dos complicaciones simultáneas. Primero, el conjunto de datos presenta una distribución de cola larga, donde las clases "cabeza" (muchas muestras) son ricas en datos, pero las clases "cola" (pocas muestras) tienen muy pocas muestras (por ejemplo, 1, 4 o 20). Segundo, los datos de entrenamiento son ruidosos, lo que significa que el conjunto de entrenamiento "normal" está contaminado con muestras defectuosas (anomalías).

Los autores identifican un compromiso crítico "cola-verso-ruido" en los métodos existentes. Los modelos robustos al ruido (por ejemplo, SoftPatch) tienden a filtrar muestras raras, lo que les hace perder información de las clases cola. Por el contrario, los modelos efectivos para capturar clases cola (por ejemplo, PatchCore mediante muestreo codicioso) a menudo retienen ruido, lo que conduce a un rendimiento deficiente en las clases cabeza con datos de entrenamiento contaminados. La literatura existente no logra manejar simultáneamente el desequilibrio de clases y la contaminación por ruido a nivel de píxel sin etiquetas de clase explícitas.

Metodología
La solución propuesta, TailedCore, es un modelo de detección de anomalías basado en memoria diseñado para desacoplar el manejo de las clases cola del ruido. La innovación central reside en un proceso de construcción de memoria en dos etapas:

1. Discriminación de Ruido: El modelo primero construye un banco de memoria base ($M_{clean}$) filtrando parches defectuosos del conjunto de entrenamiento utilizando puntuación de valores atípicos (basada en el Factor de Outlier Local), similar a SoftPatch. Esto asegura que la memoria base esté libre de ruido, pero puede carecer de representación de clases cola.
2. TailSampler (Muestreo de Pocas Muestras): Para recuperar la información faltante de las clases cola, los autores introducen TailSampler, un nuevo muestreador de pocas muestras.
   • Predicción del Tamaño de Clase: TailSampler estima el "tamaño de clase" (cardinalidad) de cada muestra de entrenamiento sin etiquetas de verdad fundamental. Opera bajo la hipótesis de que en el espacio de incrustaciones, la distribución de similitudes interclase e intraclase exhibe simetría reflectiva.
   • Vecindarios Adaptativos: Para cada incrustación de muestra, se calcula un ángulo adaptativo para definir una vecindad. El tamaño de la clase se estima tomando la moda de los tamaños de las vecindades de los vecinos (un enfoque de "vecindad de vecindades"), en lugar de un simple conteo. Esto proporciona una estimación robusta de si una muestra pertenece a una clase pequeña (cola) o grande (cabeza).
   • Detección de Codo: El sistema determina el umbral máximo de tamaño ($K_{max}$) para una "clase cola" aplicando el método del codo a la distribución de los tamaños de clase estimados.
   • Muestreo Exclusivo: Las muestras con tamaños de clase estimados $\le K_{max}$ se identifican como instancias de clase cola. Sus características de parche se muestrean exclusivamente para formar un banco de memoria de cola ($M_{tail}$).
3. Aumento de Memoria: El banco de memoria final para TailedCore es la unión de la memoria base libre de ruido y la memoria específica de cola: $M_{TailedCore} = M_{clean} \cup M_{tail}$. Esto permite que el modelo sea robusto frente al ruido mientras retiene las características críticas de las clases de pocas muestras.

Contribuciones Clave

• Formulación del Problema: El artículo define y establece un punto de referencia para el escenario específico de detección de anomalías no supervisada con cola larga y ruido, un escenario común en aplicaciones industriales donde las líneas de producción tienen tasas variables y datos de entrenamiento defectuosos.
• TailSampler: Un predictor de tamaño de clase y muestreador de pocas muestras novedoso que se basa en la simetría reflectiva de las similitudes de incrustación para agrupar exclusivamente instancias de clases de pocas muestras, sin requerir etiquetas de clase.
• Modelo TailedCore: Un detector basado en memoria que navega exitosamente el compromiso cola-verso-ruido manejando independientemente el aumento de clases cola y la discriminación de ruido.
• Evaluación Exhaustiva: Los autores proporcionan experimentos extensos en conjuntos de datos MVTecAD y VisA modificados con distribuciones de cola de Pareto y en forma de escalón, demostrando que TailedCore supera a los métodos más avanzados (incluyendo PatchCore, SoftPatch, HVQ y enfoques basados en modelos fundamentales como WinCLIP y AnomalyCLIP) tanto en clasificación a nivel de imagen como en segmentación a nivel de píxel.

Resultados
Los resultados experimentales indican que TailedCore supera consistentemente a las líneas base existentes en diversas distribuciones de cola (Pareto, escalón-K=4, escalón-K=1) y ratios de ruido.

• Rendimiento: TailedCore logra puntuaciones AUROC superiores a nivel de imagen y de píxel, particularmente en la categoría "todas", que equilibra el rendimiento de cabeza y cola. Por ejemplo, en MVTecAD con escalón-K=1, TailedCore logra una AUROC a nivel de imagen del 94.44%, superando significativamente a PatchCore (80.01%) y SoftPatch (75.40%).
• Estudios de Ablación: El estudio confirma que el predictor de tamaño de clase (TailSampler) es crítico; eliminar el aumento de pocas muestras provoca una caída drástica en el rendimiento de las clases cola. El método también muestra que el mecanismo de "votación mayoritaria" en la estimación del tamaño de la clase es más robusto que el promedio simple o la selección top-1.
• Robustez: El modelo mantiene un alto rendimiento incluso a medida que aumenta el ratio de ruido en el conjunto de entrenamiento, mientras que otros métodos se degradan significativamente.

Significado y Afirmaciones
El artículo afirma que TailedCore representa un avance significativo en el manejo de escenarios de detección de anomalías del mundo real donde los datos son tanto desequilibrados como contaminados. Al resolver el compromiso inherente entre la robustez al ruido y la sensibilidad a las clases cola, el trabajo proporciona una base sólida para aplicaciones industriales donde las empresas deben gestionar diversas líneas de productos con tasas de producción variables y recolección de datos imperfecta. Los autores enfatizan que su enfoque no requiere etiquetas supervisadas ni ingeniería de prompts compleja, lo que lo convierte en una solución práctica para entornos no supervisados. El código y los protocolos de generación de datos están disponibles para facilitar investigaciones adicionales en este dominio.