💻 computer science

Keep the Needle, Prune the Haystack: Defect-Preserving Token Pruning for Efficient Zero-Shot Anomaly Detection

El artículo propone KeepAD, un marco de poda de tokens que preserva los defectos, el cual retiene estratégicamente los tokens anómalos mientras elimina agresivamente los tokens normales redundantes a través de diferentes profundidades de la red, permitiendo una detección de anomalías zero-shot eficiente con una aceleración de hasta 7.9× y una degradación mínima del rendimiento.

Autores originales: Yanning Hou, Jingyuan Zhang, Xiaoyun Wang, Qixiang Ma, Sihang Zhou, Ke Xu

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yanning Hou, Jingyuan Zhang, Xiaoyun Wang, Qixiang Ma, Sihang Zhou, Ke Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando encontrar un pequeño y diminuto rasguño en un coche nuevo y costoso. Tienes un asistente robot superinteligente con una cámara que puede ver cada centímetro del vehículo. Pero aquí está el truco: el robot es tan minucioso que inspecciona cada milímetro cuadrado del coche, incluso las partes que están perfectamente limpias y brillantes. Pasa el 99% de su tiempo revisando la pintura limpia, solo para estar absolutamente seguro, antes de finalmente detectar el rasguño. Esto es increíblemente lento y un desperdicio, especialmente si tienes que inspeccionar miles de coches al día.

Esto es exactamente el problema que enfrenta la "Detección de Anomalías Zero-Shot" moderna. En el mundo de la visión computacional, "Zero-Shot" significa que una computadora puede detectar defectos en cosas que nunca ha visto antes —como encontrar una grieta en un nuevo tipo de escaneo médico o un fallo en una pieza de fábrica que no fue entrenada para ello—. Para lograr esto, estas computadoras utilizan enormes "Vision Transformers" (ViTs), que son como cerebros gigantes que descomponen una imagen en miles de pequeñas piezas de rompecabezas (llamadas "tokens") y analizan cada una de ellas. El problema es que estos cerebros son pesados y lentos. Tratan una imagen perfectamente normal y una rota de la misma manera, procesando números en cada una de las piezas del rompecabezas, a pesar de que la pieza "mala" suele ser solo una pequeña mota en un mar de piezas "buenas".

Entra en escena KeepAD, un nuevo método que actúa como un editor inteligente y consciente del riesgo para estos cerebros gigantes. En lugar de dejar que el robot revise cada pulgada del coche, KeepAD le enseña al robot a escanear rápidamente la superficie, mantener la vista en los puntos más sospechosos e ignorar las partes aburridas y perfectas. Pero hace esto con una regla muy cuidadosa: "No tires la evidencia". Si el robot no está seguro de si un punto es un rasguño o solo una sombra, lo conserva. Solo elimina las partes aburridas y seguras. El resultado es que el robot se vuelve increíblemente rápido —hasta casi 8 veces más rápido en algunas pruebas— sin perder los pequeños defectos que debe encontrar. Es como tener un detective que puede encontrar una aguja en un pajar en una fracción del tiempo, simplemente ignorando el paja que es definitivamente solo paja.

El Problema: La Trampa del "Pajar"

En el mundo de la seguridad industrial y médica, encontrar defectos es un juego de "encontrar la aguja en el pajar". La mayor parte del tiempo, las imágenes son perfectas (el paja) y los defectos son raros y diminutos (la aguja). Los modelos de IA actuales son como un bibliotecario muy diligente pero lento que lee cada una de las páginas de cada libro de la biblioteca para encontrar un solo error tipográfico. Aunque el error esté solo en la página 42, el bibliotecario lee las páginas 1 a 41 con la misma intensidad.

Esto es ineficiente. El artículo señala un peligro específico llamado "Riesgo de Poda Asimétrica" (Asymmetric Pruning Risk). Si intentas acelerar las cosas eliminando "páginas no importantes" (tokens), podrías accidentalmente tirar la página con el error tipográfico. En el reconocimiento de imágenes normal (como identificar un gato), eliminar algunos píxeles no importa mucho porque la cara del gato está en todas partes. Pero en la detección de defectos, el "gato" es toda la imagen y el "defecto" es un detalle pequeño y oculto. Si eliminas el token equivocado, pierdes la única evidencia del problema.

La Solución: La Estrategia de Dos Etapas de KeepAD

Los autores de este artículo proponen KeepAD (Keep Anomaly Detection), un sistema que actúa como un filtro inteligente. No solo elimina cosas al azar; utiliza un proceso de dos pasos que cambia su estrategia a medida que "mira" más profundamente en la imagen.

Etapa 1: La "Red de Seguridad" (Capas Superficiales)
Cuando la IA mira la imagen por primera vez, aún no está segura de cómo se ve un defecto. Es como mirar una foto borrosa. Si intenta adivinar qué partes eliminar ahora, podría eliminar accidentalmente el defecto. Por eso, KeepAD utiliza una estrategia de Preservación de Cobertura (Coverage-Preserving). Imagina que la imagen es una cuadrícula de cuadrados de 2x2. KeepAD dice: "No importa qué, debemos conservar al menos una pieza de cada cuadrado de 2x2". Esto asegura que, incluso si un defecto es diminuto y aislado, no sea completamente borrado. También añade un mecanismo de "Rescate": si un punto parece ligeramente riesgoso, se guarda aunque no sea lo más obvio. Esta etapa es conservadora; es mejor conservar un poco de paja extra que perder la aguja.

Etapa 2: El "Francotirador" (Capas Profundas)
A medida que la IA procesa la imagen más profundamente, comienza a entender la diferencia entre una textura normal y un defecto real. Ahora, puede ser más agresiva. KeepAD cambia a un modo Adaptativo a la Anomalía (Anomaly-Adaptive). Utiliza "prototipos": plantillas mentales de cómo se ve lo "normal" y cómo se ve lo "anormal". Si un token coincide claramente con la plantilla "normal", se elimina. Si parece un defecto, se queda.

Crucialmente, esta segunda etapa es Adaptativa a la Imagen (Image-Adaptive). No utiliza una regla fija para cada imagen. Si una imagen parece muy sospechosa (muchos defectos potenciales), KeepAD conserva más tokens para estar segura. Si la imagen parece muy limpia, elimina más tokens para ahorrar tiempo. Es como un guardia de seguridad que revisa minuciosamente una bolsa sospechosa pero solo echa un vistazo a una que está clara y vacía.

La Receta Secreta: Aprender Sin Perder

Una de las partes más difíciles de este sistema es enseñar a la IA a tomar estas decisiones. Si la IA elimina un token, la computadora ya no puede "verlo" para aprender de él. Para resolver esto, los autores utilizan un truco llamado Auto-destilación de Denso a Esparso (Dense-to-Sparse Self-Distillation).

Imagina a un profesor y a un estudiante. El "Profesor" es la IA completa y lenta que mira cada token. El "Estudiante" es la IA rápida y podada que solo mira unos pocos. Durante el entrenamiento, el Profesor mira la imagen completa y dice: "¡Oye, mira este punto! Aunque parecía aburrido al principio, resultó ser importante después". El Estudiante aprende a prestar atención a esos puntos antes de eliminar cualquier cosa. Esto permite que el Estudiante sea rápido sin necesidad de ver la imagen completa cada vez. Una vez terminado el entrenamiento, el Profesor desaparece y el Estudiante toma el mando, funcionando de forma superrápida.

Los Resultados: Rápido y Preciso

Los investigadores probaron KeepAD en 13 bancos de pruebas diferentes, que van desde piezas industriales (como láminas de metal y placas de circuitos) hasta imágenes médicas (como escaneos cerebrales y radiografías).

Velocidad: KeepAD es un demonio de la velocidad. Redujo el número de tokens que la IA tenía que procesar a menos del 20% de la cantidad original. En el escenario más agresivo, fue 7.9 veces más rápido que el método más fuerte basado en CLIP (un famoso modelo de IA).
Precisión: A pesar de desechar tanta información, no perdió los defectos. La caída en la precisión fue mínima, menos de 2.7 puntos porcentuales en promedio. En muchos casos, fue casi tan preciso como la versión lenta y completa.
Fiabilidad: El sistema logró evitar "fallos totales" (donde un defecto es completamente eliminado). La etapa de "Preservación de Cobertura" al principio fue clave para esto, asegurando que ningún defecto diminuto se perdiera en el proceso.

Por Qué Es Importante

Este artículo no solo sugiere una nueva forma de hacer que la IA sea más rápida; resuelve un problema específico y peligroso donde la velocidad suele tener un costo en términos de seguridad. Al demostrar que se pueden podar (eliminar) la mayoría de los datos sin perder la "aguja" crítica, KeepAD hace posible ejecutar la detección de defectos de alto nivel en sistemas del mundo real que necesitan ser rápidos, como líneas de ensamblaje o el cribado médico de emergencia. Demuestra que con la estrategia adecuada —siendo cuidadoso al principio y listo al final— puedes tener tu pastel (velocidad) y comértelo también (precisión).

Resumen Técnico: KeepAD – Poda de Tokens con Preservación de Defectos para la Detección de Anomalías Zero-Shot Eficiente

1. Planteamiento del Problema

La detección de anomalías visuales zero-shot (ZSAD) ha avanzado significativamente utilizando Modelos de Visión-Lenguaje (VLMs) y Vision Transformers (ViTs). Sin embargo, los métodos existentes suelen realizar un cómputo denso sobre todos los parches de imagen (tokens) en cada capa del Transformer. Este enfoque es ineficiente debido a que:

Esparcidad de Datos: En escenarios del mundo real, las imágenes anómalas son raras y, dentro de una imagen anómala, la evidencia decisiva (defectos) suele ocupar una región pequeña y localizada.
Riesgo de Poda Asimétrica: A diferencia de la clasificación genérica de imágenes donde descartar tokens no dominantes es aceptable, la detección de anomalías enfrenta una asimetría crítica. Retener tokens redundantes normales incurre en un desperdicio computacional, pero eliminar un token anómalo —incluso uno sutil— puede borrar irreversiblemente la única evidencia necesaria para la detección y localización.
La Paradoja de la Poda Temprana: La poda de las capas iniciales ofrece los mayores ahorros computacionales, pero las representaciones superficiales carecen de la fiabilidad semántica para distinguir defectos sutiles de variaciones de textura normales. Por el contrario, las capas más profundas proporcionan pistas de anomalía fiables pero dejan menos cómputo por ahorrar.

Los métodos actuales de poda de tokens para clasificación o generación son inadecuados para ZSAD porque priorizan la semántica dominante, lo que podría descartar los tokens esparcidos e inconspicuos que constituyen la anomalía.

2. Metodología: KeepAD

Los autores proponen KeepAD, un marco de poda de tokens con preservación de defectos diseñado para navegar el riesgo de poda asimétrica y la paradoja de la poda temprana. El método opera sobre un backbone CLIP ViT congelado (p. ej., ViT-L/14@336px) y emplea un proceso de entrenamiento de dos etapas seguido de una única pasada de inferencia dispersa.

2.1 Entrenamiento de Dos Etapas

Etapa 1 (Entrenamiento del Detector Denso): Se entrena un cabezal de anomalía ligero sobre el backbone ViT congelado. Este cabezal aprende prototipos normales y de anomalía en capas intermedias. Crucialmente, produce una señal de profesor "denso-a-disperso": una pasada sin podar genera prioris de anomalía de capas profundas que sirven como objetivos de supervisión para los selectores de poda.
Etapa 2 (Entrenamiento del Selector): El backbone y el cabezal permanecen congelados. Se insertan dos selectores de tokens ligeros en capas específicas (L8 y L12) y se entrenan para enrutar tokens. El detector en sí mismo nunca se actualiza.

2.2 Poda Progresiva con Preservación de Defectos

KeepAD adapta su estrategia de poda basándose en la profundidad de la red:

Etapa Temprana (L8): Selección de Preservación de Cobertura
- Desafío: La semántica de la anomalía es poco fiable; los prototipos aún no son discriminativos.
- Estrategia: El selector evita la selección global top-k, que podría concentrar los tokens en regiones normales dominantes. En su lugar, particiona la cuadrícula de la imagen en bloques de $2 \times 2$ y garantiza que se retenga al menos un token representativo de cada bloque no vacío.
- Mecanismo de Rescate: Cualquier presupuesto de tokens restante se asigna determinísticamente a "candidatos de rescate" (p. ej., tokens de alta puntuación de celdas de cuadrícula distintas) para evitar la pérdida total de defectos pequeños o aislados.
Etapa Profunda (L12): Selección Adaptativa a la Anomalía
- Desafío: La semántica de la anomalía es fiable, pero el cómputo debe reducirse agresivamente.
- Estrategia: El selector combina la saliencia visual con las afinidades hacia los prototipos de normalidad y anomalía congelados aprendidos en la Etapa 1.
- Presupuesto Adaptativo a la Imagen: En lugar de una ratio de poda fija, el presupuesto de tokens se ajusta dinámicamente por imagen basándose en la distribución de la evidencia de la anomalía. Las imágenes con anomalías pronunciadas reciben un mayor presupuesto de tokens, mientras que las imágenes con poca evidencia (probablemente normales) se podan más agresivamente.
- Poda a Nivel de Bloque: Para mantener la coherencia espacial, L12 selecciona bloques enteros de tokens en lugar de tokens aislados.

2.3 Auto-destilación Denso-a-Disperso

Para abordar la dificultad de entrenar el selector superficial (L8) sin un flujo de gradiente directo desde la pérdida de detección final, KeepAD utiliza la auto-destilación. La rama "profesor" congelada y sin podar proporciona respuestas de anomalía de capas profundas como objetivos de preservación explícitos para el selector "estudiante" superficial. Esto guía al enrutador temprano para retener tokens que probablemente sean relevantes para la anomalía en capas más profundas, sin añadir sobrecarga de inferencia.

2.4 Recuperación Densa e Inferencia

Durante la inferencia, solo se procesan los tokens podados de forma estricta. Para restaurar la localización densa:

Recuperación Espacial: Las posiciones de los parches descartados se mapean a su token superviviente más cercano en la cuadrícula original. La respuesta de anomalía del superviviente se copia a la posición descartada.
Integridad de la Puntuación: Crucialmente, las puntuaciones de anomalía a nivel de imagen se agregan únicamente a partir de los supervivientes físicos. Las posiciones recuperadas se utilizan únicamente para la generación de mapas a nivel de píxel y no influyen en la clasificación final de la imagen, evitando que la evidencia artificial infle las puntuaciones.

3. Contribuciones Clave

Formulación del Problema: El artículo identifica y formaliza el "riesgo de poda asimétrica" y la "paradoja de la poda temprana" específicos de la detección de anomalías zero-shot, distinguiéndolos de las tareas estándar de poda de tokens.
Marco KeepAD: Un mecanismo de enrutamiento progresivo que transiciona de una selección espacial de cobertura conservadora en las capas superficiales a una poda adaptativa a la imagen y guiada por prototipos en las capas profundas.
Estrategia de Entrenamiento: La introducción de la auto-destilación denso-a-disperso para supervisar la selección de tokens superficial mediante prioris de anomalía de capas profundas, permitiendo un entrenamiento efectivo sin reentrenar el backbone.
Validación Empírica: Evaluación extensiva en 13 benchmarks (6 industriales, 7 médicos) demostrando que KeepAD puede reducir la retención de tokens a menos del 20% manteniendo una precisión competitiva.

4. Resultados Experimentales

Evaluado en una única GPU NVIDIA RTX 5090, KeepAD demuestra ganancias significativas de eficiencia con una degradación mínima de la precisión:

Rendimiento (Throughput): Logra una aceleración de hasta 7.9× respecto al baseline más fuerte basado en CLIP (Bayes-PFL) y una aceleración de 1.7× respecto al baseline más fuerte basado en ViT (VisualAD) con una precisión competitiva.
Precisión: En el punto de operación más agresivo (reteniendo ~14–18% de los tokens), la degradación promedio en el rendimiento de nivel de imagen (I-AUROC) y nivel de píxel (P-AUROC) se limita a dentro de 2.7 puntos porcentuales.
Robustez: El método se transfiere eficazmente entre dominios industriales (MVTec-AD, VisA) y médicos (OCT, MRI, Endoscopia) sin adaptación específica al dominio.
Perspectivas de Ablación:
- Eliminar la poda en L8 causa una caída significativa en la velocidad (6.5–8.3 img/s), confirmando la poda temprana como el principal motor de eficiencia.
- Reemplazar la selección de preservación de cobertura con la selección top-k global aumenta drásticamente la "Tasa de Omisión Completa" (CMR), demostrando la necesidad de las restricciones de cobertura local.
- El presupuesto adaptativo a la imagen supera al presupuesto fijo o aleatorizado, particularmente en la reducción de la CMR.

5. Significado y Reivindicaciones

El artículo afirma que KeepAD logra reconciliar los objetivos conflictivos de reducción agresiva de tokens y preservación de evidencia de defectos esparcida. Al formular la selección de tokens como un problema de enrutamiento de alta recuperación y consciente de la anomalía, KeepAD evita los fallos de "omisión completa" comunes en los métodos de poda genéricos.

Los autores enfatizan que su enfoque no es meramente una optimización de velocidad, sino una adaptación estructural al perfil único de esparcidad y riesgo de la detección de anomalías. El método logra una aceleración de inferencia sustancial (hasta 7.9×) manteniendo un rendimiento de detección y localización comparable a los modelos densos de estado del arte no podados, lo que lo convierte en una solución viable para sistemas prácticos de detección de anomalías zero-shot en tiempo real.