💻 computer science

CDGP: Contrastive Dual Gaussian Processes for Weakly Supervised Anomaly Segmentation

El artículo propone los Procesos Gaussianos Duales Contrastivos (CDGP, por sus siglas en inglés), un marco de supervisión débil que combina un estadístico de dominancia posterior derivado de procesos gaussianos duales con residuos de reconstrucción jerárquica para lograr una segmentación de anomalías de vanguardia sin requerir anotaciones a nivel de píxel.

Autores originales: Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

Publicado 2026-08-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el bullicioso mundo de la fabricación moderna, las máquinas tienen cada vez más la delicada tarea de inspeccionar productos en busca de fallos. Una fábrica puede producir miles de componentes idénticos cada hora, y el objetivo es detectar el componente defectuoso, que es poco común, antes de que llegue a un cliente. Esto requiere dos cosas: decidir si un producto está roto y localizar exactamente dónde está la rotura. Durante décadas, la forma más fiable de enseñar a las computadoras a hacer esto ha sido mostrarles miles de ejemplos perfectos y dejar que aprendan cómo es lo "normal". Cuando la computadora ve algo que se desvía de ese patrón normal, lo marca como un defecto. Este enfoque funciona bien porque los artículos perfectos son fáciles de encontrar, mientras que los rotos son raros y variados. Sin embargo, este método tiene un punto ciego. A menudo le cuesta distinguir entre una grieta real y una textura inusual e inofensiva que resulta que se ve un poco extraña. Ve ambas como "no normales" y activa una alarma para ambas, lo que genera confusión y pérdida de tiempo.

Los investigadores se han preguntado durante mucho tiempo si podrían mejorar esto mostrando a la computadora ejemplos de artículos rotos, incluso si no sabían exactamente dónde estaban las grietas. En el mundo real, las fábricas suelen saber qué lote de productos falló un control de calidad, aunque no se hayan tomado el tiempo de dibujar un mapa de cada fallo individual. Este es el desafío del aprendizaje de "supervisión débil": utilizar la etiqueta general de "defectuoso" para enseñar a la máquina a encontrar la ubicación específica del error sin un mapa detallado. Un nuevo estudio introduce un método llamado Procesos Gaussianos Duales Contrastivos, o CDGP (por sus siglas en inglés), que aborda este problema cambiando la forma en que la computadora compara lo bueno y lo malo. En lugar de simplemente preguntar qué tan extraña parece una imagen, el sistema hace una pregunta más directa: ¿se parece esta parte de la imagen más a un defecto o más a un producto normal?

Los investigadores construyeron un sistema que trata cada pequeña sección de una imagen como una candidata a ser normal o defectuosa. Imagine la imagen como una cuadrícula de diminutos azulejos. Para cada azulejo, el sistema ejecuta dos modelos mentales separados simultáneamente. Un modelo está entrenado para predecir cómo debería verse un azulejo normal, mientras que el otro está entrenado para predecir cómo debería verse un azulejo defectuoso. Estos modelos no solo están adivinando; están construidos sobre un marco estadístico que les permite expresar no solo una predicción, sino también qué tan seguros están de esa predicción. El sistema luego compara las dos predicciones para cada uno de los azulejos. Si el modelo "defectuoso" es mucho más propenso a estar en lo cierto que el modelo "normal", y el sistema tiene confianza en esa diferencia, ese azulejo se marca como un fallo. Este enfoque es poderoso porque obliga a la computadora a sopesar la evidencia de un defecto contra la evidencia de la normalidad, en lugar de simplemente buscar cualquier cosa que parezca extraña.

Para que esto funcione sin mapas detallados de dónde están los defectos, el equipo tuvo que ser ingenioso sobre cómo iniciar el entrenamiento. Comenzaron escaneando las imágenes defectuosas y seleccionando los azulejos que parecían más diferentes de los normales. Estos se convirtieron en los "candidatos" iniciales para que el modelo defectuoso aprendiera. Fue un punto de partida ruidoso, ya que algunos de estos candidatos eran simplemente partes normales que casualmente se veían un poco diferentes, pero el sistema fue diseñado para aprender a través del proceso. A medida que el entrenamiento continuaba, el sistema utilizaba la etiqueta simple de "defectuoso" o "normal" para toda la imagen para refinar su comprensión. Aprendió a elevar las predicciones para el modelo defectuoso en las áreas que realmente contenían fallos, mientras mantenía fuerte el modelo normal en las áreas de fondo. Este proceso permitió al sistema agudizar gradualmente su enfoque, separando los defectos reales del ruido de fondo sin haber visto jamás un solo contorno dibujado a mano de una grieta.

El estudio también reconoció que mirar el panorama general no siempre es suficiente para encontrar grietas finas o capilares. Para resolver esto, añadieron una segunda capa de inspección que se centra en la reconstrucción. Esta parte del sistema intenta reconstruir una versión perfecta de la imagen a partir de una versión ligeramente dañada. Si el sistema tiene dificultades para reconstruir un área específica, sugiere que esa área era inusual. Al combinar la comparación directa de los dos modelos con este chequeo de reconstrucción, el sistema obtiene una dosis doble de evidencia. Los investigadores probaron este método en varios conjuntos de datos industriales estándar, incluyendo MVTec AD 2, KSDD2 y VisA. Los resultados fueron sorprendentes. En el conjunto de datos MVTec AD 2, que es un referente riguroso para este tipo de trabajo, el nuevo método superó a todos los demás enfoques probados, ocupando el primer lugar en cada métrica utilizada para medir qué tan bien el sistema podía localizar defectos. También se desempeñó al nivel más alto o de manera muy competitiva en los otros dos conjuntos de datos.

Lo que hace que este hallazgo sea particularmente significativo es cómo maneja la incertidumbre. El sistema no solo emite una puntuación; calcula una medida estandarizada de qué tan probable es un defecto frente a la normalidad, teniendo en cuenta qué tan seguros están los modelos. Esto evita que el sistema sea engañado por el ruido aleatorio. Los investigadores también demostraron que esta mejora no se debió simplemente a una configuración más compleja, sino específicamente a la forma en que contrastaron los dos modelos y calibraron su confianza utilizando únicamente los datos de entrenamiento. Verificaron que el sistema funciona sin necesidad de que un humano dibuje cuadros alrededor de los defectos durante la fase de aprendizaje, confiando únicamente en las etiquetas simples de "bueno" o "malo" que las fábricas ya poseen.

El estudio concluye que, al modelar explícitamente tanto las posibilidades normales como las defectuosas y compararlas directamente, las máquinas pueden aprender a encontrar fallos con mucha más precisión que antes. Este enfoque cierra la brecha entre la abundancia de datos normales y la escasez de mapas de defectos detallados. Sugiere que en entornos industriales, donde el tiempo y los recursos para la anotación detallada son limitados, podemos lograr una inspección de alta precisión enseñando a las computadoras a sopesar la evidencia de un fallo contra la evidencia de la normalidad, en lugar de simplemente buscar cualquier cosa que destaque. El método se presenta como una solución robusta que se sitúa en la cima del rendimiento actual de los estándares de referencia, ofreciendo un camino práctico hacia el control de calidad automatizado en la fabricación.

Declaración del Problema

La inspección visual industrial requiere tanto detectar si un producto es defectuoso como localizar las regiones de defectos específicos. Si bien la segmentación de anomalías a nivel de píxel es crucial para tareas posteriores como el diagnóstico y el control de calidad, la recopilación de máscaras densas a nivel de píxel es costosa y lenta en entornos de fabricación reales. En consecuencia, la mayoría de los métodos existentes dependen de un paradigma de aprendizaje de "solo normalidad", entrenando exclusivamente con imágenes libres de defectos e identificando las anomalías como desviaciones de la normalidad.

Sin embargo, el paradigma de solo normalidad tiene limitaciones:

Ambigüedad: Tanto los defectos reales como las regiones inusuales pero normales pueden desviarse significamente de la distribución normal aprendida, recibiendo puntuaciones de anomalía similaresmente altas.
Desplazamiento de la Supervisión: Aunque evita las máscaras de píxeles, el entrenamiento de solo normalidad sigue requiriendo conjuntos de datos curados libres de defectos, desplazando la carga de la anotación hacia la curación de conjuntos de datos.
Brecha de Supervisión Débil: En muchos procesos, se dispone de etiquetas a nivel de imagen (normal/defectuosa) pero no de máscaras de píxeles. Descartar las imágenes defectuosas en estos escenarios supone perder información útil sobre la apariencia de la anomalía.
Desafío de Localización: Los enfoques de supervisión débil estándar (por ejemplo, utilizando Mapas de Activación de Clase de clasificadores de imágenes) suelen resaltar contextos discriminativos suficientes para el reconocimiento a nivel de imagen, pero no logran alinearse con las regiones de defectos reales, especialmente dado que las anomalías industriales son heterogéneas y carecen de categorías visuales coherentes.

Metodología: Procesos Gaussianos Duales Contrastivos (CDGP)

CDGP es un marco de trabajo de supervisión débil que modela las distribuciones predictivas tanto de normalidad como de anomalía sobre tokens densos multiescala. En lugar de puntuar las desviaciones de la normalidad, puntúa la dominancia de la posterior de una función de anomalía sobre una función de normalidad.

1. Representación de Tokens Densos Multiescala

El método utiliza un backbone WideResNet-50 para extraer mapas de características de tres etapas. Estos se proyectan a una dimensión latente compartida, se normalizan y se alinean a una única resolución espacial para formar una cuadrícula densa de tokens de norma unitaria ( $t_{hw}$ ).

2. Inicialización de Candidatos de Inducción Difíciles

CDGP emplea Procesos Gaussianos (GPs) dispersos con puntos de inducción fijos.

GP Normal ( $Z_N$ ): Los tokens de inducción se seleccionan de imágenes normales mediante un muestreo voraz de punto más lejano (farthest-point sampling) para cubrir el espacio de tokens nominal.
GP de Anomalía ( $Z_A$ ): Dado que las imágenes defectuosas contienen mayoritariamente un fondo normal, el muestreo directo es ineficaz. En su lugar, los tokens de las imágenes defectuosas se puntúan mediante su distancia de coseno respecto a $Z_N$ . El 20% de los tokens más disímiles forma un "pool de candidatos ruidosos", a partir del cual se selecciona $Z_A$ mediante muestreo de punto más lejano. Esto sirve como un prior de inicialización, no como una pseudomáscara.

3. Evidencia de Dual-GP Contrastiva

CDGP modela la evidencia de normalidad ( $f_N$ ) y anomalía ( $f_A$ ) como dos funciones GP dispersas sobre el espacio de tokens compartido utilizando un kernel lineal ( $k(t, t') = t^\top t'$ ).

Distribuciones Predictivas: Para cada token, el modelo aprende una media predictiva ( $\mu$ ) y una varianza ( $\sigma^2$ ) para ambas clases.
Estadístico de Dominancia de la Posterior: La métrica central es la diferencia estandarizada entre las distribuciones predictivas de anomalía y normalidad:
$g(t) = \frac{\mu_A(t) - \mu_N(t)}{\sqrt{\sigma^2_A(t) + \sigma^2_N(t)}}$
Este estadístico proporciona un mapa semántico espacial donde un token es anómalo si la función de anomalía es probablemente superior a la función normal, estandarizada por la incertidumbre conjunta.

4. Entrenamiento de Supervisión Débil

El núcleo de Dual-GP se entrena de extremo a extremo utilizando etiquetas a nivel de imagen mediante tres pérdidas complementarias:

MIL de Margen Máximo: Asegura que las imágenes defectuosas tengan al menos un token con un margen positivo alto ( $\mu_A - \mu_N$ ) y que las imágenes normales no tengan márgenes positivos.
Compacidad de Normalidad Normalizada por Covarianza: Fomenta una evidencia alta normalizada para el GP normal sobre imágenes nominales.
Atracción de Anomalía Normalizada por Covarianza: Refuerza la evidencia de anomalía normalizada en las ubicaciones identificadas como anómalas por el margen actual (utilizando un mecanismo de atención suave).

5. Evidencia de Residuo Normal Jerárquico

Para abordar la limitación de que la evidencia de GP a nivel de token puede no resolver adecuadamente defectos delgados, CDGP incorpora una rama de estudiante inverso de solo normalidad. Una red maestra congelada procesa imágenes normales limpias, mientras que un estudiante reconstruye la jerarquía de la maestra a partir de entradas corruptas. Los residuos de reconstrucción de coseno proporcionan una precisión espacial de escala fina complementaria a la evidencia semántica del GP.

6. Calibración e Inferencia

Fusión: El mapa de dominancia del GP y el mapa de residuo de reconstrucción se estandarizan utilizando estadísticas de un subconjunto de calibración normal mantenido aparte y se fusionan mediante una suma ponderada.
Confianza a Nivel de Imagen: La evidencia espacial fusionada se agrupa (log-sum-exp) para generar una puntuación de anomalía a nivel de imagen, la cual se calibra mediante un regresor logístico entrenado con etiquetas a nivel de imagen.
Salida Final: El mapa de anomalía final combina la evidencia espacial calibrada con la puntuación de confianza a nivel de imagen, asegurando que las imágenes juzgadas como probablemente normales supriman todas las puntuaciones de píxeles.

Contribuciones Clave

Formulación: El artículo formula la segmentación de anomalías de supervisión débil como un problema de dominancia de la posterior entre funciones predictivas de normalidad y anomalía dispersas sobre tokens densos.
Estrategia de Entrenamiento: Introduce una inicialización libre de máscaras y enriquecida con defectos, y un objetivo de tres pérdidas mínimas (MIL de margen máximo, compacidad de normalidad normalizada por covarianza y atracción de anomalía normalizada por covarianza) para entrenar el núcleo de Dual-GP.
Arquitectura Híbrida: Complementa la evidencia semántica del GP con residuos de reconstrucción normal jerárquica y calibración de solo entrenamiento para lograr predicciones espacialmente precisas sin ajuste en tiempo de prueba.
Rendimiento: Bajo una división de supervisión débil emparejada, CDGP logra resultados de vanguardia en MVTec AD 2 y resultados competitivos en KSDD2 y VisA.

Resultados Experimentales

Los autores evaluaron CDGP en MVTec AD 2, KSDD2 y VisA.

MVTec AD 2: CDGP ocupó el primer lugar entre todos los métodos evaluados (tanto de solo normalidad como de supervisión a nivel de imagen) en las tres métricas de localización (AUROC-P, AUPRO@0.3, AUPRO@0.05), superando al segundo mejor método por márgenes significativos (por ejemplo, +12.7 puntos en AUPRO@0.3).
KSDD2 y VisA: CDGP logró un rendimiento de localización de primer lugar o competitivo, situándose entre los dos mejores métodos en todas las métricas.
Estudios de Ablación: Las ablaciones factorizadas confirmaron que tanto la ruta espacial del GP como la ruta de calibración a nivel de imagen contribuyen de manera complementaria. El artículo señala que la ganancia de la dominancia de la posterior (estandarización por varianza) sobre la simple puntuación de margen de la media es un refinamiento modesto, lo que sugiere que el valor principal reside en la construcción coherente de la media y la varianza de las variables de inducción, más que en la expresividad no lineal.

Significado y Reivindicaciones

El artículo afirma que CDGP aprovecha con éxito las etiquetas a nivel de imagen para aprender la segmentación de anomalías sin requerir máscaras de píxeles ni ajuste en tiempo de prueba. Su importancia radica en:

Abordar el Problema de "Inusual-pero-Normal": Al modelar explícitamente las distribuciones de normalidad y anomalía, evita la ambigüedad de la puntuación de normalidad unidireccional.
Supervisión Débil Eficiente: Utiliza imágenes defectuosas (que a menudo se descartan en los métodos de solo normalidad) para aprender las características de la anomalía, incluso sin conocer la ubicación exacta de los defectos.
Robustez: El uso de la calibración de solo entrenamiento y la combinación de evidencia semántica (GP) y estructural (reconstrucción) permite una localización robusta a través de diversos conjuntos de datos industriales.
Modestia sobre las Reivindicaciones de GP: Los autores declaran explícitamente que el kernel lineal hace que el margen de entrenamiento sea lineal; la ventaja proviene de la varianza predictiva dependiente del token (incertidumbre) proporcionada por la formulación del GP, más que de una superioridad universal sobre reparametrizaciones equivalentes como modelos lineales heterocedásticos diseñados. La "reivindicación de GP" se enmarca como una construcción compacta de media e incertidumbre, limitada por controles de cabezal lineal emparejados.