Boxes2Pixels: Learning Defect Segmentation from Noisy SAM Masks

1. Problema y Motivación

La inspección visual de infraestructuras críticas (como las palas de turbinas eólicas) es vital para el mantenimiento predictivo. Sin embargo, la implementación de sistemas automatizados se ve limitada por la escasez de anotaciones a nivel de píxel, que son costosas y requieren expertos.

• Solución común: Utilizar anotaciones de cuadros delimitadores (bounding boxes) y convertirlas en máscaras pseudo-etiquetadas usando modelos fundacionales como SAM (Segment Anything Model).
• El desafío: En entornos industriales, SAM no es perfecto. Sus predicciones sobre superficies industriales presentan ruido sistemático:
  • Falsos positivos: Hallucinan estructuras de fondo (sombras, texturas) como defectos.
  • Falsos negativos: Pierden defectos delgados, de bajo contraste o dispersos dentro del cuadro delimitador.
• Limitación actual: Los modelos de segmentación convencionales tienden a sobreajustarse a estos errores sistemáticos de SAM, heredando sus fallos en lugar de corregirlos.

2. Metodología: Boxes2Pixels

El artículo propone Boxes2Pixels, un marco de destilación centrado en los datos que trata a SAM como un "profesor ruidoso" en lugar de una fuente de verdad absoluta. El objetivo es entrenar una red estudiante ligera que aprenda de las cajas y corrija los errores de las máscaras generadas por SAM.

Arquitectura del Estudiante (Jerárquica)

El modelo estudiante se basa en una arquitectura híbrida para combinar estabilidad semántica y detalle espacial:

1. Rama Semántica Global: Utiliza DINOv2 (ViT-S/14) con pesos congelados. Solo se optimizan los sesgos y capas de normalización mediante BitFit. Esto proporciona representaciones semánticas estables que son menos sensibles a artefactos de alta frecuencia y bordes espurios.
2. Rama de Detalle Local: Una rama CNN ligera que extrae características espaciales de alta frecuencia directamente de la imagen RGB, preservando estructuras finas (como grietas delgadas) que los transformadores podrían perder.
3. Fusión: Las características de ambas ramas se concatenan y fusionan mediante un bloque "Feature Mixer" antes de pasar a las cabezas de predicción.
4. Cabezas de Predicción:
   • Cabeza Binaria: Predice la presencia de defecto vs. fondo (localización estructural).
   • Cabeza Semántica Fina: Predice las clases específicas de defectos (ej. daño, suciedad).

Funciones de Pérdida y Mecanismos de Corrección

Para manejar el ruido de las pseudo-etiquetas, se introducen dos mecanismos clave:

1. Pérdida Dice Asimétrica (Cabeza Binaria): Se utiliza una pérdida Dice asimétrica que penaliza menos los falsos positivos ($\beta < 1$), sesgando la optimización hacia el recall (detectar todos los defectos posibles), lo cual es crítico en inspección industrial.
2. Autocorrección Online Unilateral (Cabeza Semántica): Este es el núcleo de la robustez. El mecanismo permite que el estudiante ignore la supervisión del profesor (SAM) en regiones de fondo si el estudiante predice un defecto con alta confianza (superando un umbral $\tau$).
   • Lógica: Si SAM marca un píxel como "fondo" pero el estudiante está muy seguro de que es un "defecto", se relaja la supervisión para permitir la corrección. Esto ayuda a recuperar defectos que SAM o las anotaciones de caja omitieron (falsos negativos).

3. Contribuciones Clave

1. Pipeline de destilación centrado en datos: Un marco para aprender segmentación de píxeles a partir de anotaciones de cajas utilizando pseudo-etiquetas ruidosas de modelos fundacionales.
2. Arquitectura Estudiante Jerárquica: Combina características congeladas de DINOv2 (estabilidad semántica) con una rama CNN local (detalle) y una pérdida de autocorrección unilateral para aprender bajo ruido sistemático.
3. Evaluación Exhaustiva: Validación en un conjunto de datos de inspección de turbinas eólicas, demostrando una mayor robustez y recall en comparación con baselines estándar entrenados bajo la misma supervisión débil.

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos de inspección de turbinas eólicas (aprox. 13,000 imágenes) con anotaciones de cajas YOLO. Se creó un conjunto de prueba con máscaras de verdad fundamental a nivel de píxel para una evaluación justa.

• Rendimiento General: Boxes2Pixels superó a los baselines más fuertes (U-Net, DeepLabV3, SegFormer) entrenados bajo la misma supervisión débil.
  • Mejora en mIoU de anomalías: +6.97 puntos sobre el mejor baseline.
  • Mejora en IoU Binario: +9.71 puntos.
• Impacto de la Autocorrección: La activación de la autocorrección aumentó el Recall Binario en +18.56 puntos, demostrando su capacidad para recuperar defectos que el profesor (SAM) había omitido.
• Eficiencia:
  • El modelo utiliza un 80% menos de parámetros entrenables (5.6M vs ~20-27M en baselines) gracias a la adaptación BitFit de DINOv2.
  • Logra un rendimiento en tiempo real (>160 FPS en NVIDIA H100) con una latencia de inferencia de 6.20 ms.

5. Significado e Impacto

El trabajo demuestra que no es necesario tratar a los modelos fundacionales como oráculos perfectos. En su lugar, se puede construir un marco de aprendizaje robusto que explota las fortalezas de estos modelos (generación rápida de pseudo-máscaras) mientras mitiga activamente sus debilidades (ruido sistemático) mediante una arquitectura diseñada y mecanismos de corrección de pérdida.

Esto es crucial para la industria, ya que permite:

• Reducir drásticamente la dependencia de anotaciones manuales costosas.
• Desplegar modelos de segmentación precisos y ligeros en entornos con recursos computacionales limitados.
• Mejorar la seguridad al priorizar la detección de defectos (alto recall) incluso en presencia de ruido en las etiquetas de entrenamiento.

En resumen, Boxes2Pixels establece un nuevo estándar para la segmentación de defectos industriales bajo supervisión débil, demostrando que el uso inteligente de pseudo-etiquetas ruidosas puede superar a la generación de etiquetas más limpias si el proceso de entrenamiento está diseñado para ser robusto.