TinyGLASS: Real-Time Self-Supervised In-Sensor Anomaly Detection

Resumen Técnico: TinyGLASS

1. El Problema

En la manufactura industrial moderna, el control de calidad visual es crucial, pero enfrenta dos desafíos principales:

• Escasez de datos etiquetados: En entornos de "alta mezcla y bajo volumen" (muchos productos diferentes, pocas unidades de cada uno), es difícil obtener muestras defectuosas etiquetadas para entrenar modelos supervisados.
• Limitaciones de despliegue en el borde (Edge): Las soluciones de detección de anomalías más avanzadas (como GLASS) suelen requerir grandes cantidades de memoria y potencia computacional, lo que impide su ejecución en plataformas de borde con recursos limitados o directamente en sensores de imagen inteligentes. Esto crea una brecha entre el alto rendimiento de los modelos y su viabilidad práctica en líneas de producción reales.

2. Metodología

El trabajo propone TinyGLASS, una adaptación ligera del marco de trabajo GLASS (Self-Supervised Anomaly Detection) diseñada específicamente para la computación "in-sensor" (dentro del sensor).

• Arquitectura y Optimización:

  • Backbone Compacto: Se reemplaza el backbone original WideResNet-50 (que genera embeddings de 1536 dimensiones) por una ResNet-18 más compacta (embeddings de 384 dimensiones). Esto reduce drásticamente la huella de memoria.
  • Adaptaciones para Hardware: Se eliminan operaciones dinámicas (como el redimensionamiento de tensores y las devoluciones de tuplas) para garantizar la compatibilidad con el Model Compression Toolkit de Sony. Esto permite el rastreo estático del gráfico y la cuantización.
  • Cuantización: El modelo se cuantiza a INT8 (8 bits) utilizando las herramientas de Sony, permitiendo su ejecución eficiente en el sensor.
  • Componentes: La arquitectura mantiene dos componentes clave:
    1. Feature Extractor: Extrae características de nivel 2 y 3.
    2. Discriminator: Clasifica las características como normales o anómalas.
  • Objetivo de Entrenamiento: Utiliza un enfoque auto-supervisado (solo datos normales). La función de pérdida combina Binary Cross-Entropy (BCE) y Focal Loss para manejar el desequilibrio de clases entre regiones normales y defectuosas. Se utilizan dos métricas: Global Anomaly Score (GAS) para desviaciones generales y Local Anomaly Score (LAS) para anomalías sutiles.

• Plataforma de Hardware:

  • El modelo se despliega en el Sony IMX500, un sensor de visión inteligente de 12.3 MP que integra un acelerador de redes neuronales y capacidades de inferencia AI on-chip.
  • Esto permite realizar la inferencia directamente en el sensor, reduciendo el ancho de banda, la latencia y el consumo energético, ya que solo se envían puntuaciones de anomalía o mapas de calor, no las imágenes completas.

3. Contribuciones Clave

1. TinyGLASS: Introducción de un modelo de detección de anomalías auto-supervisado ultra-ligero, capaz de ejecutarse en tiempo real dentro de un sensor de imagen.
2. Compresión y Eficiencia: Logra una compresión de parámetros de 8.7x (de 24.9M a ~2.85M parámetros activos) mediante el uso de ResNet-18 y técnicas de cuantización INT8, manteniendo un rendimiento competitivo.
3. Primera Demostración In-Sensor: Es la primera demostración de detección de anomalías visuales en tiempo real (20 FPS) dentro de un sensor de borde con restricciones de memoria de 8 MB.
4. Nuevos Datos y Evaluación de Robustez:
   • Introducción del MMS Dataset, un conjunto de datos industrial personalizado capturado tanto con microscopio de alta resolución como con el sensor IMX500 para evaluar la transferencia de dominio.
   • Análisis exhaustivo de la robustez del modelo frente a datos de entrenamiento contaminados (inyección de anomalías en el conjunto de entrenamiento).

4. Resultados Experimentales

• Rendimiento en MVTec-AD:
  • TinyGLASS alcanza un 94.2% de AUROC a nivel de imagen (I-AUROC) y un 92.9% a nivel de píxel (P-AUROC).
  • Esto representa una caída de solo 7.7 puntos porcentuales respecto al modelo original GLASS (WideResNet-50), que alcanza un 99.1%, pero con una fracción de los recursos.
• Rendimiento en el Dataset MMS:
  • Al entrenar y probar en imágenes de microscopio, el modelo alcanza un 88.9% de I-AUROC.
• Eficiencia del Sistema (Sony IMX500):
  • Velocidad: 20 FPS (cuadros por segundo) en tiempo real.
  • Memoria: Funciona dentro del límite estricto de 5.41 MB de memoria total (bien por debajo del límite de 8 MB del sensor).
  • Consumo Energético: 4.0 mJ por inferencia.
  • Eficiencia Energética: 470 GMAC/J (Giga Multiplicaciones-Acumulaciones por Julio).
  • Operaciones: Requiere solo 1.88 G MACs por inferencia para imágenes de 256x256.
• Robustez a Contaminación:
  • El modelo mantiene un rendimiento estable incluso cuando el conjunto de entrenamiento está contaminado con anomalías. Con una contaminación del 30%, la I-AUROC en el dataset MVTec-AD (categoría alfombra) baja de 95.6% a 88.3%, demostrando resiliencia ante datos imperfectos.

5. Significado e Impacto

El trabajo de TinyGLASS es significativo porque cierra la brecha entre los modelos de IA de alto rendimiento y las limitaciones físicas de los dispositivos de borde industriales.

• Viabilidad Industrial: Permite la implementación de control de calidad automatizado en líneas de producción de bajo presupuesto y alta variedad, sin depender de servidores en la nube o hardware costoso.
• Eficiencia Energética y de Ancho de Banda: Al realizar la inferencia "in-sensor", se elimina la necesidad de transmitir grandes volúmenes de datos de video, lo cual es crítico para aplicaciones de IoT industrial (AIoT) y sistemas autónomos.
• Escalabilidad: La metodología demuestra que es posible adaptar arquitecturas complejas de visión por computadora para dispositivos extremadamente restringidos sin sacrificar drásticamente la precisión, abriendo la puerta a la adopción masiva de la detección de anomalías en el borde.