TinyGLASS: Real-Time Self-Supervised In-Sensor Anomaly Detection

1. Problema e Contexto

A detecção de anomalias é fundamental para o controle de qualidade na indústria, especialmente em ambientes de "alta variedade e baixo volume" (high-mix-low-volume), onde a escassez de dados rotulados de defeitos torna o treinamento supervisionado inviável. Embora abordagens auto-supervisionadas recentes, como o GLASS, tenham demonstrado alto desempenho ao aprender padrões normais apenas com dados livres de defeitos, elas exigem recursos computacionais significativos. Isso impede sua implantação em plataformas de borda (edge) com restrições de memória e energia, que são comuns em pequenas e médias empresas. O desafio central é adaptar esses modelos complexos para execução em tempo real diretamente no sensor de imagem, sem depender de servidores externos.

2. Metodologia

O trabalho propõe o TinyGLASS, uma adaptação leve do framework GLASS projetada especificamente para computação in-sensor no sensor de visão inteligente Sony IMX500.

• Arquitetura Leve:
  • Substituição do backbone original WideResNet-50 (que gera embeddings de 1536 dimensões) por um ResNet-18 compacto (gerando embeddings de 384 dimensões).
  • Modificações no fluxo de dados para garantir compatibilidade com as ferramentas de compressão da Sony:
    • Eliminação de redimensionamento dinâmico de tensores e operações não suportadas.
    • Manutenção de representações de tensores 4D para evitar operações de flatten que violam restrições de grafos estáticos.
    • Concatenação de características intermediárias em um único tensor.
• Otimização para Implantação:
  • Uso do Sony Model Compression Toolkit para traçar o grafo estático e realizar a quantização INT8 (pesos e ativações).
  • Redução drástica do tamanho do modelo: apenas as camadas até a layer3 do ResNet-18 são executadas na inferência.
• Objetivo de Treinamento:
  • Mantém a estratégia de duas pontuações complementares: GAS (Global Anomaly Score) para desvios de nível de imagem e LAS (Local Anomaly Score) para discrepâncias localizadas.
  • Combina Binary Cross-Entropy Loss e Focal Loss para lidar com o desequilíbrio de classes.
  • Treinamento estritamente não supervisionado (apenas dados normais), com aumento de dados (rotação, jitter de cor, etc.).

3. Principais Contribuições

1. TinyGLASS: O primeiro modelo demonstrado de detecção de anomalias visuais em tempo real executado inteiramente in-sensor (dentro do próprio sensor de imagem).
2. Otimização de Recursos: Uma adaptação que permite a execução em dispositivos com restrições severas (8 MB de memória), alcançando uma compressão de parâmetros de 8,7x em relação ao GLASS original.
3. Novo Conjunto de Dados (MMS Dataset): Introdução de um dataset industrial personalizado capturado tanto com um microscópio de alta resolução quanto com o sensor IMX500, permitindo a avaliação de transferência de domínio e viabilidade de implantação na borda.
4. Análise de Robustez: Estudo detalhado sobre a resiliência do modelo quando os dados de treinamento são contaminados por amostras defeituosas (cenário realista de coleta imperfeita).

4. Resultados Experimentais

Os resultados foram validados no benchmark MVTec-AD e no dataset personalizado MMS:

• Desempenho de Detecção:
  • No MVTec-AD, o TinyGLASS (quantizado em INT8) alcançou 94,2% de AUROC no nível de imagem e 92,9% no nível de pixel.
  • Isso representa uma queda de apenas 7,7 pontos percentuais em relação ao GLASS original (99,1%), mas com uma redução massiva no tamanho do modelo.
  • No dataset MMS, atingiu 88,9% de AUROC.
• Eficiência e Desempenho de Sistema (Sony IMX500):
  • Velocidade: Operação em tempo real a 20 FPS.
  • Memória: O modelo cabe inteiramente nos 8 MB de memória disponíveis no sensor (5,41 MB de uso total).
  • Consumo de Energia: Extremamente eficiente, consumindo apenas 4,0 mJ por inferência e atingindo uma eficiência energética de 470 GMAC/J.
  • Operações: Requer apenas 1,88 G MACs (Multiply-Accumulate Operations) para imagens de entrada de 256x256.
• Robustez à Contaminação:
  • O modelo manteve desempenho estável mesmo com até 30% de contaminação nos dados de treinamento (ex: 30% de imagens defeituosas no conjunto de "apenas normais"), com uma queda gradual, mas gerenciável, na precisão (ex: de 95,6% para 88,3% de AUROC no MVTec-AD).

5. Significado e Impacto

O trabalho demonstra a viabilidade de implantar modelos complexos de IA para inspeção de qualidade diretamente no hardware do sensor, eliminando a necessidade de transmissão de vídeo bruto para a nuvem ou servidores de borda. Isso resulta em:

• Redução de Latência e Largura de Banda: Apenas os resultados (pontuações de anomalia ou mapas de calor) são transmitidos.
• Privacidade e Segurança: Os dados visuais sensíveis não saem do dispositivo.
• Acessibilidade Industrial: Torna a detecção de anomalias de alta performance acessível para empresas com orçamentos limitados e infraestrutura de borda restrita.

Em suma, o TinyGLASS preenche a lacuna entre o alto desempenho acadêmico em detecção de anomalias e as restrições práticas de implantação em dispositivos de IoT industrial (AIoT).