Boxes2Pixels: Learning Defect Segmentation from Noisy SAM Masks

Título: Boxes2Pixels: Aprendizado de Segmentação de Defeitos a partir de Máscaras SAM Ruidosas

1. O Problema

A inspeção visual de infraestrutura crítica (como pás de turbinas eólicas) é essencial para a manutenção preditiva. No entanto, a implementação de sistemas automatizados é limitada pela escassez de anotações de nível de pixel de alta qualidade, que são caras e exigem expertise de domínio.

• Solução Comum: Utilizar anotações de caixas delimitadoras (bounding boxes), que são mais baratas e fáceis de obter, e convertê-las em máscaras densas usando modelos de fundação como o Segment Anything Model (SAM).
• Desafio Principal: Em cenários industriais, as máscaras geradas pelo SAM (pseudo-rótulos) são sistematicamente ruidosas. O modelo tende a:
  1. Alucinar estruturas de fundo: Segmentar sombras, padrões de textura ou manchas como defeitos (falsos positivos).
  2. Perder defeitos esparsos: Falhar na detecção de fissuras finas ou defeitos de baixo contraste dentro da caixa delimitadora (falsos negativos).
• Limitação de Métodos Atuais: Arquiteturas de segmentação convencionais (como U-Net ou SegFormer) tendem a superajustar (overfit) esses erros sistemáticos do "professor" (SAM), herdando suas falhas.

2. Metodologia: O Framework Boxes2Pixels

Os autores propõem um framework de destilação centrado em dados, onde o SAM é tratado como um professor ruidoso, e não como uma fonte de verdade absoluta. O objetivo é treinar uma rede estudante compacta e robusta.

Arquitetura do Estudante (Hierárquica):

• Ramo Semântico Global: Utiliza o DINOv2 ViT-S/14 (com pesos congelados). Apenas os parâmetros de viés e normalização são otimizados via adaptação BitFit. Isso garante estabilidade semântica e reduz o ajuste excessivo a artefatos de alta frequência.
• Ramo de Detalhe Local: Uma rede CNN leve que extrai características espaciais finas diretamente da imagem RGB, preservando estruturas de alta frequência (como fissuras finas) que o ViT pode perder.
• Fusão: As características globais e locais são concatenadas e processadas por um "Feature Mixer" antes de serem enviadas para dois cabeçalhos de previsão.

Cabeçalhos de Previsão:

1. Cabeçalho de Localização Binária: Prende a presença de defeito vs. fundo. Utiliza uma Loss Assimétrica de Dice para priorizar o recall (recuperar defeitos) e penalizar menos os falsos positivos.
2. Cabeçalho Semântico Fino: Realiza a classificação multiclasse (ex: dano, sujeira, fundo).

Mecanismo de Auto-correção Online (One-sided Self-Correction):

• Este é o componente central para lidar com o ruído. O modelo permite que o estudante ignore o pseudo-rótulo de fundo se ele prever um defeito com alta confiança.
• Lógica: Se o pseudo-rótulo diz "fundo" (0), mas o estudante prevê "defeito" com probabilidade > $\tau$ (ex: 0.9), o rótulo é corrigido para a classe de defeito.
• Objetivo: Recuperar defeitos que foram omitidos pelo SAM ou não anotados na caixa, sem introduzir ruído descontrolado (drift), pois a correção só ocorre em casos de alta confiança.

3. Contribuições Chave

1. Pipeline de Destilação Robusto: Um novo método para aprender segmentação de nível de pixel a partir de anotações de caixas, tratando as máscaras de modelos de fundação como supervisão ruidosa e não perfeita.
2. Arquitetura Híbrida e Adaptativa: Combinação de características semânticas estáveis do DINOv2 (via BitFit) com um ramo de detalhe local, otimizado para lidar com erros sistemáticos de pseudo-rótulos.
3. Mecanismo de Correção Assimétrica: Uma função de perda que relaxa a supervisão de fundo quando o estudante tem alta confiança, permitindo a recuperação de defeitos esparsos que o "professor" perdeu.
4. Eficiência Computacional: O modelo utiliza 80% menos parâmetros treináveis do que baselines totalmente treináveis, mantendo alto desempenho e permitindo inferência em tempo real.

4. Resultados Experimentais

Os testes foram realizados em um conjunto de dados de inspeção de turbinas eólicas (aprox. 13.000 imagens), onde apenas caixas delimitadoras estavam disponíveis para treino e máscaras de pixel foram anotadas manualmente apenas para o conjunto de teste (ground truth).

• Desempenho Quantitativo:
  • O Boxes2Pixels superou todas as baselines (U-Net, DeepLabV3, SegFormer) treinadas sob a mesma supervisão fraca.
  • mIoU de Anomalia: +6,97 pontos de melhoria sobre a melhor baseline (SegFormer-B2).
  • IoU Binário: +9,71 pontos de melhoria.
  • Recall Binário: O mecanismo de auto-correção aumentou o recall em +18,56 pontos, crucial para não perder defeitos críticos.
• Eficiência:
  • O modelo possui apenas 5,6M de parâmetros treináveis (vs. 20-27M nas baselines).
  • Alcança 161,4 FPS em uma GPU NVIDIA H100, com latência de 6,20 ms, superando baselines mais pesadas em velocidade.
• Análise de Classe: O modelo melhorou significativamente a detecção de "sujeira" (dirt) sem sacrificar a detecção de "danos estruturais" (damage), demonstrando robustez contra ruídos de fundo.

5. Significado e Conclusão

O trabalho demonstra que é possível obter segmentação de defeitos robusta e de alta qualidade em cenários industriais sem a necessidade de anotações pixel a pixel caras.

• Mudança de Paradigma: Em vez de focar apenas em gerar melhores pseudo-rótulos (melhorando o SAM), o foco deve estar em como os pseudo-rótulos ruidosos são utilizados durante o treinamento.
• Aplicabilidade Industrial: A combinação de alta precisão, baixo custo computacional (poucos parâmetros treináveis) e capacidade de recuperar defeitos omitidos torna a solução viável para implantação em larga escala em indústrias com orçamentos limitados de anotação e computação.
• Conclusão Final: A utilização robusta de pseudo-rótulos durante o treinamento, através de correção ativa e arquitetura especializada, pode ser mais impactante do que apenas refinar a geração desses rótulos.