Resumo Técnico: KeepAD – Poda de Tokens Preservadora de Defeitos para Detecção de Anomalias Zero-Shot Eficiente

1. Declaração do Problema

A detecção de anomalias visuais zero-shot (ZSAD) avançou significativamente utilizando Modelos de Visão-Linguagem (VLMs) e Vision Transformers (ViTs). No entanto, os métodos existentes normalmente realizam computação densa sobre todos os patches de imagem (tokens) em cada camada do Transformer. Esta abordagem é ineficiente porque:

1. Esparsidade de Dados: Em cenários do mundo real, imagens anômalas são raras e, dentro de uma imagem anômala, a evidência decisiva (defeitos) geralmente ocupa apenas uma região pequena e localizada.
2. Risco de Poda Assimétrica: Ao contrário da classificação de imagens genérica, onde descartar tokens não dominantes é aceitável, a detecção de anomalias enfrenta uma assimetria crítica. Reter tokens normais redundantes acarreta desperdício computacional, mas remover um token anômalo — mesmo um sutil — pode apagar irreversivelmente a única evidência necessária para a detecção e localização.
3. O Paradoxo da Poda Precoce: A poda das camadas iniciais oferece as maiores economias computacionais, mas as representações rasas carecem de confiabilidade semântica para distinguir defeitos sutis de variações de textura normais. Por outro lado, as camadas mais profundas fornecem pistas de anomalia confiáveis, mas deixam menos computação para economizar.

Os métodos atuais de poda de tokens para classificação ou geração são mal adequados para ZSAD porque priorizam semânticas dominantes, potencialmente descartando os tokens esparsos e inconspícuos que constituem a anomalia.

2. Metodologia: KeepAD

Os autores propõem o KeepAD, um framework de poda de tokens preservadora de defeitos projetado para navegar o risco de poda assimétrica e o paradoxo da poda precoce. O método opera sobre um backbone CLIP ViT congelado (ex: ViT-L/14@336px) e emprega um processo de treinamento de dois estágios seguido por uma única passagem de inferência esparsa.

2.1 Treinamento em Dois Estágios

• Estágio 1 (Treinamento do Detector Denso): Um cabeçalho de anomalia leve é treinado sobre o backbone ViT congelado. Este cabeçalho aprende protótipos normais e anômalos em camadas intermediárias. Crucialmente, ele produz um sinal de professor "denso-para-esparso": uma passagem não podada gera priors de anomalia de camadas profundas que servem como alvos de supervisão para os seletores de poda.
• Estágio 2 (Treinamento do Seletor): O backbone e o cabeçalho são congelados. Dois seletores de tokens leves são inseridos em camadas específicas (L8 e L12) e treinados para rotear tokens. O próprio detector nunca é atualizado.

2.2 Poda Progressiva Preservadora de Defeitos

O KeepAD adapta sua estratégia de poda com base na profundidade da rede:

• Estágio Inicial (L8): Seleção Preservadora de Cobertura

  • Desafio: A semântica da anomalia é pouco confiável; os protótipos ainda não são discriminativos.
  • Estratégia: O seletor evita a seleção global top-k, que poderia concentrar tokens em regiões normais dominantes. Em vez disso, ele particiona a grade da imagem em blocos de $2 \times 2$ e garante que pelo menos um token representativo de cada bloco não vazio seja retido.
  • Mecanismo de Resgate: Qualquer orçamento de tokens restante é alocado deterministicamente para "candidatos de resgate" (ex: tokens de alta pontuação de células de grade distintas) para evitar a perda total de defeitos pequenos ou isolados.

• Estágio Profundo (L12): Seleção Adaptativa à Anomalia

  • Desafio: A semântica da anomalia é confiável, mas a computação deve ser reduzida agressivamente.
  • Estratégia: O seletor combina saliência visual com afinidades aos protótipos normais e anômalos congelados aprendidos no Estágio 1.
  • Orçamento Adaptativo à Imagem: Em vez de uma razão de poda fixa, o orçamento de tokens é ajustado dinamicamente por imagem com base na distribuição da evidência de anomalia. Imagens com anomalias pronunciadas recebem um orçamento de tokens maior, enquanto imagens com pouca evidência (provavelmente normais) são podadas mais agressivamente.
  • Poda ao Nível de Bloco: Para manter a coerência espacial, o L12 seleciona blocos inteiros de tokens em vez de tokens isolados.

2.3 Auto-destilação Denso-para-Esparsa

Para abordar a dificuldade de treinar o seletor raso (L8) sem fluxo de gradiente direto da perda de detecção final, o KeepAD utiliza auto-destilação. O ramo "professor" congelado e não podado fornece respostas de anomalia de camada profunda como alvos explícitos de preservação para o seletor "aluno" raso. Isso guia o roteador inicial a reter tokens que provavelmente se tornarão relevantes para a anomalia em camadas mais profundas, sem adicionar overhead de inferência.

2.4 Recuperação Densa e Inferência

Durante a inferência, apenas os tokens rigidamente podados são processados. Para restaurar a localização densa:

• Recuperação Espacial: As posições dos patches descartados são mapeadas para seu token sobrevivente mais próximo na grade original. A resposta de anomalia do sobrevivente é copiada para a posição descartada.
• Integridade da Pontuação: Crucialmente, as pontuações de anomalia ao nível da imagem são agregadas apenas a partir dos sobreviventes físicos. As posições recuperadas são usadas exclusivamente para a geração de mapas ao nível de pixel e não influenciam a classificação final da imagem, evitando que evidências artificiais inflem as pontuações.

3. Principais Contribuições

1. Formulação do Problema: O artigo identifica e formaliza o "risco de poda assimétrica" e o "paradoxo da poda precoce" específicos para a detecção de anomalias zero-shot, distinguindo-os de tarefas padrão de poda de tokens.
2. Framework KeepAD: Um mecanismo de roteamento progressivo que transita de uma seleção espacial conservadora e preservadora de cobertura em camadas rasas para uma poda agressiva, guiada por protótipos e adaptativa à imagem em camadas mais profundas.
3. Estratégia de Treinamento: A introdução da auto-destilação denso-para-esparsa para supervisionar a seleção de tokens rasa usando priors de anomalia profundos, permitindo o treinamento eficaz sem o retreinamento do backbone.
4. Validação Empírica: Avaliação extensiva em 13 benchmarks (6 industriais, 7 médicos) demonstrando que o KeepAD pode reduzir a retenção de tokens para menos de 20% mantendo uma precisão competitiva.

4. Resultados Experimentais

Avaliado em uma única GPU NVIDIA RTX 5090, o KeepAD demonstra ganhos significativos de eficiência com degradação mínima de precisão:

• Throughput: Alcança até 7,9× de aceleração sobre o baseline baseado em CLIP mais forte (Bayes-PFL) e uma aceleração de 1,7× sobre o baseline baseado em ViT mais forte (VisualAD) com precisão competitiva.
• Precisão: No ponto operacional mais agressivo (retendo ~14–18% dos tokens), a degradação média no desempenho de nível de imagem (I-AUROC) e de nível de pixel (P-AUROC) é limitada a dentro de 2,7 pontos percentuais.
• Robustez: O método transfere-se efetivamente entre domínios industriais (MVTec-AD, VisA) e médicos (OCT, MRI, Endoscopia) sem adaptação específica de domínio.
• Insights de Ablação:
  • Remover a poda L8 causa uma queda significativa na velocidade (6,5–8,3 img/s), confirmando a poda precoce como o principal alavancador de eficiência.
  • Substituir a seleção preservadora de cobertura pela seleção top-k global aumenta drasticamente a "Taxa de Erro Completo" (CMR), provando a necessidade de restrições de cobertura local.
  • O orçamento adaptativo à imagem supera o orçamento fixo ou embaralhado, particularmente na redução da CMR.

5. Significância e Alegações

O artigo afirma que o KeepAD consegue reconciliar os objetivos conflitantes de redução agressiva de tokens e preservação de evidência de defeito esparsa. Ao formular a seleção de tokens como um problema de roteamento de alta revocação e consciente de anomalias, o KeepAD evita as falhas de "erro completo" comuns em métodos de poda genéricos.

Os autores enfatizam que sua abordagem não é meramente uma otimização de velocidade, mas uma adaptação estrutural ao perfil único de esparsidade e risco da detecção de anomalias. O método alcança uma aceleração de inferência substancial (até 7,9×) enquanto mantém o desempenho de detecção e localização comparável aos modelos de estado da arte densos e não podados, tornando-o uma solução viável para sistemas práticos de detecção de anomalias zero-shot em tempo real.