Testing Neural Networks via Bayesian-Guided Exploration of Decision Landscapes

Resumo Técnico: Testando Redes Neurais via Exploração de Paisagens de Decisão Guiada por Bayes

Declaração do Problema
À medida que as Redes Neurais Profundas (DNNs) são implantadas em domínios críticos para a segurança, o teste torna-se essencial para avaliar a confiabilidade. No entanto, os métodos de teste existentes enfrentam limitações significativas. Abordagens de caixa-preta dependem de mutações aleatórias ou baseadas em busca sem orientação interna, muitas vezes exigindo um número excessivo de consultas para encontrar falhas. Métodos de caixa-branca tipicamente priorizam a maximização da cobertura de neurônios; contudo, uma alta cobertura não garante a descoberta de falhas críticas de decisão, pois muitos neurônios ativados podem ser irrelevantes para a predição final do modelo. Além disso, as estratégias existentes frequentemente lutam para equilibrar eficiência com diversidade sob orçamentos de mutação limitados, desperdiçando recursos frequentemente em regiões irrelevantes para a decisão ou convergindo para modos de falha semelhantes. O desafio central é explorar sistematicamente "regiões criticamente decisivas" — áreas onde pequenas perturbações induzem mudanças significativas nas fronteiras de decisão — enquanto mantém a proximidade com a distribuição original dos dados e a semântica.

Metodologia: BAYESWARP
Os autores propõem o BAYESWARP, um framework de teste de caixa-branca que aborda essas limitações através de três componentes complementares:

1. Localização de Regiões Criticamente Decisivas: Em vez de mutar todo o espaço de entrada, o BAYESWARP primeiro identifica regiões altamente influentes nas decisões do modelo usando técnicas de interpretabilidade baseadas em saliência (ex: Grad-CAM, Integrated Gradients, SmoothGrad). Ele processa os mapas de saliência resultantes por meio de:

   • Limiarização (thresholding) para reter pixels salientes superiores.
   • Extração de componentes conectados de 8 vizinhanças e descarte de fragmentos pequenos.
   • Fusão de caixas delimitadoras (bounding boxes) baseada em Intersecção-sobre-União (IoU) e distância de centroide para reduzir a fragmentação.
   • Seleção de um subconjunto de caixas fundidas via uma estratégia gulosa baseada na massa de saliência, restrita por um orçamento de cobertura predefinido ($\rho$). Isso transforma a atribuição de nível de pixel em um espaço de mutação localizado e tratável.

2. Objetivo de Teste Orientado à Diversidade: O framework define uma função objetivo que equilibra adaptativamente a supressão da confiança da classe original e a promoção da confiança de uma classe alvo selecionada.

   • Ponderação Adaptativa: Um peso dinâmico $\lambda(x)$ desloca o foco do objetivo da desestabilização da decisão original para a indução de divergência de predição conforme a confiança da classe alvo aumenta.
   • Escalonamento de Classe Alvo: O sistema seleciona iterativamente classes alvo inexploradas com a maior confiança inicial, alocando um orçamento de mutação fixo por classe para evitar o foco excessivo em uma única direção de falha.

3. Mutação Guiada por Bayes: Para pesquisar eficientemente o espaço de mutação localizado sob um orçamento fixo, o BAYESWARP emprega Otimização Bayesiana (BO) com um substituto de Processo Gaussiano Variacional Esparso (SVGP).

   • As mutações são parametrizadas em uma grade espacial grosseira que cobre a região crítica, reduzindo a dimensionalidade.
   • O substituto SVGP modela a função objetivo, fornecendo estimativas de média preditiva e incerteza.
   • Uma função de aquisição de Limite Superior de Confiança (UCB) guia a seleção de passos de mutação, equilibrando a explotação de direções promissoras com a exploração de áreas incertas.
   • O processo inclui restrições para garantir que os casos de teste gerados permaneçam dentro de um intervalo limitado da distribuição original dos dados e incorpora injeção de ruído estocástico para evitar a convergência prematura.

Principais Contribuições

• Abordagem: A introdução do BAYESWARP, que integra localização de região criticamente decisiva, objetivos orientados à diversidade adaptativos e otimização Bayesiana baseada em SVGP escalável.
• Ferramenta: Uma implementação de framework de teste automatizado e de código aberto.
• Avaliação: Avaliação abrangente em três conjuntos de dados (MNIST, CIFAR-10, ImageNet) e seis modelos de redes neurais (LeNet, VGG, ResNet), demonstrando melhorias sobre as linhas de base de estado da arte (ADAPT, NSGen, SUNTest).

Resultos
Os resultados experimentais indicam que, sob um orçamento de mutação fixo (10.000 mutações por semente), o BAYESWARP supera os métodos existentes em várias métricas principais:

• Descoberta de Falhas: Alcança um Número de Falhas (NoF) e uma Taxa de Semente Indutora de Falhas (FSR) mais altos na maioria dos modelos e conjuntos de dados.
• Eficiência: Requer menos Tempo por Falha (TPF) em comparação com as linhas de base, indicando um uso mais eficaz do orçamento de mutação.
• Diversidade: Revela um espectro mais amplo de modos de falha (maior Diversidade de Falhas, DoF), explorando múltiplas direções de decisão concorrentes em vez de uma única direção dominante.
• Qualidade: Os casos de teste gerados exibem menor Distância de Inception de Fréchet (FID) e maior Pontuação de Consistência Semântica (SCS), confirmando que permanecem distribuicional e semanticamente próximos dos dados originais.
• Cobertura Interna: Apesar de não otimizar explicitamente para cobertura, o BAYESWARP alcança uma Cobertura de Neurônios Top-k (TKNC) e Cobertura de Neurônios Críticos (CNC) mais altas que as linhas de base, sugerindo que ele exerce efetivamente estados internos relevantes para a decisão.
• Melhoria do Modelo: O ajuste fino (fine-tuning) de modelos com casos de falha gerados pelo BAYESWARP leva a maiores melhorias de acurácia em comparação com o ajuste fino com casos de outras técnicas de teste.

Significância e Alegações
O artigo afirma que o BAYESWARP demonstra o valor de mudar os paradigmas de teste de DNN de mutação global ou baseada em cobertura para uma exploração criticamente decisiva e orientada à diversidade. Ao focar em regiões que realmente influenciam as decisões do modelo e usar otimização consciente de incerteza para navegar nelas, o framework revela diversas fraquezas do modelo sem sacrificar a fidelidade dos dados. Os autores postulam que esta abordagem revela instabilidades intrínsecas do modelo que são mais informativas para o retreinamento e melhoria da robustez do modelo do que falhas geradas por métodos aleatórios ou puramente baseados em cobertura. O trabalho se distingue de ataques adversários ao priorizar a descoberta de modos de falha diversos e alinhados à distribuição para teste e melhoria, em vez de otimizar para perturbações mínimas sob modelos de ameaça.