Resumo Técnico: LATTE – Geração de Testes Baseada em Âncoras Latentes para Redes Neurais Profundas

Declaração do Problema

Redes Neurais Profundas (DNNs) são cada vez mais implantadas em aplicações críticas de segurança, necessitando de testes rigorosos para identificar fraquezas do modelo. Diferente do software tradicional, as DNNs não travam em entradas inválidas (desde que o formato esteja correto), mas podem produzir classificações incorretas. O teste eficaz requer a geração de entradas que sejam semanticamente próximas das sementes originais para garantir que as falhas reveladas decorram de fraquezas do modelo e não de deriva semântica.

As abordagens de teste existentes enfrentam um compromisso entre controlabilidade de exploração, diversidade de falhas e proximidade semântica relativa à semente:

• Mutação no espaço de entrada: Mutar pixels diretamente frequentemente introduz uma deriva semântica significativa, gerando entradas que se desviam da distribuição de dados original.
• Geração no espaço latente: Embora métodos como SINVAD, Mimicry e CIT4DNN utilizem espaços latentes aprendidos para manter a plausibilidade, eles lutam para equilibrar a diversidade de exposição de falhas com a proximidade semântica controlada. Os métodos latentes atuais geralmente dependem de atualizações não restringidas, otimização iterativa ou cobertura combinatória, carecendo de um mecanismo para exploração multidirecional explícita, centrada na semente, que equilibre a descoberta de falhas com a fidelidade semântica.

Metodologia: LATTE

Os autores propõem o LATTE (Latent Anchor-Driven Test Generation), um framework de teste de caixa-preta que gera casos de teste semanticamente próximos, diversos e reveladores de falhas, aproveitando um manifold latente aprendido. O framework opera em três estágios principais:

1. Extração de Representação Latente:

   • As sementes de entrada são codificadas em um espaço latente compacto usando um VQ-VAE (Vector Quantized Variational Autoencoder) pré-treinado.
   • Isso mapeia dados de pixels de alta dimensão para um vetor latente de baixa dimensão ($Z_{seed}$), garantindo que as mutações subsequentes permaneçam dentro da região de amostras plausíveis.

2. Exploração Latente Guiada por Âncoras:

   • Âncoras: Para uma determinada semente de classe $C_{seed}$, o sistema amostra "âncoras" a partir de representações latentes de classes alternativas ($C_k \neq C_{seed}$).
   • Mutação Direcional: O vetor da semente para uma âncora define uma direção de mutação. O LATTE realiza um deslocamento latente de etapa única ao longo desta direção, controlado por um parâmetro de grau de exploração ($E$).
   • Intuição: Mover-se de uma semente em direção a uma âncora de uma classe diferente atravessa regiões onde as previsões do modelo podem se tornar menos estáveis (regiões de incerteza), enquanto o manifold aprendido garante que a entrada permaneça visualmente plausível.

3. Reconstrução e Decodificação:

   • Pontos latentes mutados são passados por um quantizador vetorial para mapeá-los ao código mais próximo no codebook aprendido, impondo proximidade ao manifold de dados.
   • O vetor quantizado é decodificado de volta para o espaço de entrada para gerar o caso de teste final.

Mecanismos de Oráculo:
O LATTE avalia os casos de teste gerados sob dois cenários de oráculo amplamente adotados:

• Teste de Modelo Único: Um teste é revelador de falhas se a entrada mutada disparar uma previsão diferente da semente original (expondo instabilidade de decisão).
• Teste de Multi-Modelo: Um teste é revelador de falhas se dois modelos treinados independentemente produzirem previsões diferentes para a mesma entrada (expondo discordância de modelos).

Principais Contribuições

1. Estratégia de Teste: A introdução do LATTE, uma estratégia de exploração guiada por âncoras e centrada na semente para classificadores de imagem de caixa-preta. Ele gera entradas de acompanhamento via deslocamento latente controlável, suportando oráculos de modelo único e multi-modelo.
2. Caracterização Empírica: Uma avaliação abrangente da exploração latente guiada por âncoras em relação à exposição de falhas, diversidade comportamental, eficiência de teste e deriva semântica.
3. Avaliação: Um estudo comparativo contra baselines de espaço latente de última geração (SINVAD, Mimicry, CIT4DNN) em cinco datasets (MNIST, FashionMNIST, SVHN, CIFAR10, ImageNet) e dez modelos de DNN.
4. Código Aberto: Provisão de uma implementação de código aberto para apoiar a avaliação reprodutível.

Resultados Experimentais

Os autores avaliaram o LATTE contra os baselines sob orçamentos de teste equivalentes (10.000 casos de teste por semente ou dataset).

• Exposição de Falhas (Contagem de Falhas): O LATTE consistentemente gerou o maior número de casos de teste reveladores de falhas. Por exemplo, no ImageNet com ResNet50, o LATTE descobriu mais de 6.200 falhas comparado a ~5.400 para o Mimicry e ~800 para o SINVAD.
• Cobertura de Sementes: O LATTE alcançou uma cobertura de sementes quase perfeita (100% nos datasets), garantindo que cada semente de origem gerasse pelo menos uma entrada indutora de falha, enquanto o SINVAD cobriu apenas 29–44% das sementes.
• Eficiência de Teste: O LATTE demonstrou eficiência superior, particularmente em modelos de larga escala. No ImageNet, o LATTE gerou 10.000 casos de teste em ~53 segundos, comparado a ~214 segundos para o Mimicry (devido à otimização iterativa) e ~68 segundos para o SINVAD.
• Diversidade de Falhas: O LATTE descobriu uma gama mais ampla de resultados de previsão errôneos (maior diversidade de falhas e diversidade de pares de confusão) comparado aos baselines, que tendiam a revisitar padrões de classificação incorreta semelhantes.
• Deriva Semântica: Sob o cenário de modelo único, o LATTE manteve a menor deriva semântica relativa à semente (medida via distância de cosseno no espaço de representação DINOv2), indicando que as falhas geradas permaneceram mais próximas das sementes originais do que as dos baselines.
• Estudo de Ablação: O estudo identificou um grau de exploração ideal ($E=3$), equilibrando alta exposição de falhas com baixa deriva semântica. Também confirmou que o VQ-VAE com um tamanho de codebook de 512 proporcionou a melhor qualidade de reconstrução e fidelidade de distribuição.

Significância e Alegações

O artigo afirma que o LATTE aborda uma limitação fundamental no teste de DNNs existentes: o compromisso entre explorar modos de falha diversos e manter a proximidade semântica com a entrada original.

• Exploração Equilibrada: Ao enquadrar a geração de testes como uma exploração direcional guiada por âncoras e centrada na semente, o LATTE sonda com sucesso vizinhanças locais ao redor das sementes onde as decisões do modelo são menos estáveis, sem se desviar significativamente do manifold de dados.
• Aplicabilidade Prática: O framework é eficaz para cenários de caixa-preta onde detalhes internos do modelo não estão disponíveis. Ele supera os métodos de espaço latente existentes em exposição de falhas e diversidade, mantendo menor overhead computacional e menor deriva semântica.
• Distinção de Ataques Adversários: Os autores enfatizam que o LATTE é distinto de ataques adversários. Enquanto os ataques otimizam perturbações mínimas para forçar um alvo específico, o LATTE visa revelar diversos comportamentos que disparam o oráculo (instabilidade e discordância) sob um orçamento de teste fixo, usando a proximidade semântica como uma restrição, e não como um objetivo de otimização.

Os autores concluem que a exploração latente guiada por âncoras é uma estratégia promissora para o teste de caixa-preta de classificadores de imagem, equilibrando efetivamente a exposição de falhas, a diversidade comportamental e a proximidade semântica relativa à semente.