TopoMap: A Feature-based Semantic Discriminator of the Topographical Regions in the Test Input Space

1. O Problema

O teste de sistemas baseados em Deep Learning (DL) apresenta desafios significativos. Embora seja relativamente fácil encontrar entradas que causem mau comportamento (falhas) em modelos de DL, a agrupamento dessas entradas por características (features) que as tornam problemáticas é uma área pouco explorada.

As abordagens existentes para geração de testes em DL frequentemente aplicam pequenas perturbações nas entradas para expor falhas. No entanto, essas técnicas tendem a focar o esforço de teste em regiões específicas e promissoras do espaço de entrada, negligenciando outras regiões (possivelmente menos acessíveis) onde diferentes tipos de mau comportamento podem ocorrer. Além disso, muitas técnicas de priorização de testes dependem de acesso interno ao modelo (como ativações de neurônios ou camadas de softmax), o que as torna inadequadas para cenários de "caixa-preta" (black-box).

2. Metodologia: A Abordagem TOPOMAP

O artigo propõe o TOPOMAP, uma abordagem totalmente automatizada, de caixa-preta e agnóstica ao modelo, para criar um mapa topográfico do espaço de características de entrada. O objetivo é explorar todas as regiões que podem potencialmente desencadear mau comportamento, agrupando as entradas com base nas características que compartilham.

O pipeline do TOPOMAP consiste nos seguintes passos principais:

1. Redução de Dimensionalidade (Embedding):

   • As entradas de alta dimensão (ex: imagens, áudio, texto) são transformadas em vetores de menor dimensão (embeddings) que retêm as características semânticas ou estruturais chave.
   • O estudo avalia várias técnicas de redução de dimensionalidade, incluindo PCA, UMAP, t-SNE, SVD, LDA, Isomap, Autoencoders e Word2vec.

2. Agrupamento (Clustering):

   • Os vetores de embedding são agrupados usando algoritmos de aprendizado não supervisionado (K-means, BIRCH, HDBSCAN, Affinity Propagation).
   • Cada cluster representa uma região distinta no mapa topográfico do espaço de entrada.

3. Seleção Automática de Configuração Ótima:

   • Como diferentes combinações de embedding e clustering produzem mapas diferentes, o TOPOMAP utiliza uma Rede Neural Profunda (DNN) para avaliar automaticamente a qualidade de cada configuração.
   • Lógica de Avaliação: A DNN atua como um avaliador humano simulado. Ela é treinada para classificar as entradas com base nos "pseudo-rótulos" (identificadores de cluster) gerados pelo algoritmo de agrupamento.
   • Métrica de Qualidade: A qualidade do mapa é medida pela precisão par ponderada (weighted pairwise accuracy). A configuração que maximiza a capacidade da DNN de distinguir entre pares de clusters (especialmente os pares mais difíceis de separar) é selecionada como a melhor.
   • Seleção de $k$ (número de clusters): Para algoritmos que exigem o número de clusters ($k$), o TOPOMAP utiliza um procedimento adaptativo que aumenta $k$ até que o ganho de precisão da DNN se estabilize (platô), evitando subdivisões desnecessárias baseadas em ruído.

4. Geração do Mapa Topográfico:

   • O resultado final é um mapa onde as regiões (clusters) são semanticamente discrimináveis e podem ser agregadas para identificar áreas críticas de falha.

3. Contribuições Principais

• Abordagem Agnóstica e de Caixa-Preta: Diferente de métodos que exigem acesso interno ao modelo (como cobertura de neurônios), o TOPOMAP opera exclusivamente sobre as características de entrada, sendo aplicável a qualquer arquitetura de DL.
• Automatização da Seleção de Configuração: Propõe um método inovador usando uma DNN para simular a avaliação humana de qualidade de clusters, eliminando a necessidade de engenharia manual de características ou definição subjetiva de métricas de qualidade de cluster.
• Mapa Topográfico Semântico: Cria uma representação visual e estrutural do espaço de entrada que revela regiões onde falhas se concentram, permitindo a exploração sistemática de todo o domínio de entrada.
• Validação Empírica Robusta: O método foi validado através de estudos com humanos, análise de mutação e comparação com o estado da arte (DeepHyperion).

4. Resultados Experimentais

Os autores avaliaram o TOPOMAP em 6 conjuntos de dados (classificação e regressão), incluindo MNIST, CIFAR-10, reconhecimento de voz, notícias e direção autônoma.

• Discriminação de Instâncias (RQ1): O pipeline de avaliação baseado em DNN selecionou configurações de agrupamento específicas para cada domínio, demonstrando que não existe uma configuração única ideal para todos os casos. Os mapas gerados apresentaram clusters distinguíveis com alta precisão de classificação pela DNN.
• Explicabilidade Humana (RQ2): Um estudo com participantes humanos mostrou uma correlação positiva entre a dificuldade percebida pelos humanos para distinguir clusters e a precisão da DNN do TOPOMAP. Em casos de imagens fáceis de interpretar (como dígitos manuscritos), o julgamento humano alinhou-se fortemente com o agrupamento do TOPOMAP.
• Detecção de Falhas (RQ3):
  • O TOPOMAP identificou regiões de entrada com alta densidade de "contribuidores" (entradas que matam mutantes).
  • Eficiência: Ao usar apenas 9% das entradas de teste (agregando clusters específicos), o TOPOMAP alcançou uma probabilidade de matar mutantes de 100% para mutantes matáveis.
  • Comparação com Aleatório: O método superou a seleção aleatória em 35% de média para mutantes matáveis e em 61% para mutantes não matáveis (que o conjunto de teste original não conseguia matar).
• Comparação com DeepHyperion (RQ4):
  • O TOPOMAP produziu mapas semanticamente diferentes e complementares ao DeepHyperion (que requer definição manual de características).
  • O TOPOMAP superou o DeepHyperion na densidade de contribuidores de falhas, exigindo menos entradas para matar os mesmos mutantes, sem a necessidade de esforço manual para definir características.
• Propagação de Morte (RQ5): Os clusters identificados como "matadores" mostraram consistência, matando diferentes operadores de mutação e configurações, indicando que as regiões de falha no mapa topográfico são robustas e não limitadas a um único tipo de defeito.

5. Significância e Conclusão

O TOPOMAP representa um avanço significativo no teste de sistemas de Deep Learning ao fornecer uma ferramenta automatizada para mapear e explorar o espaço de entrada.

• Impacto Prático: Permite que desenvolvedores foquem seus esforços de teste em regiões específicas do mapa topográfico onde as falhas são mais prováveis, criando conjuntos de teste mais eficientes e densos em defeitos.
• Escalabilidade: Por ser agnóstico ao modelo e automatizado, o método é escalável para diferentes domínios (imagens, texto, áudio) sem necessidade de reengenharia manual de características.
• Futuro: O trabalho estabelece uma base para a geração de novos casos de teste direcionados a falhas específicas, utilizando as características expostas pelo mapa topográfico.

Em resumo, o TOPOMAP transforma a busca por falhas em DL de uma exploração aleatória ou local para uma exploração estruturada e global do espaço de características, demonstrando superioridade tanto em eficiência quanto em eficácia na detecção de falhas em comparação com métodos existentes e seleção aleatória.