TopoMap: A Feature-based Semantic Discriminator of the Topographical Regions in the Test Input Space

Resumen Técnico: TOPOMAP

1. Planteamiento del Problema

La prueba de sistemas basados en Aprendizaje Profundo (DL) es un desafío abierto. Aunque es relativamente fácil encontrar entradas que causen un mal comportamiento en un modelo DL, la agrupación de estas entradas basándose en las características específicas que las hacen problemáticas es un área poco explorada.

• Limitación de enfoques existentes: Las técnicas actuales de generación de pruebas a menudo aplican pequeñas perturbaciones a las entradas, lo que puede concentrar el esfuerzo de prueba en una región específica del espacio de entrada, descuidando otras regiones donde podrían ocurrir diferentes fallos.
• Falta de automatización: Enfoques previos como DeepHyperion requieren un esfuerzo humano significativo para definir y cuantificar manualmente las características del espacio de entrada, lo que limita su escalabilidad y aplicabilidad en diversos dominios.
• Necesidad: Se requiere un enfoque automatizado, de caja negra y agnóstico al modelo, capaz de mapear el espacio de entrada en regiones semánticas distinguibles para identificar sistemáticamente áreas propensas a fallos.

2. Metodología: TOPOMAP

TOPOMAP es un enfoque automatizado para crear un mapa topográfico del espacio de características de entrada, agrupando las entradas en regiones basadas en sus características compartidas. El proceso se divide en cuatro etapas principales (ver Figura 2 del artículo):

1. Recolección de Datos y Reducción de Dimensionalidad (Embedding):

   • Se toma un conjunto de datos de entrada (entrenamiento y prueba).
   • Se aplican algoritmos de reducción de dimensionalidad (como PCA, UMAP, t-SNE, SVD, LDA, Autoencoders, etc.) para transformar las entradas de alta dimensión en vectores de baja dimensión (incrustaciones o embeddings) que preservan las características semánticas clave.

2. Agrupamiento (Clustering):

   • Se aplican algoritmos de aprendizaje no supervisado (K-means, BIRCH, HDBSCAN, Affinity Propagation) sobre las incrustaciones para agrupar las entradas en clusters (regiones).
   • Selección automática de $k$ (número de clusters): Para algoritmos que requieren un $k$ predefinido, se propone un algoritmo ad-hoc (Algoritmo 1) que incrementa $k$ hasta que la ganancia en la capacidad de clasificación de los clusters se satura (la curva de precisión se aplana).

3. Evaluación Automatizada de la Calidad del Mapa:

   • Simulación de Evaluación Humana: Se utiliza una Red Neuronal Profunda (DNN) para simular la capacidad de un evaluador humano de distinguir entre clusters.
   • Mecanismo: Se entrena una DNN para predecir las "etiquetas pseudo" (los IDs de los clusters) generados por el algoritmo de agrupamiento.
   • Métrica Clave: Se introduce la Precisión Ponderada por Pares (Weighted Pairwise Accuracy). En lugar de medir la precisión global, se evalúa la capacidad de la DNN para distinguir cada par de clusters posible. La configuración óptima es aquella que maximiza la peor precisión entre pares (min-max), asegurando que incluso los clusters más difíciles de separar sean discriminables.

4. Selección del Mapa Óptimo:

   • Se prueban múltiples combinaciones de algoritmos de embedding y clustering.
   • La configuración que produce el mapa con la mayor precisión de discriminación por pares (según la DNN) se selecciona como el mapa topográfico final.

3. Contribuciones Clave

• Automatización Total: A diferencia de DeepHyperion, TOPOMAP no requiere ingeniería de características manual ni conocimiento experto del dominio. Es completamente automático y agnóstico al modelo (funciona sin acceder a los pesos internos del DL).
• Evaluación Basada en DNN: Propone un método novedoso para evaluar la calidad de los clusters utilizando una DNN como proxy de un evaluador humano, optimizando la selección de la configuración de agrupamiento.
• Mapa Topográfico Semántico: Genera una representación visual y estructurada del espacio de entrada donde las regiones (clusters) corresponden a características semánticas distinguibles.
• Eficiencia en la Detección de Fallos: Demuestra que se pueden identificar regiones de fallo con una densidad mucho mayor que la selección aleatoria, utilizando una fracción mínima de los datos de prueba.

4. Resultados Experimentales

Los autores evaluaron TOPOMAP en 6 conjuntos de datos (MNIST, CIFAR-10, Reconocimiento de Voz, Reuters, Udacity, Unity Eyes) cubriendo clasificación y regresión, utilizando mutación de modelos (DeepCrime) para simular fallos.

• Discriminación de Clusters (RQ1): La metodología selecciona configuraciones específicas para cada dominio. Las métricas tradicionales de clustering (Silueta, Davies-Bouldin) no correlacionaron consistentemente con la selección óptima, validando la necesidad del enfoque basado en DNN.
• Explicabilidad Humana (RQ2): En un estudio con humanos, se encontró una correlación significativa entre la precisión de la DNN y la capacidad humana para distinguir clusters (especialmente en MNIST). Los humanos y la DNN coinciden en que ciertas regiones son distinguibles, aunque en datos complejos (CIFAR-10) la correlación es menor.
• Detección de Fallos (RQ3):
  • Mutantes Killables: TOPOMAP supera a la selección aleatoria en un 35% en promedio para matar mutantes.
  • Mutantes No Killables: La mejora es del 61% sobre la selección aleatoria.
  • Eficiencia: Logra matar mutantes utilizando solo el 9% de las entradas de prueba, mientras que la selección aleatoria de la misma cantidad de datos tiene una probabilidad de fallo mucho menor.
  • Densidad: Las agregaciones de clusters generadas por TOPOMAP tienen una densidad de contribuyentes a fallos significativamente mayor que las selecciones aleatorias.
• Comparación con DeepHyperion (RQ4): Los mapas de TOPOMAP son semánticamente diferentes (complementarios) a los de DeepHyperion (similitud baja). TOPOMAP supera a DeepHyperion en la densidad de contribuyentes a fallos y no requiere intervención manual.
• Propagación de Fallos (RQ5): Se identificaron clusters que consistentemente contribuyen a la exposición de fallos a través de diferentes operadores de mutación, sugiriendo la existencia de "regiones macro" de fallo en el espacio de entrada.

5. Significado e Impacto

• Prueba Escalable y Automatizada: TOPOMAP ofrece una vía para escalar las pruebas de sistemas DL sin depender de expertos humanos para definir características de prueba.
• Identificación de Regiones Críticas: Permite a los desarrolladores focalizar sus esfuerzos de prueba en regiones específicas del espacio de entrada que tienen alta probabilidad de revelar fallos, optimizando el costo de prueba.
• Interpretabilidad: Al generar mapas donde los clusters son semánticamente distinguibles, facilita la comprensión de por qué un modelo falla en ciertas condiciones, no solo dónde.
• Base para Generación de Pruebas: Este trabajo sienta las bases para futuras investigaciones que utilicen estas regiones topográficas para generar nuevas entradas de prueba dirigidas específicamente a cubrir vacíos de cobertura o fallos conocidos.

En conclusión, TOPOMAP representa un avance significativo hacia la segmentación agnóstica del modelo del espacio de entrada, transformando la prueba de DL de un proceso de búsqueda aleatoria o basada en perturbaciones locales a una exploración estructurada y semántica de las regiones de fallo.