Resumen Técnico: LATTE – Generación de Pruebas Basada en Anclajes Latentes para Redes Neuronales Profundas

Planteamiento del Problema

Las Redes Neuronales Profundas (DNN) se despliegan cada vez más en aplicaciones críticas para la seguridad, lo que requiere pruebas rigurosas para identificar las debilidades de los modelos. A diferencia del software tradicional, las DNN no fallan catastróficamente ante entradas inválidas (siempre que el formato sea correcto), sino que pueden producir clasificaciones incorrectas. Las pruebas efectivas requieren generar entradas que sean semánticamente cercanas a las semillas originales para asegurar que los fallos revelados se deban a las debilidades del modelo y no a una deriva semántica.

Los enfoques de prueba existentes enfrentan un compromiso entre la controlabilidad de la exploración, la diversidad de fallos y la proximidad semántica respecto a la semilla:

• Mutación en el espacio de entrada: Mutar píxeles directamente suele introducir una deriva semántica significativa, generando entradas que se desvían de la distribución de los datos originales.
• Generación en el espacio latente: Aunque métodos como SINVAD, Mimicry y CIT4DNN utilizan espacios latentes aprendidos para mantener la plausibilidad, tienen dificultades para equilibrar una exposición de fallos diversa con una proximidad semántica controlada. Los métodos latentes actuales suelen depender de actualizaciones no restringidas, optimización iterativa o cobertura combinatoria, careciendo de un mecanismo para una exploración explícita, centrada en la semilla y multidireccional que equilibre el descubrimiento de fallos con la fidelidad semántica.

Metodología: LATTE

Los autores proponen LATTE (Latent Anchor-Driven Test Generation), un marco de pruebas de caja negra que genera casos de prueba semánticamente próximos, diversos y que revelan fallos mediante el aprovechamiento de un colector (manifold) latente aprendido. El marco opera en tres etapas principales:

1. Extracción de Representación Latente:

   • Las semillas de entrada se codifican en un espacio latente compacto utilizando un Autoencoder Variacional Cuantizado Vectorialmente (VQ-VAE) preentrenado.
   • Esto mapea los datos de píxeles de alta dimensión a un vector latente de baja dimensión ($Z_{seed}$), asegurando que las mutaciones posteriores permanezcan dentro de la región de muestras plausibles.

2. Exploración Latente Guiada por Anclajes:

   • Anclajes: Para una semilla dada de clase $C_{seed}$, el sistema toma muestras de "anclajes" a partir de representaciones latentes de clases alternativas ($C_k \neq C_{seed}$).
   • Mutación Direccional: El vector desde la semilla hacia un anclaje define una dirección de mutación. LATTE realiza un desplazamiento latente de un solo paso a lo largo de esta dirección, controlado por un parámetro de grado de exploración ($E$).
   • Intuición: Moverse desde una semilla hacia un anclaje de una clase diferente atraviesa regiones donde las predicciones del modelo pueden volverse menos estables (regiones de incertidumbre), mientras que el colector aprendido garantiza que la entrada siga siendo visualmente plausible.

3. Reconstrucción y Decodificación:

   • Los puntos latentes mutados se pasan a través de un cuantizador vectorial para mapearlos al código más cercano en el libro de códigos (codebook) aprendido, imponiendo la proximidad al colector de datos.
   • El vector cuantificado se decodifica de vuelta al espacio de entrada para generar el caso de prueba final.

Mecanismos de Oráculo:
LATTE evalúa los casos de prueba generados bajo dos configuraciones de oráculo ampliamente adoptadas:

• Pruebas de Modelo Único: Una prueba revela un fallo si la entrada mutada provoca una predicción diferente a la de la semilla original (exponiendo la inestabilidad de la decisión).
• Pruebas de Multi-Modelo: Una prueba revela un fallo si dos modelos entrenados de forma independiente producen predicciones diferentes sobre la misma entrada (exponiendo el desacuerdo entre modelos).

Contribuciones Clave

1. Estrategia de Pruebas: La introducción de LATTE, una estrategia de exploración guiada por anclajes y centrada en la semilla para clasificadores de imágenes de caja negra. Genera entradas de seguimiento mediante desplazamiento latente controlable, soportando tanto oráculos de modelo único como de multi-modelo.
2. Caracterización Empírica: Una evaluación exhaustiva de la exploración latente guiada por anclajes con respecto a la exposición de fallos, diversidad de comportamiento, eficiencia de las pruebas y deriva semántica.
3. Evaluación: Un estudio comparativo contra líneas base de estado del arte en el espacio latente (SINVAD, Mimicry, CIT4DNN) en cinco conjuntos de datos (MNIST, FashionMNIST, SVHN, CIFAR10, ImageNet) y diez modelos de DNN.
4. Código Abierto: Provisión de una implementación de código abierto para apoyar la evaluación reproducible.

Resultados Experimentales

Los autores evaluaron LATTE frente a las líneas base bajo presupuestos de prueba equivalentes (10,000 casos de prueba por semilla o conjunto de datos).

• Exposición de Fallos (Conteo de Fallos): LATTE generó consistentemente el mayor número de casos de prueba que revelan fallos. Por ejemplo, en ImageNet con ResNet50, LATTE descubrió más de 6,200 fallos en comparación con ~5,400 para Mimicry y ~800 para SINVAD.
• Cobertura de Semillas: LATTE logró una cobertura de semillas casi perfecta (100% en todos los conjuntos de datos), asegurando que cada semilla de origen produjera al menos una entrada inductora de fallos, mientras que SINVAD cubrió solo el 29–44% de las semillas.
• Eficiencia de Pruebas: LATTE demostró una eficiencia superior, particularmente en modelos a gran escala. En ImageNet, LATTE generó 10,000 casos de prueba en ~53 segundos, comparado con ~214 segundos para Mimicry (debido a la optimización iterativa) y ~68 segundos para SINVAD.
• Diversidad de Fallos: LATTE descubrió un rango más amplio de resultados de predicción erróneos (mayor diversidad de fallos y diversidad de pares de confusión) en comparación con las líneas base, que tendían a repetir patrones de clasificación errónea similares.
• Deriva Semántica: Bajo la configuración de modelo único, LATTE mantuvo la menor deriva semántica relativa a la semilla (medida mediante la distancia de coseno en el espacio de representación de DINOv2), indicando que los fallos generados permanecieron más cerca de las semillas originales que los de las líneas base.
• Estudio de Ablación: El estudio identificó un grado de exploración óptimo ($E=3$), que equilibra una alta exposición de fallos con una baja deriva semántica. También confirmó que el VQ-VAE con un tamaño de libro de códigos de 512 proporcionaba la mejor calidad de reconstrucción y fidelidad de la distribución.

Significado y Reivindicaciones

El artículo afirma que LATTE aborda una limitación fundamental en las pruebas de DNN existentes: el compromiso entre explorar diversos modos de fallo y mantener la proximidad semántica a la entrada original.

• Exploración Equilibrada: Al enmarcar la generación de pruebas como una exploración direccional guiada por anclajes y centrada en la semilla, LATTE logra sondear vecindarios locales alrededor de las semillas donde las decisiones del modelo son menos estables sin desviarse significativamente del colector de datos.
• Aplicabilidad Práctica: El marco es efectivo para escenarios de caja negra donde los detalles internos del modelo no están disponibles. Supera a los métodos existentes en el espacio latente en exposición de fallos y diversidad, manteniendo al mismo tiempo un menor costo computacional y menor deriva semántica.
• Distinción de Ataques Adversarios: Los autores enfatizan que LATTE es distinto de los ataques adversarios. Mientras que los ataques optimizan para minimizar las perturbaciones para forzar un objetivo específico, LATTE busca revelar comportamientos diversos que activen el oráculo (inestabilidad y desacuerdo) bajo un presupuesto de prueba fijo, utilizando la proximidad semántica como una restricción en lugar de un objetivo de optimización.

Los autores concluyen que la exploración latente guiada por anclajes es una estrategia prometedora para las pruebas de caja negra de clasificadores de imágenes, equilibrando eficazmente la exposición de fallos, la diversidad de comportamiento y la proximidad semántica relativa a la semilla.