Resumen Técnico: Fuzzing por Lotes Basado en Tensores con Escalamiento de Perturbación Adaptativo para Redes Neuronales Profundas

Planteamiento del Problema

Las Redes Neuronales Profundas (DNN) se despliegan cada vez más en dominios críticos para la seguridad, como la conducción autónoma y el diagnóstico médico. Sin embargo, sus espacios de parámetros opacos y de alta dimensión dificultan la evaluación sistemática de su fiabilidad. Los marcos de fuzzing guiados por cobertura existentes para DNN, como DeepHunter y TensorFuzz, sufren de dos limitaciones primarias:

1. Cuello de Botella de Procesamiento Secuencial: El fuzzing tradicional sigue un paradigma de "un-entrada-por-iteración" heredado del fuzzing de software clásico. Este enfoque no logra aprovechar la naturaleza tensorial inherente de la inferencia de las DNN, donde el paralelismo a nivel de hardware permite procesar lotes de entradas con un overhead de lanzamiento de kernel casi idéntico al de una sola entrada. Aunque algunas herramientas (por ejemplo, TensorFuzz) utilizan el procesamiento por lotes para la evaluación del modelo, sus mecanismos de mutación y retroalimentación suelen seguir siendo secuenciales o basados en NumPy, lo que resulta en un rendimiento subutilizado.
2. Ineficiencia de la Perturbación Uniforme: La mayoría de los enfoques aplican un radio de perturbación ($\epsilon$) fijo y global en todas las dimensiones de entrada. En la práctica, las especificaciones de entrada suelen definir límites no uniformes por dimensión (por ejemplo, mediante VNNLib). Un tamaño de paso uniforme obliga al fuzzer a o bien subexplorar dimensiones con restricciones laxas, o bien sobreexplorar aquellas con restricciones estrictas, lo que resulta en espacios de búsqueda ineficientes.

Metodología

Los autores proponen un marco de Fuzzing por Lotes Consciente de la Especificación que cambia el paradigma de fuzzing de la mutación secuencial a nivel de entrada hacia la ejecución por lotes a nivel de especificación. El núcleo del enfoque involucra tres componentes técnicos clave:

1. Arquitectura de Modelo Envolvente (Wrapped Model)

El marco integra las restricciones de entrada y las verificaciones de propiedades de salida directamente en la red neuronal como capas no entrenables, creando un "modelo envolvente" ($M_{wrapped}$).

• Capa InputSpecLayer: Codifica los límites de entrada por muestra ($[l, u]$) y aplica restricciones de región factible mediante proyección ($\Pi_{[\Phi]}$) durante el pase hacia adelante (forward pass).
• Capa OutputSpecLayer: Realiza verificaciones de propiedades vectorizadas (por ejemplo, robustez de clasificación top-1) para todas las muestras en un lote simultáneamente.
  Esta arquitectura permite que todo el bucle de fuzzing (selección de semillas, mutación, inferencia, seguimiento de cobertura y retroalimentación) opere sobre un lote de $B$ instancias de especificación en un solo pase hacia adelante, tratando las especificaciones como dimensiones tensoriales de primera clase.

2. Escalamiento de Perturbación Adaptativo

Para abordar las limitaciones de los presupuestos de perturbación fijos, los autores introducen un mecanismo de escalamiento que deriva los tamaños de paso de mutación de los rangos factibles definidos por la especificación utilizando un factor de escala compartido $s \in (0, 1]$.

• Escalamiento Isotrópico: Calcula un tamaño de paso escalar global $\eta = \bar{r} \cdot s$, donde $\bar{r}$ es el rango factible medio a través de todas las dimensiones y muestras. Esto transmite una magnitud de perturbación uniforme.
• Escalamiento Anisotrópico: Calcula un tensor de tamaño por dimensión $S_{b,d} = (u_{b,d} - l_{b,d}) \cdot s$. Esto asigna pasos más grandes a las dimensiones con límites más amplios y pasos más finos a las dimensiones estrictamente restringidas, permitiendo una exploración consistente bajo restricciones heterogéneas.

3. Pipeline de Fuzzing Basado en Tensores

El proceso de fuzzing se ejecuta en cuatro fases, todas operando sobre tensores por lotes de tamaño $B$:

• Selección de Semillas: Muestrea $B$ semillas de un corpus basado en la selección multinomial ponderada por energía, priorizando las entradas que previamente dispararon nueva cobertura o violaciones.
• Mutación: Aplica una estrategia seleccionada (Gradiente/PGD, Frontera o Aleatoria) a todo el lote. La dirección de la mutación se combina con el factor de escalamiento adaptativo (escalar o tensor) y se proyecta de nuevo sobre la región factible.
• Ejecución: Realiza un único pase hacia adelante por lotes a través de $M_{wrapped}$. Los hooks de PyTorch capturan las activaciones intermedias para el seguimiento de la cobertura, mientras que la capa OutputSpecLayer señala las violaciones de propiedades.
• Retroalimentación: Actualiza las puntuaciones de energía por muestra basadas en las ganancias de cobertura y el estado de violación, reinsertando las semillas interesantes en el corpus.

Contribuciones Clave

El artículo resume sus contribuciones de la siguiente manera:

1. Marco por Lotes Consciente de la Especificación: Un pipeline unificado de procesamiento paralelo de datos que opera al nivel de las instancias de especificación en lugar de entradas individuales. Al embeber las restricciones en el modelo, evalúa $B$ especificaciones en un solo pase hacia adelante, mejorando significativamente la eficiencia.
2. Escalamiento de Perturbación Adaptativo: Un esquema que deriva las magnitudes de mutación de los límites definidos por la especificación, soportando tanto el escalamiento isotrópico (escalar global) como el anisotrópico (tensor por dimensión) para manejar eficazmente las restricciones de entrada heterogéneas.
3. Implementación y Evaluación: Una implementación en PyTorch evaluada en seis redes a través de tres benchmarks (TrafficSigns, Cifar100, TinyImageNet) con más de 400 especificaciones.

Resultados Experimentales

El marco fue evaluado contra un baseline secuencial (que simula el paradigma de una-entrada-por-iteración de DeepHunter) bajo un presupuesto de tiempo fijo.

• Rendimiento (Throughput): El enfoque por lotes basado en tensores logró hasta un 40× mayor rendimiento que el baseline secuencial. Por ejemplo, en Cifar100 y TinyImageNet, la aceleración fue de 34–40×, mientras que en TrafficSigns hubo una mejora de 5× (atribuido a la arquitectura de red más ligera que permite que el baseline corra más rápido).
• Descubrimiento de Violaciones: Bajo el mismo presupuesto de tiempo, el enfoque por lotes descubrió 4× más violaciones que el baseline secuencial.
  • En TrafficSigns, los métodos por lotes encontraron ~75,000 violaciones frente a ~19,000 del baseline.
  • En Cifar100, los métodos por lotes encontraron ~61,000 violaciones frente a ~14,000 del baseline.
• Tiempo para la Primera Violación (TTFV): El enfoque por lotes identificó el primer contraejemplo en 0.06–1.2 segundos, mientras que el baseline secuencial a menudo se acercaba al tiempo de espera de 60 segundos antes de encontrar la primera violación.
• Anisotrópico vs. Isotrópico: El escalamiento anisotrópico mostró ventajas particulares en benchmarks con restricciones heterogéneas (por ejemplo, TinyImageNet) y en factores de escala ($s$) pequeños, superando al escalamiento isotrópico hasta en un 38% en configuraciones específicas.
• Impacto del Tamaño del Lote: El análisis estadístico (prueba Mann-Whitney U) confirmó que aumentar el tamaño del lote $B$ mejora significativamente el rendimiento de violaciones, aunque el refinamiento por instancia disminuye a medida que $B$ crece, indicando un compromiso entre throughput y refinamiento.

Significancia y Reivindicaciones

El artículo afirma que su principal significancia radica en superar las limitaciones inherentes de los enfoques de perturbación uniforme y secuencial en el fuzzing de DNN. Al elevar el bucle de fuzzing al nivel de los tensores e integrar las restricciones de especificación directamente en la ejecución del modelo, el marco logra mejoras sustanciales tanto en el rendimiento de las pruebas como en el descubrimiento de contraejemplos.

Los autores enfatizan que, si bien el paradigma secuencial puede eventualmente descubrir violaciones dado un presupuesto escalado por el tamaño del lote ($B \times 60s$), su diseño de una-entrada-por-iteración hace que la generación de contraejemplos sea significativamente más lenta en tiempo de reloj real. El método propuesto demuestra que tratar las especificaciones como dimensiones tensoriales de primera clase permite el procesamiento simultáneo de múltiples cadenas de mutación, lo que conduce a una ganancia de "4× más violaciones" dentro del mismo intervalo de tiempo real. Este trabajo posiciona al enfoque como un complemento de la verificación formal, proporcionando contraejemplos concretos rápidamente en lugar de certificados de seguridad exhaustivos.