💻 computer science

Tensor-Based Batch Fuzzing with Adaptive Perturbation Scaling for Deep Neural Networks

Cet article introduit un cadre de fuzzing par lots basé sur les tenseurs pour les réseaux de neurones profonds qui exploite une mise à l'échelle de la perturbation adaptative et sensible aux spécifications ainsi qu'un encodage par lots des contraintes pour atteindre un débit et des taux de détection de violations nettement plus élevés par rapport aux approches séquentielles traditionnelles.

Auteurs originaux : Guanqin Zhang, Yulei Sui

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guanqin Zhang, Yulei Sui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un inspecteur de contrôle qualité pour une flotte de voitures autonomes. Votre travail consiste à trouver des « bugs » dans leurs cerveaux (les réseaux de neurones profonds) en les soumettant à des situations délicates — comme un panneau d'arrêt qui ressemble un peu à un panneau de limitation de vitesse, ou un piéton portant une tenue étrange. Si la voiture s'embrouille et commet une erreur, vous avez trouvé un bug.

Le document présente une nouvelle méthode de test ultra-rapide, appelée Fuzzing par lots basé sur les tenseurs (Tensor-Based Batch Fuzzing). Voici comment cela fonctionne, expliqué à travers des analogies simples.

L'ancienne méthode : La file indienne

Imaginez que l'ancienne méthode de test soit comme un caissier unique dans une épicerie.

Un client à la fois : Le caissier (l'ordinateur) prend un client à la fois (une image de test), scanne ses articles, vérifie s'il a payé correctement, puis passe au suivant.
Des règles uniformes : Le caissier applique exactement la même règle à chaque article du sac. Si un sac contient un œuf minuscule et fragile et une brique lourde, le caissier les manipulera avec la même « délicatesse » ou la même « force ». Ce n'est pas efficace ; cela pourrait écraser l'œuf ou être trop faible pour déplacer la brique.
Le goulot d'étranglement : Même si le caissier est rapide, il ne peut traiter qu'une personne à la fois. Si vous avez 100 clients, cela prendra 100 fois plus de temps que si vous pouviez tous les traiter ensemble.

La nouvelle méthode : La super-chaîne de montage

Les auteurs ont construit un nouveau système qui agit comme une immense chaîne de montage automatisée avec un tapis roulant.

Traitement par lots (Le tapis roulant) : Au lieu d'un seul client, le système place 100 clients (100 images de test) sur le tapis à la fois. L'ordinateur traite les 100 en une seule « passe ». Comme les puces informatiques modernes sont conçues pour faire beaucoup de choses à la fois (comme une chorale qui chante ensemble plutôt qu'une seule personne à la fois), c'est incroyablement rapide.
Résultat : Le document affirme que cette nouvelle méthode est 40 fois plus rapide que l'ancienne méthode en file indienne.

La magie « adaptative » : Des gants sur mesure

La deuxième grande amélioration concerne la façon dont le système modifie les images de test.

Le vieux problème : Imaginez que vous essayez de faire entrer une clé dans une serrure. Si la serrure est serrée, vous avez besoin de mouvements minuscules et précis. Si la serrure est lâche, vous pouvez bouger de façon large. L'ancienne méthode utilisait le même « mouvement de va-et-vient » pour chaque serrure, peu importe si elle était serrée ou lâche. Cela signifiait qu'elle perdait du temps sur les serrures lâches ou qu'elle ne parvenait pas à briser les serrures serrées.
La nouvelle solution (Mise à l'échelle adaptative) : Le nouveau système examine chaque serrure spécifique (chaque partie de l'image) et sa règle spécifique (la « spécification »).
- Si une partie de l'image a une règle large et lâche, le système lui donne un grand mouvement.
- Si une partie a une règle étroite et stricte, le système lui donne un mouvement minuscule et précis.
L'analogie : C'est comme un tailleur fabriquant des gants sur mesure pour 100 mains différentes à la fois, plutôt que de donner la même taille de gant à tout le monde. Cela permet au système d'explorer les zones « délicates » de manière beaucoup plus efficace.

Comment cela fonctionne étape par étape

Préparation : Le système prend une liste de règles (spécifications) et les enveloppe autour du modèle d'IA. Considérez cela comme la mise en place d'un « harnais de test » personnalisé autour du cerveau de la voiture.
Sélection : Il choisit un groupe de cas de test (un « lot » ou « batch ») qui semblent prometteurs en fonction des performances passées.
Mutation (Le mouvement de va-et-vient) : Il applique le « mouvement sur mesure » (mise à l'échelle adaptative) à tous les 100 cas de test en même temps.
Le Test : Il fait passer les 100 à travers le cerveau de l'IA en une seule fois.
Le Verdict : Il vérifie instantanément : « Est-ce que l'un de ces 100 a causé une erreur ? » Si oui, il enregistre cette erreur. Si non, il conserve ceux qui étaient « intéressants » (comme ceux qui activent une nouvelle partie du cerveau) et réessaie.

Les Résultats

Les auteurs ont testé cela sur trois ensembles d'images différents (Traffic Signs, Cifar100 et TinyImageNet) en utilisant divers modèles d'IA.

Vitesse : Ils ont constaté que la nouvelle méthode pouvait traiter les tests 40 fois plus vite que l'ancienne méthode.
Succès : Dans le même laps de temps, la nouvelle méthode a trouvé 4 fois plus de bugs (erreurs) que l'ancienne méthode.
Pourquoi ? Ce n'est pas seulement qu'elle est plus rapide ; c'est aussi qu'elle est plus intelligente. En ajustant la « taille du mouvement » pour chaque partie spécifique de l'image, elle trouve des bugs que l'ancienne méthode, avec son approche « taille unique », avait manqués.

Résumé

Le document présente un outil qui arrête de tester les modèles d'IA un par un pour commencer à les tester en groupes massifs. Il arrête également l'approche « taille unique » pour modifier les images de test, préférant personnaliser les changements pour s'adapter aux règles spécifiques de chaque test. Le résultat est un système qui trouve les bugs dans les cerveaux de l'IA beaucoup plus rapidement et plus minutieusement qu'auparavant.

Résumé Technique : Fuzzing par Lots Basé sur les Tenseurs avec Mise à l'Échelle de Perturbation Adaptative pour les Réseaux de Neurones Profonds

Énoncé du Problème

Les réseaux de neurones profonds (DNN) sont de plus en plus déployés dans des domaines critiques pour la sécurité tels que la conduite autonome et le diagnostic médical. Cependant, leurs espaces de paramètres opaques et de haute dimension rendent l'évaluation systématique de la fiabilité difficile. Les cadres de fuzzing existants guidés par la couverture pour les DNN, tels que DeepHunter et TensorFuzz, souffrent de deux limitations principales :

Goulot d'étranglement du traitement séquentiel : Le fuzzing traditionnel suit un paradigme « un échantillon par itération » hérité du fuzzing logiciel classique. Cette approche ne parvient pas à exploiter la nature tensorielle inhérente à l'inférence des DNN, où le parallélisme matériel permet de traiter des lots d'entrées avec un surcoût de lancement de noyau presque identique à celui d'une entrée unique. Bien que certains outils (par exemple, TensorFuzz) utilisent le batching pour l'évaluation du modèle, leurs mécanismes de mutation et de rétroaction restent souvent séquentiels ou basés sur NumPy, ce qui entraîne une sous-utilisation du débit.
Inefficacité de la perturbation uniforme : La plupart des approches appliquent un rayon de perturbation ( $\epsilon$ ) fixe et global à toutes les dimensions d'entrée. En pratique, les spécifications d'entrée définissent souvent des bornes non uniformes par dimension (par exemple, via VNNLib). Un pas de taille uniforme force le fuzzer soit à sous-explorer les dimensions peu contraintes, soit à trop explorer les dimensions étroitement contraintes, ce qui résulte en une exploration inefficace des espaces de recherche.

Méthodologie

Les auteurs proposent un cadre de Fuzzing par Lots Sensible aux Spécifications qui déplace le paradigme de fuzzing de la mutation au niveau de l'échantillon individuel vers l'exécution au niveau de la spécification par lots. Le cœur de l'approche repose sur trois composantes techniques clés :

1. Architecture de Modèle Enveloppé (Wrapped Model)

Le cadre intègre les contraintes d'entrée et les vérifications de propriétés de sortie directement dans le réseau de neurones sous forme de couches non entraînables, créant ainsi un « modèle enveloppé » ( $M_{wrapped}$ ).

InputSpecLayer : Encode les bornes d'entrée par échantillon ( $[l, u]$ ) et impose les contraintes de région faisable via une projection ( $\Pi_{[\Phi]}$ ) lors de la passe avant.
OutputSpecLayer : Effectue des vérifications de propriétés vectorisées (par exemple, la robustesse de la classification top-1) pour tous les échantillons d'un lot simultanément.
Cette architecture permet à l'ensemble de la boucle de fuzzing (sélection de germes, mutation, inférence, suivi de la couverture et rétroaction) d'opérer sur un lot de $B$ instances de spécification en une seule passe avant, en traitant les spécifications comme des dimensions de tenseurs de premier rang.

2. Mise à l'Échelle de Perturbation Adaptative

Pour répondre aux limites des budgets de perturbation fixes, les auteurs introduisent un mécanisme de mise à l'échelle qui dérive les tailles de pas de mutation à partir des plages faisables définies par la spécification en utilisant un facteur d'échelle partagé $s \in (0, 1]$ .

Mise à l'échelle isotrope : Calcule un pas scalaire global $\eta = \bar{r} \cdot s$ , où $\bar{r}$ est la plage faisable moyenne à travers toutes les dimensions et tous les échantillons. Cela diffuse une magnitude de perturbation uniforme.
Mise à l'échelle anisotrope : Calcule un tenseur de pas par dimension $S_{b,d} = (u_{b,d} - l_{b,d}) \cdot s$ . Cela assigne des pas plus grands aux dimensions ayant des bornes plus larges et des pas plus fins aux dimensions étroitement contraintes, permettant une exploration cohérente sous des contraintes hétérogènes.

3. Pipeline de Fuzzing Basé sur les Tenseurs

Le processus de fuzzing est exécuté en quatre phases, opérant toutes sur des tenseurs par lots de taille $B$ :

Sélection de Germes (Seed Selection) : Échantillonne $B$ germes à partir d'un corpus basé sur une sélection multinomiale pondérée par l'énergie, privilégiant les entrées qui ont précédemment déclenché une nouvelle couverture ou des violations.
Mutation : Applique une stratégie sélectionnée (Gradient/PGD, Frontière ou Aléatoire) à l'ensemble du lot. La direction de la mutation est combinée avec le facteur de mise à l'échelle adaptatif (scalaire ou tenseur) et projetée de nouveau sur la région faisable.
Exécution : Effectue une passe avant par lot unique à travers $M_{wrapped}$ . Des hooks PyTorch capturent les activations intermédiaires pour le suivi de la couverture, tandis que l'OutputSpecLayer signale les violations de propriétés.
Rétroaction (Feedback) : Met à jour les scores d'énergie par échantillon en fonction des gains de couverture et du statut de violation, réinsérant les germes intéressants dans le corpus.

Contributions Clés

L'article résume ses contributions comme suit :

Cadre par Lots Sensible aux Spécifications : Un pipeline unifié de traitement parallèle qui opère au niveau des instances de spécification plutôt qu'au niveau des entrées individuelles. En intégrant les contraintes dans le modèle, il évalue $B$ spécifications en une seule passe avant, améliorant considérablement l'efficacité.
Mise à l'Échelle de Perturbation Adaptative : Un schéma qui dérive les magnitudes de mutation à partir des bornes définies par la spécification, supportant à la fois une mise à l'échelle isotrope (scalaire global) et anisotrope (tenseur par dimension) pour gérer efficacement les contraintes d'entrée hétérogènes.
Implémentation et Évaluation : Une implémentation PyTorch évaluée sur six réseaux à travers trois benchmarks (TrafficSigns, Cifar100, TinyImageNet) avec plus de 400 spécifications.

Résultats Expérimentaux

Le cadre a été évalué par rapport à une base séquentielle (simulant le paradigme « un échantillon par itération » de DeepHunter) sous un budget de temps fixe.

Débit (Throughput) : L'approche par lots basée sur les tenseurs a atteint un débit jusqu'à 40× supérieur à celui de la base séquentielle. Par exemple, sur Cifar100 et TinyImageNet, l'accélération était de 34–40×, tandis que TrafficSigns a vu une amélioration de 5× (attribuée à l'architecture de réseau plus légère permettant à la base de s'exécuter plus rapidement).
Découverte de Violations : Sous le même budget de temps, l'approche par lots a découvert 4× plus de violations que la base séquentielle.
- Sur TrafficSigns, les méthodes par lots ont trouvé environ 75 000 violations contre environ 19 000 pour la base.
- Sur Cifar100, les méthodes par lots ont trouvé environ 61 000 violations contre environ 14 000 pour la base.
Temps jusqu'à la Première Violation (TTFV) : L'approche par lots a identifié le premier contre-exemple en 0,06–1,2 seconde, alors que la base séquentielle approchait souvent le délai d'expiration de 60 secondes avant de trouver la première violation.
Anisotrope vs Isotrope : La mise à l'échelle anisotrope a montré des avantages particuliers sur les benchmarks avec des contraintes hétérogènes (par exemple, TinyImageNet) et à de plus petits facteurs d'échelle ( $s$ ), surpassant la mise à l'échelle isotrope de près de 38 % dans certaines configurations.
Impact de la Taille du Lot (Batch Size) : Une analyse statistique (test U de Mann-Whitney) a confirmé que l'augmentation de la taille du lot $B$ améliore significativement le rendement des violations, bien que le raffinement par instance diminue à mesure que $B$ croît, indiquant un compromis entre débit et raffinement.

Signification et Revendications

L'article affirme que sa principale importance réside dans le dépassement des limitations inhérentes des approches de perturbation uniforme et séquentielle dans le fuzzing de DNN. En élevant la boucle de fuzzing au niveau du tenseur et en intégrant les contraintes de spécification directement dans l'exécution du modèle, le cadre parvient à des améliorations substantielles tant dans le débit de test que dans la découverte de contre-exemples.

Les auteurs soulignent que, bien que le paradigme séquentiel puisse éventuellement découvrir des violations si le budget est multiplié par la taille du lot ( $B \times 60s$ ), sa conception « un échantillon par itération » rend la génération de contre-exemples nettement plus lente en temps réel (wall-clock time). La méthode proposée démontre que traiter les spécifications comme des dimensions de tenseurs de premier rang permet le traitement simultané de multiples chaînes de mutation, menant à un gain de « 4× plus de violations » dans la même fenêtre de temps réelle. Ce travail se positionne comme une approche complémentaire à la vérification formelle, fournissant des contre-exemples concrets rapidement plutôt que des certificats de sécurité exhaustifs.