Technische Samenvatting: LATTE – Latent Anchor-Driven Test Generation voor Deep Neural Networks

Probleemstelling

Deep Neural Networks (DNN's) worden steeds vaker ingezet in veiligheidskritische toepassingen, wat rigoureuze tests noodzakelijk maakt om de zwakheden van modellen te identificeren. In tegenstelling tot traditionele software crashen DNN's niet bij ongeldige inputs (mits het formaat correct is), maar kunnen ze onjuiste classificaties produceren. Effectieve testing vereist het genereren van inputs die semantisch dicht bij de originele seeds liggen, om ervoor te zorgen dat de onthulde fouten voortkomen uit de zwakheden van het model en niet uit semantische drift.

Bestaande testbenaderingen kampen met een afruil tussen de controleerbaarheid van exploratie, de diversiteit van fouten en de semantische nabijheid tot de seed:

• Input-ruimte mutatie: Het direct muteren van pixels introduceert vaak aanzienlijke semantische drift, waardoor inputs ontstaan die afwijken van de oorspronkelijke datadistributie.
• Latente-ruimte generatie: Hoewel methoden zoals SINVAD, Mimicry en CIT4DNN gebruikmaken van geleerde latente ruimtes om plausibiliteit te behouden, worstelen zij met het balanceren van diverse foutexpositie met gecontroleerde semantische nabijheid. Huidige latente methoden vertrouwen vaak op ongecontroleerde updates, iteratieve optimalisatie of combinatorische dekking, en missen een mechanisme voor expliciete, op de seed gecentreerde, multidirectionele exploratie die een balans vindt tussen foutdetectie en semantische getrouwheid.

Methodologie: LATTE

De auteurs stellen LATTE (Latent Anchor-Driven Test Generation) voor, een black-box testframework dat semantisch nabije, diverse en fout-onthullende testgevallen genereert door gebruik te maken van een geleerd latent manifold. Het framework werkt in drie primaire fasen:

1. Extractie van de latente representatie:

   • Input-seeds worden gecodeerd in een compacte latente ruimte met behulp van een vooraf getrainde Vector Quantized Variational Autoencoder (VQ-VAE).
   • Dit brengt hoogdimensionale pixeldata in kaart naar een lagerdimensionale, semantisch betekenisvolle latente vector ($Z_{seed}$), wat garandeert dat opeenvolgende mutaties binnen de regio van plausibele samples blijven.

2. Anker-gestuurde latente exploratie:

   • Ankers: Voor een gegeven seed van klasse $C_{seed}$ samplet het systeem "ankers" uit de latente representaties van alternatieve klassen ($C_k \neq C_{seed}$).
   • Directionele mutatie: De vector van de seed naar een anker definieert een mutatierichting. LATTE voert een eenstaps latente verplaatsing uit langs deze richting, gecontroleerd door een exploratiegraad-parameter ($E$).
   • Intuïtie: Het bewegen van een seed naar een anker van een andere klasse doorloopt regio's waar de voorspellingen van het model minder stabiel kunnen worden (onzekerheidsregio's), terwijl het geleerde manifold ervoor zorgt dat de input visueel plausibel blijft.

3. Reconstructie en Decodering:

   • Gemuteerde latente punten worden door een vector quantizer gestuurd om ze in kaart te brengen naar het dichtstbijzijnde codeword in de geleerde codebook, wat de nabijheid tot het datamanifold afdwingt.
   • De gekwantiseerde vector wordt gedecodeerd terug naar de inputruimte om het uiteindelijke testgeval te genereren.

Oracle Mechanismen:
LATTE evalueert gegenereerde testgevallen onder twee breed geadopteerde oracle-instellingen:

• Single-Model Testing: Een test is fout-onthullend als de gemuteerde input een andere voorspelling triggert dan de originele seed (het blootleggen van beslissingsinstabiliteit).
• Multi-Model Testing: Een test is fout-onthullend als twee onafhankelijk getrainde modellen verschillende voorspellingen produceren op dezelfde input (het blootleggen van model-disagreement).

Belangrijkste Bijdragen

1. Teststrategie: De introductie van LATTE, een seed-centrische, anker-gestuurde strategie voor black-box beeldclassificatie. Het genereert follow-up inputs via controleerbare latente verplaatsing, en ondersteunt zowel single-model als multi-model oracles.
2. Empirische Karakterisering: Een uitgebreide evaluatie van anker-gestuurde latente exploratie met betrekking tot foutexpositie, gedragsdiversiteit, testefficiëntie en semantische drift.
3. Evaluatie: Een vergelijkende studie tegen state-of-the-art latente-ruimte baselines (SINVAD, Mimicry, CIT4DNN) over vijf datasets (MNIST, FashionMNIST, SVHN, CIFAR10, ImageNet) en tien DNN-modellen.
4. Open Source: De verstrekking van een open-source implementatie om reproduceerbare evaluatie te ondersteunen.

Experimentele Resultaten

De auteurs hebben LATTE geëvalueerd tegen baselines onder gelijke testbudgetten (10.000 testgevallen per seed of dataset).

• Foutexpositie (Aantal fouten): LATTE genereerde consistent het hoogste aantal fout-onthullende testgevallen. Bijvoorbeeld, op ImageNet met ResNet50 onthulde LATTE meer dan 6.200 fouten vergeleken met ~5.400 voor Mimicry en ~800 voor SINVAD.
• Seed Dekking: LATTE bereikte een bijna perfecte seed-dekking (100% over datasets), wat garandeert dat elke bron-seed ten minste één fout-inducerende input opleverde, terwijl SINVAD slechts 29–44% van de seeds dekte.
• Testefficiëntie: LATTE demonstreerde superieure efficiëntie, met name bij grootschalige modellen. Op ImageNet genereerde LATTE 10.000 testgevallen in ~53 seconden, vergeleken met ~214 seconden voor Mimicry (vanwege iteratieve optimalisatie) en ~68 seconden voor SINVAD.
• Foutdiversiteit: LATTE onthulde een breder scala aan foutieve voorspellingsuitkomsten (hogere fout-diversiteit en confusion-pair diversiteit) vergeleken met baselines, die de neiging hadden om vergelijkbare misclassificatiepatronen te herhalen.
• Semantische Drift: Onder de single-model instelling behield LATTE de laagste seed-relatieve semantische drift (gemeten via cosinusafstand in de DINOv2-representatieruimte), wat aangeeft dat de gegenereerde fouten dichter bij de originele seeds bleven dan die van de baselines.
• Ablatieonderzoek: De studie identificeerde een optimale exploratiegraad ($E=3$), die een balans vindt tussen hoge foutexpositie en lage semantische drift. Het bevestigde ook dat VQ-VAE met een codebook grootte van 512 de beste reconstructiekwaliteit en distributionele getrouwheid bood.

Betekenis en Claims

Het artikel claimt dat LATTE een fundamentele beperking in bestaande DNN-testing aanpakt: de afruil tussen het exploreren van diverse foutmodi en het behouden van semantische nabijheid tot de originele input.

• Gebalanceerde Exploratie: Door testgeneratie te kaderen als seed-gecentreerde, anker-gestuurde directionele exploratie, slaagt LATTE erin om lokale buurten rondom seeds te verkennen waar modelbeslissingen minder stabiel zijn, zonder significant af te wijken van het datamanifold.
• Praktische Toepasbaarheid: Het framework is effectief voor black-box scenario's waarbij interne modeldetails niet beschikbaar zijn. Het presteert beter dan bestaande latente-ruimte methoden op het gebied van foutexpositie en diversiteit, terwijl het een lagere computationele overhead en lagere semantische drift behoudt.
• Onderscheid van Adversarial Attacks: De auteurs benadrukken dat LATTE verschilt van adversarial attacks. Waar aanvallen optimaliseren voor minimale perturbaties om een specif kind doel te forceren, streeft LATTE ernaar om diverse, oracle-triggerende gedragingen (instabiliteit en disagreement) te onthullen onder een vastgesteld testbudget, waarbij semantische nabijheid wordt gebruikt als een beperking in plaats van een optimalisatiedoel.

De auteurs concluderen dat anker-gestuurde latente exploratie een veelbelovende strategie is voor de black-box testing van beeldclassificatie, waarbij een effectieve balans wordt gevonden tussen foutexpositie, gedragsdiversiteit en seed-relatieve semantische nabijheid.