Inverting Neural Networks: New Methods to Generate Neural Network Inputs from Prescribed Outputs

Probleemstelling

Neurale netwerken (NN) vertegenwoordigen complexe mappingen van invoer naar uitvoer die vaak moeilijk te interpreteren zijn. Het artikel richt zich op het inverse probleem: het bepalen van welke invoerbeelden (pixels) worden gemapt naar specifieke neurale netwerk-uitvoer (bijvoorbeeld een bepaalde class-kansverdeling).

Bestaande methoden voor het oplossen van dit probleem hebben beperkingen:

1. Ze zoeken vaak alleen binnen het bestaande trainingsdataset.
2. Ze trainen vaak extra decoders of gebruiken geoptimaliseerde invoer die dicht bij de originele trainingsdata ligt.
3. Ze bieden geen volledige dekking van de ruimte van mogelijke invoerbeelden, waardoor ze de kwetsbaarheden van het netwerk niet volledig blootleggen.

Het doel van dit onderzoek is om methoden te ontwikkelen die willekeurige, niet-triviale invoerbeelden kunnen genereren die leiden tot een gewenste uitvoerclassificatie, ongeacht of deze beelden lijken op de originele trainingsdata.

Methodologie

De auteurs introduceren twee algemene methoden om het inverse probleem op te lossen:

1. Forward Pass Methode (Voorwaartse Pass)

• Principe: Deze methode gebruikt een wortelvindingsalgoritme (root-finding) om de invoer $x$ te vinden zodat $NN(x)$ overeenkomt met de gewenste uitvoer.
• Techniek:
  • Het start met een willekeurig initieel invoervector $x_0$.
  • Het gebruikt de Jacobian van de verliesfunctie ten opzichte van de invoer om de convergentie te versnellen.
  • Het algoritme (bijvoorbeeld Levenberg-Marquardt) minimaliseert het verschil tussen de werkelijke uitvoer en de gewenste class-verdeling.
• Voordeel: Kan worden toegepast op elk type neurale netwerkarchitectuur, inclusief complexe modellen zoals Transformers, zonder beperkingen aan de lagen.

2. Backward Pass Methode (Terugwaartse Pass)

• Principe: Deze methode invertert het netwerk laag voor laag, van de uitvoer (softmax) terug naar de invoer.
• Techniek:
  • Softmax: Wordt omgekeerd via logaritmen (met een normalisatieconstante).
  • Activeringsfuncties: Vereist dat deze omkeerbaar zijn (bijv. SELU, LeakyReLU). Als de inversie onstabiel wordt (grote getallen), wordt een fout geretourneerd.
  • Lineaire Lagen: Voor de inversie van $W_i x_{i-1} + b_i$ wordt Singular Value Decomposition (SVD) gebruikt om de pseudoinverse te berekenen.
  • Stabilisatie: Om numerieke instabiliteit te voorkomen, worden de kleinste singuliere waarden (die leiden tot een hoge condition number) verwaarloosd of op nul gezet.
  • Null-space Sampling: Een cruciale innovatie is het toevoegen van willekeurige vectoren uit de null-space van de lineaire lagen. Omdat $W_i \cdot v = 0$ voor vectoren in de null-space, verandert dit de uitvoer van die laag niet, maar genereert het wel een unieke invoer voor de vorige laag. Dit zorgt voor een oneindig aantal mogelijke invoerbeelden voor een specifieke uitvoer.
• Beperkingen: Vereist omkeerbare activeringsfuncties en is minder flexibel dan de forward pass voor niet-lineaire blokken die niet direct omkeerbaar zijn.

3. Geïntegreerde Aanpak

De auteurs stellen een gecombineerde aanpak voor waarbij de Forward Pass kan worden gebruikt voor blokken die niet omkeerbaar zijn, en de Backward Pass voor blokken die dat wel zijn. Dit maakt het mogelijk om een distributie van willekeurige invoermonsters te genereren.

Kernbijdragen

1. Nieuwe Algoritmen: Introductie van een Forward Pass (gebaseerd op Jacobian en root-finding) en een Backward Pass (gebaseerd op laag-voor-laag inversie en null-space sampling).
2. Generatie van Willekeurige Beelden: In tegenstelling tot eerdere methoden die beelden genereren die lijken op de trainingsdata, produceren deze methoden random-achtige invoerbeelden die toch een perfecte classificatiescore behalen.
3. Toepasbaarheid: De methoden worden getest op zowel lineaire netwerken (FCNN) als moderne Transformer-architecturen (Vision Transformers).
4. Geen Extra Training: De methoden vereisen geen extra training van decoders; ze werken direct met de bestaande, vooringestelde netwerken.

Resultaten

De methoden werden getest op:

• Vision Transformers (ViT): Tiny-ViT en DINOv3-Base, fine-tuned op het MNIST-dataset.
• Fully Connected Neural Networks (FCNN): Netwerken met 1, 2 en 6 lineaire lagen met SELU-activering.

Belangrijkste bevindingen:

• De gegenereerde beelden behalen een waarschijnlijkheidsscore van ≥ 0,9 voor de doelklasse en ≤ 0,1 voor alle andere klassen.
• Complexiteit en Willekeur: Er is een sterke correlatie tussen de complexiteit van het netwerk en de willekeur van de gegenereerde beelden.
  • Eenvoudige netwerken (1 laag) produceren beelden die nog enige gelijkenis vertonen met de trainingsdata.
  • Complexere netwerken (2+ lagen, ViT, DINOv3) produceren beelden die volledig willekeurig lijken en geen visuele overeenkomst hebben met de originele cijfers, maar toch correct worden geclassificeerd.
• Dit bevestigt het bias-variance trade-off: naarmate het model complexer wordt, neemt de variatie in de mogelijke oplossingen (de gegenereerde beelden) toe.

Betekenis en Conclusie

De studie onthult fundamentele kwetsbaarheden in neurale netwerken. Het feit dat willekeurige, niet-herkenbare beelden perfect kunnen worden geclassificeerd, suggereert dat netwerken mogelijk vertrouwen op subtiele, niet-intuïtieve patronen in de data in plaats van semantische kenmerken.

• Explainable AI (XAI): Deze methoden bieden een nieuw perspectief om te begrijpen hoe netwerken beslissingen nemen door te analyseren welke invoer tot welke uitvoer leidt.
• Veiligheid: De resultaten tonen aan dat netwerken gevoelig zijn voor "adversarial" aanval met willekeurige invoer.
• Toekomstig Werk: De auteurs werken aan het uitbreiden van de Backward Pass methode naar netwerken met niet-omkeerbare activeringsfuncties (zoals ReLU) door gebruik te maken van lineaire programmering.

Kortom, de paper biedt krachtige wiskundige tools om de invoerruimte van neurale netwerken volledig te verkennen en bloot te leggen dat deze netwerken vaak veel robuuster (en soms onbegrijpelijker) zijn dan eerder werd aangenomen.