Inverting Neural Networks: New Methods to Generate Neural Network Inputs from Prescribed Outputs

Titolo: Inversione delle Reti Neurali: Nuovi Metodi per Generare Input da Output Prescritti

1. Il Problema

Le reti neurali (NN) definiscono mappature complesse dagli input agli output, spesso difficili da interpretare. Il problema inverso consiste nel determinare quali immagini di input vengono mappate a classi specifiche o distribuzioni di probabilità definite dall'utente.

• Obiettivo: Comprendere la stabilità del sistema NN identificando le caratteristiche delle immagini che portano a classificazioni specifiche.
• Motivazione: Se un sistema si basa su caratteristiche irragionevoli, è vulnerabile ad attacchi (input non correlati che generano classi specifiche). Inoltre, la mappatura inversa può essere utilizzata per generare immagini desiderate o per il riaddestramento contro esempi avversari.
• Limitazione degli approcci precedenti: I metodi esistenti (come la ricerca nel dataset di addestramento o l'ottimizzazione di immagini addestrabili) tendono a generare immagini molto simili al set di dati originale, non esplorando l'intero spazio degli input possibili.

2. Metodologia

Gli autori propongono due metodi generali per risolvere il problema inverso, assumendo che la rete sia già pre-addestrata.

A. Algoritmo Forward Pass (Passo in Avanti)

• Concetto: Utilizza metodi di ricerca delle radici (root-finding) tradizionali per generare input.
• Funzionamento:
  1. Si parte da un vettore di input casuale ($x_0$) come ipotesi iniziale.
  2. Si calcola la Jacobiana della funzione di perdita rispetto all'input.
  3. Si applica un algoritmo di ricerca delle radici (es. Levenberg-Marquardt) per trovare un input $x$ tale che $NN(x)$ corrisponda alla distribuzione di classe desiderata.
• Vantaggi: Non ha restrizioni sull'architettura della rete (applicabile a qualsiasi blocco NN).
• Meccanismo: La randomizzazione dell'ipotesi iniziale permette di convergere verso diverse soluzioni locali.

B. Algoritmo Backward Pass (Passo all'Indietro)

• Concetto: Inverte iterativamente ogni strato della rete partendo dall'output (softmax) fino all'input.
• Requisiti: Funziona su architetture con strati lineari, funzioni di attivazione invertibili (es. SELU, LeakyReLU) e softmax.
• Procedura:
  1. Inversione Softmax: Calcola gli input pre-softmax usando il logaritmo delle probabilità target.
  2. Inversione Attivazione: Applica la funzione inversa $\phi^{-1}$. Se l'inversione porta a numeri illimitati (instabilità numerica), viene restituito un errore.
  3. Inversione Strato Lineare: Per risolvere $x_{i-1} = W_i x_i + b_i$, viene utilizzata la Decomposizione ai Valori Singoli (SVD).
     • Viene calcolata la pseudoinversa $W^+$.
     • Per stabilizzare il processo, i valori singolari più piccoli (che causano un numero di condizione elevato $\kappa$) vengono azzerati se superano una soglia (es. 100).
  4. Iniezione di Null-Space (Innovazione Chiave): Per generare tutti gli input possibili che portano allo stesso output, si aggiunge un vettore casuale moltiplicato per la base del null-space di $W_i$. Questo permette di esplorare lo spazio delle soluzioni non uniche.
• Vantaggi: Genera l'insieme completo di immagini di input possibili per una data distribuzione di classe, non solo una singola soluzione.

C. Metodo Generalizzato
È possibile combinare i due approcci: usare FORWARDPASSINV per invertire blocchi generici e BACKPASSINV per blocchi con attivazioni invertibili, permettendo la generazione di una distribuzione di campioni di input casuali.

3. Risultati Sperimentali

Gli autori hanno testato i metodi su diverse architetture:

• Trasformatori (Vision Transformers): Applicato a tiny-ViT e DINOv3-Base addestrati su MNIST.
• Reti Fully Connected (FCNN): Reti con 1, 2 e 6 strati lineari seguiti da attivazioni SELU.

Risultati Chiave:

1. Qualità della Classificazione: Le immagini generate producono punteggi di probabilità quasi perfetti (≥ 0.9) per la classe target e ≤ 0.1 per le altre.
2. Natura delle Immagini:
   • I metodi precedenti generavano immagini simili ai dati di addestramento.
   • I nuovi metodi generano immagini casuali (random-like) che sono lontane dal set di addestramento.
   • L'aspetto "casuale" aumenta con la complessità della rete: le reti a 1 strato mostrano ancora alcune somiglianze con i dati originali, mentre le reti a 2+ strati e i Transformer producono immagini completamente prive di struttura riconoscibile umana.
3. Vulnerabilità: Il fatto che immagini casuali vengano classificate con alta confidenza rivela una vulnerabilità intrinseca nelle architetture sottostanti: la rete non sta imparando caratteristiche robuste, ma sta sfruttando pattern spuri o sovradimensionati.

4. Contributi Principali

1. Algoritmo Forward Pass: Un metodo basato su ricerca delle radici e Jacobiana, applicabile a qualsiasi blocco architetturale, che non richiede addestramento aggiuntivo (es. decoder).
2. Algoritmo Backward Pass: Un approccio sofisticato che inverte strato per strato, utilizzando la SVD per la stabilità e campionando dal null-space per generare variazioni infinite di input validi.
3. Dimostrazione di Vulnerabilità: Evidenzia che le reti neurali moderne (inclusi i Transformer) possono essere ingannate o "ingannate" da input casuali che soddisfano le condizioni matematiche della classificazione, sfidando l'idea che le immagini generate debbano assomigliare a dati reali.
4. Copertura Completa: I metodi offrono una copertura più completa dello spazio degli input rispetto alle tecniche precedenti.

5. Significato e Conclusioni

Il lavoro dimostra che l'inversione delle reti neurali non è solo un esercizio teorico, ma uno strumento potente per l'Explainable AI (XAI) e la sicurezza.

• Implicazioni per la Sicurezza: La capacità di generare input casuali che ottengono classificazione perfetta suggerisce che le reti potrebbero non essere robuste quanto sembra e che le loro decisioni potrebbero basarsi su caratteristiche non intuitive o non visibili all'occhio umano.
• Generazione di Immagini: Il metodo può essere utilizzato come generatore di immagini per creare dati di addestramento sintetici o per testare la robustezza dei modelli.
• Lavori Futuri: Gli autori stanno lavorando per estendere il metodo BACKPASSINV per gestire funzioni di attivazione non invertibili come ReLU, utilizzando metodi di programmazione lineare.

In sintesi, il paper introduce un framework matematico rigoroso per "capovolgere" le reti neurali, rivelando che la loro capacità di generalizzare può nascondere una fragilità fondamentale quando esposta a input fuori distribuzione ma matematicamente coerenti.