Linear Model Extraction via Factual and Counterfactual Queries

Questo lavoro analizza la sicurezza dei modelli lineari di fronte ad attacchi di estrazione, dimostrando che l'uso di query controfattuali (specialmente quelle robuste) e la scelta della funzione di distanza influenzano drasticamente il numero di interrogazioni necessarie per recuperare i parametri del modello, potendo arrivare a una singola query con distanze differenziabili o crescere linearmente con la dimensionalità dei dati per distanze poliedriche.

L'essenziale

🕵️‍♂️ Il Grande Furto del Segreto: Come Rubare la "Ricetta" di un Intelligenza Artificiale

Immagina di avere un cuoco misterioso (il modello di Intelligenza Artificiale) che lavora in una cucina chiusa a chiave. Tu non puoi vedere cosa c'è dentro, né puoi leggere il suo libro di ricette. Tuttavia, puoi chiedergli di cucinare dei piatti (fornire dei dati) e lui ti dirà se sono "Buoni" (Sì) o "Cattivi" (No).

L'obiettivo di questo studio è capire: quante domande dobbiamo fare a questo cuoco per scoprire esattamente qual è la sua ricetta segreta (i parametri del modello)?

Gli autori del paper analizzano tre modi diversi per fare queste domande, usando un'analogia culinaria per renderle chiare.

---

1. Le Tre Tipologie di Domande (Le "Sondaggi")

A. La Domanda Semplice (Query Fattuale)

• Cos'è: Chiedi al cuoco: "Se metto questo ingrediente X nel piatto, è buono o cattivo?"
• Cosa scopri: Se il cuoco dice "Cattivo", sai che quel punto è nella zona dei piatti rovinati. Se dici "Buono", è nella zona dei piatti riusciti.
• Il limite: Devi fare tantissime domande per capire dove passa esattamente la linea che separa i piatti buoni da quelli cattivi. È come cercare di disegnare un muro lanciando sassi e aspettando di vedere dove cadono.

B. La Domanda "Cosa succederebbe se..." (Query Controfattuale)

• Cos'è: Chiedi al cuoco: "Questo piatto è cattivo. Ma qual è la piccolissima modifica che devo fare (es. un pizzico di sale in più) per renderlo buono?"
• L'immagine: Il cuoco ti dà il piatto modificato che sta esattamente sulla linea di confine tra "Buono" e "Cattivo".
• Il vantaggio: È molto più potente. Se la "regola" del cuoco è semplice (lineare), a volte una sola domanda di questo tipo ti svela tutta la ricetta, a patto che la misura della "piccola modifica" sia liscia e regolare (come un cerchio perfetto).

C. La Domanda "Resistente" (Query Robusta)

• Cos'è: Chiedi al cuoco: "Fammi un piatto che sia buono anche se qualcuno gli fa un piccolo scherzo (es. lo scuote o gli toglie un po' di sale)."
• L'immagine: Non ti dà un punto sulla linea di confine, ma un'area sicura. È come se il cuoco ti dicesse: "Fino a qui è sicuro, ma se vai oltre, anche con un piccolo urto, il piatto diventa cattivo".
• Il vantaggio per la sicurezza: È più difficile rubare la ricetta con questo metodo, perché il cuoco ti dà meno informazioni precise sul confine esatto.

---

2. Il Segreto della "Misura": Cerchi vs. Quadrati

Qui entra in gioco la parte più affascinante del paper. Tutto dipende da come misuriamo la "piccola modifica" (la distanza).

Immagina due modi per misurare quanto hai spostato il piatto:

1. La Misura Liscia (Norma Differenziabile): Immagina di misurare la distanza come se fosse un cerchio perfetto. Non ci sono spigoli.
   • Risultato: Se usi questo metodo, una sola domanda "Cosa succederebbe se..." è sufficiente per rubare l'intera ricetta del cuoco. È come se il cerchio ti indicasse esattamente la direzione del muro.
2. La Misura Sghemba (Norma Non Differenziabile): Immagina di misurare la distanza come se fosse un quadrato o un ottagono (con spigoli vivi).
   • Risultato: Qui le cose si complicano. Una sola domanda non basta, perché lo spigolo del quadrato può nascondere la direzione esatta del muro. Per scoprire la ricetta completa, devi fare molte più domande (tant'è che il numero di domande cresce in base alla complessità del problema, cioè al numero di ingredienti).

In sintesi: Se il sistema di misura ha degli "spigoli" (come il quadrato), è più difficile rubare la ricetta. Se è liscio (come il cerchio), è facilissimo.

---

3. La Robustezza è un "Muro di Protezione"

Gli autori scoprono che se il cuoco ti dà una risposta "Robusta" (quella resistente agli scherzi):

• Devi fare il doppio delle domande rispetto al caso normale per rubare la ricetta.
• Inoltre, devi anche chiedere conferma su quale lato della linea è "Buono" e quale è "Cattivo" (una domanda in più).

È come se il cuoco, invece di darti un punto preciso sulla linea di confine, ti desse un'area di sicurezza. Per capire dove passa esattamente la linea, devi fare più tentativi.

---

🎯 La Conclusione in Pillole

1. La Sicurezza dipende dalla Matematica: Se un'azienda vuole proteggere il suo modello AI, dovrebbe usare metodi di misura che abbiano degli "spigoli" (come le distanze a forma di quadrato) invece di quelli lisci (cerchi). Questo rende molto più difficile per un hacker rubare la ricetta.
2. Le Spiegazioni sono un'arma a doppio taglio: Le spiegazioni "Cosa succederebbe se..." (controfattuali) sono fantastiche per far capire le decisioni all'utente, ma sono anche un'arma potentissima per gli hacker. Se sono troppo precise e usano misure lisce, rivelano tutto il modello con una sola domanda.
3. Più è Robusto, più è Sicuro: Fornire spiegazioni che tengono conto di piccoli errori o variazioni (robuste) aumenta la sicurezza, perché costringe l'attaccante a fare molte più domande per capire il modello.

In parole povere: Questo studio ci dice che per proteggere i segreti delle Intelligenze Artificiali, non basta nasconderli; bisogna anche scegliere come spiegarli. Se le spiegazioni sono troppo "perfette" e lisce, il segreto è già svelato. Se sono un po' "sghembe" e robuste, il segreto rimane al sicuro.

Sommario tecnico

Titolo: Estrazione di Modelli Lineari tramite Query Fattuali e Controfattuali

Autori: Daan Otto, Jannis Kurtz, Dick den Hertog, Ilker Birbil (Università di Amsterdam).

---

1. Problema e Contesto

Il lavoro si concentra sulla sicurezza dei modelli di machine learning, in particolare sul rischio di attacchi di estrazione del modello (model extraction attacks). L'obiettivo di un attaccante è ricostruire i parametri di un modello "black-box" (in questo caso, classificatori lineari) interrogandolo con un insieme selezionato di punti dati.

Il contesto è reso più complesso dall'aumento della domanda di spiegabilità (XAI). Per fornire trasparenza, i sistemi spesso generano spiegazioni controfattuali: piccole perturbazioni di un'istanza fattuale che portano a un cambiamento della decisione del modello (es. "Cosa dovrebbe cambiare nel mio profilo per ottenere un prestito?").
Il paper indaga come queste spiegazioni, insieme alle query fattuali standard, possano essere sfruttate per estrarre i parametri del modello sottostante, compromettendo la proprietà intellettuale e la privacy.

2. Metodologia

Gli autori analizzano tre tipi di query:

1. Query Fattuali ($q_F$): Restituiscono l'etichetta di classe ($+1$ o $-1$) per un punto dato.
2. Query Controfattuali ($q_{CF}$): Restituiscono il punto più vicino (in termini di una norma $\|\cdot\|_{N1}$) che cambia la classificazione rispetto all'istanza originale.
3. Query Controfattuali Robuste ($q_{RCF}$): Restituiscono un punto tale che l'intera sfera di robustezza (definita da una norma $\|\cdot\|_{N2}$ e raggio $\rho$) attorno ad esso cambi la classificazione. Questo garantisce che la spiegazione rimanga valida anche in presenza di piccole perturbazioni dei dati.

Approccio Matematico:

• Formulazione delle Regioni di Classificazione: Per un insieme arbitrario di query, gli autori derivano nuove formulazioni matematiche per determinare le regioni dello spazio dei dati per cui la classificazione è certa (regioni "Sì" e "No") senza dover interrogare nuovamente il modello. Utilizzano la dualità dell'ottimizzazione per caratterizzare questi insiemi come poliedri o insiemi conici quadratici.
• Analisi delle Norme: Distinguono tra norme differenziabili (es. $\ell_2$) e non differenziabili (es. $\ell_1$, $\ell_\infty$). Questa distinzione è cruciale perché influenza la struttura del subdifferenziale della funzione di distanza, determinando quanto facilmente i parametri del modello possono essere isolati.
• Teoria dell'Ottimizzazione Robusta: Vengono applicate tecniche di ottimizzazione robusta per analizzare le query controfattuali robuste, dove il vincolo deve valere per tutti i punti all'interno di un insieme di incertezza.

3. Risultati Chiave e Teoremi

A. Estrazione con Query Fattuali

• È noto che con un numero polinomiale di query fattuali si può approssimare il modello. Tuttavia, il paper mostra che, dato un insieme arbitrario di query, è possibile determinare matematicamente la classificazione di nuovi punti (all'interno di regioni convesse estese oltre l'inviluppo convesso dei punti originali) risolvendo problemi di ottimizzazione lineare.

B. Estrazione con Query Controfattuali (CF)

• Norme Differenziabili (es. $\ell_2$): È sufficiente una singola query controfattuale per recuperare esattamente i parametri del modello (a meno di un fattore di scala). La direzione del gradiente della norma fornisce direttamente la direzione del vettore normale del piano iperplanare.
• Norme Non Differenziabili (es. $\ell_1, \ell_\infty$): Una singola query non è sufficiente perché il subdifferenziale non è un singolo punto. Il numero di query necessarie cresce linearmente con la dimensionalità $p$ dei dati.
  • Risultato: Servono $p + 1$ query controfattuali per recuperare l'iperpiano esatto.
  • Viene proposto un algoritmo (Algorithm 1) che costruisce una base dello spazio e interroga controfattuali lungo queste direzioni per risolvere il sistema lineare.

C. Estrazione con Query Controfattuali Robuste (RCF)

• Le query robuste offrono un livello di privacy superiore.
• Norme Differenziabili: Servono 1 query robusta + 1 query fattuale. La query fattuale è necessaria per determinare su quale lato dell'iperpiano si trova la regione di classificazione (poiché la query robusta fornisce solo la distanza e la direzione, ma non l'orientamento assoluto senza sapere la classe originale).
• Norme Non Differenziabili: Il numero di query raddoppia rispetto al caso non robusto.
  • Risultato: Servono $p + 1$ coppie di query (robusta + fattuale).
  • La necessità di query fattuali aggiuntive deriva dal fatto che i punti controfattuali robusti non giacciono esattamente sull'iperpiano decisionale, ma a una distanza $\rho$ da esso, rendendo il sistema di equazioni non lineare fino a quando non si normalizza la norma duale.

D. Tabella Riassuntiva dei Risultati (Tabella 1 del paper)

Tipo Query	Norma ($N1$)	Risultato Estrazione	Numero Query Necessarie
Fattuale	-	Approssimazione $\epsilon$	$O(\log(\epsilon^{-1}))$
Controfattuale (CF)	Differenziabile	Esatto	1
Controfattuale (CF)	Non Diff.	Esatto	$p + 1$
Robusta (RCF)	Differenziabile	Esatto	1 RCF + 1 Fattuale
Robusta (RCF)	Non Diff.	Esatto	$p + 1$ RCF + $p + 1$ Fattuale

4. Contributi Principali

1. Caratterizzazione Matematica: Derivazione di formulazioni computazionalmente trattabili per le regioni di classificazione ("Sì" e "No") basate su insiemi arbitrari di query fattuali e controfattuali, estendendo la letteratura precedente che si limitava all'inviluppo convesso.
2. Limiti Teorici di Complessità: Stabilimento di limiti superiori precisi sul numero di query necessarie per l'estrazione esatta di classificatori lineari, dimostrando come la scelta della norma di distanza e la robustezza influenzino drasticamente la sicurezza.
3. Impatto della Robustezza: Dimostrazione che l'uso di spiegazioni controfattuali robuste aumenta significativamente la difficoltà di estrazione del modello, richiedendo il doppio delle query nel caso di norme non differenziabili.

5. Significato e Implicazioni

• Sicurezza e Privacy: Il lavoro evidenzia che le spiegazioni controfattuali, sebbene utili per la trasparenza, rappresentano un vettore di attacco critico. La scelta della funzione di distanza per generare queste spiegazioni è un parametro di sicurezza fondamentale.
• Scelta delle Norme: L'uso di norme non differenziabili (come $\ell_1$ o $\ell_\infty$) per la generazione di controfattuali è raccomandato per proteggere i modelli lineari, poiché richiede un numero di query proporzionale alla dimensionalità dei dati per un attacco completo.
• Trade-off: Esiste un trade-off tra la qualità/robustezza della spiegazione e la sicurezza del modello. Le spiegazioni robuste offrono maggiore affidabilità all'utente ma, paradossalmente, richiedono più query per essere sfruttate in un attacco, fornendo quindi un ulteriore strato di protezione.
• Limiti e Futuro: Lo studio assume dati continui e query ottimali esatte. In scenari reali con dati categoriali, vincoli sulle feature o algoritmi euristici (non ottimali) per i controfattuali, la sicurezza potrebbe variare. Il lavoro apre la strada a studi su modelli non lineari (es. alberi decisionali, reti neurali).

In sintesi, il paper dimostra che la sicurezza di un modello lineare contro attacchi di estrazione dipende intrinsecamente dal meccanismo di generazione delle spiegazioni: norme non differenziabili e l'uso di controfattuali robusti sono strategie efficaci per mitigare il rischio di furto di proprietà intellettuale.