🤖 machine learning

CEAR: Certified Ensemble Adversarial Robustness in DNNs

Questo articolo introduce CEAR, un metodo di difesa basato su ensemble che combina l'addestramento empirico con il smoothing randomizzato e nuovi meccanismi di voto per ottenere una robustezza certificata superiore contro attacchi white-box adattivi su molteplici dataset.

Autori originali: Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un team di guardie esperte (una Rete Neurale Profonda) che protegge un edificio prezioso. Il loro compito è riconoscere i visitatori e far entrare le persone giuste. Tuttavia, ci sono ladri astuti (attacchi avversari) che possono apportare piccole, quasi invisibili modifiche all'aspetto di un visitatore — come un cappello leggermente diverso o una sottile varia old della postura — per ingannare le guardie e far entrare un criminale.

Il documento presenta un nuovo sistema di sicurezza chiamato CEAR (Robustezza Avversaria d'Insieme Certificata). Invece di affidarsi a una sola guardia o a un solo tipo di trucco per fermare i ladri, CEAR utilizza una combinazione di tre strategie intelligenti per rendere il team di sicurezza quasi impossibile da ingannare.

Ecco come funziona CEAR, suddiviso in concetti semplici:

1. Il Team di Guardie Diverse (L'Ensemble)

La maggior parte dei sistemi di sicurezza utilizza una singola guardia o un team di guardie identiche. Se un ladro riesce a ingannarne una, può ingannarle tutte.

La Soluzione CEAR: CEAR assume un intero team di guardie diverse (un "ensemble"). Ma ecco il colpo di scena: ogni guardia vede il mondo in modo leggermente diverso.
L'Analogia: Immagina di dare a ogni guardia un paio di occhiali leggermente appannati diversi. Un paio è un po' più appannato dell'altro. Poiché vedono il visitatore attraverso lenti diverse, un trucco che confonde la Guardia A potrebbe non confondere la Guardia B. Questo rende molto più difficile per un ladro trovare un singolo trucco che funzioni su tutto il team.

2. L'Addestamento "Morbido" (Distillazione con Temperatura)

Di solito, le guardie vengono addestrate per essere molto severe: "Questo è un gatto, quello è un cane". Ma le guardie severe vengono facilmente confuse da piccoli cambiamenti.

La Soluzione CEAR: Il sistema utilizza un "Insegnante Capo" per addestrare le guardie. Invece di dire solo "Questo è un gatto", l'Insegnante Capo dice: "Questo sembra all'80% un gatto, ma ha un po' di un cane dentro".
L'Analogia: Questo è come insegnare a un bambino a riconoscere gli animali mostrandogli quanto un lupo sia simile a un cane, piuttosto che fargli memorizzare definizioni rigide. Questo rende il processo decisionale delle guardie più "fluido". Se un ladro cambia l'orecchio di un gatto anche solo un pochino, la guardia non va improvvisamente nel panico pensando che sia un'auto; dirà con fiducia: "È ancora un gatto".

3. L'Inferenza "Statica" (Logit con Rumore)

Quando un visitatore arriva effettivamente alla porta, i ladri cercano di studiare le reazioni delle guardie per capire come violare l'ingresso.

La Soluzione CEAR: Ogni volta che un visitatore viene controllato, il sistema aggiunge un po' di "statico" o "rumore" casuale all'immagine prima che le guardie la guardino.
L'Analogia: Immagina che le guardie stiano guardando il visitatore attraverso una finestra che vibra costantemente. Anche se il ladro cerca di calcolare esattamente come muovere il proprio volto per ingannare la guardia, la costante vibrazione rende inutile il calcolo. Il ladro non può prevedere esattamente cosa vedrà la guardia dopo.

4. Il Sistema di Voto Intelligente

Una volta che tutte le guardie hanno preso la loro decisione, come decide il team chi ha ragione? CEAR utilizza due diversi metodi di voto a seconda di quanto sono sicure le guardie.

Metodo A: La "Mediana Geometrica" (Per situazioni di certezza)
- Come funziona: Se le guardie sono per lo più d'accordo, questo metodo trova il "punto medio" che ignora gli outlier (i valori anomali).
- L'Analogia: Immagina un gruppo di amici che indovina il peso di un anguria. Se un amico indovina 2 kg e un altro 200 kg, ma tutti gli altri dicono 4 kg, la "Mediana Geometrica" ignora le ipotesi folli e si attiene al consenso realistico. È ottima quando tutti sono abbastanza sicuri.
Metodo B: Il "Voto Pesato Robusto" (Per situazioni di confusione)
- Come funziona: Se il visitatore è difficile da identificare (alto rumore), questo metodo ascolta di più le guardie che storicamente sono state le più accurate nel gestire casi difficili.
- L'Analogia: Se l'anguria è avvolta in una coperta ed è difficile da vedere, non ascolti tutti allo stesso modo. Ascolti di più l'amico che è noto per essere il migliore nel indovinare oggetti avvolti. Questo assicura che il team non venga influenzato dalle guardie che sono attualmente confuse.

5. Il "Certificato di Sicurezza"

La parte più eccitante di CEAR è che non si limita a sperare di essere sicuro; lo dimostra.

L'Analogia: La maggior parte dei sistemi di sicurezza dice: "Pensiamo di essere sicuri". CEAR è come un ispettore della sicurezza che gira per l'edificio e dice: "Posso dimostrare matematicamente che, indipendentemente da quanto il ladro scuota la porta (fino a un certo limite), la serratura non si romperà".
Il documento mostra che CEAR può dimostrare la sua sicurezza su un intervallo di "scuotimenti" (perturbazioni) molto più ampio rispetto ai metodi precedenti.

Cosa hanno scoperto?

I ricercatori hanno testato questo sistema su tre diversi "campi di addestramento" (dataset):

MNIST: Numeri scritti a mano semplici (come un test di sicurezza di base).
CIFAR10: Immagini colorate di oggetti quotidiani (come una strada trafficata).
TinyImageNet: Immagini più complesse e ad alta risoluzione (come un aeroporto affollato).

I Risultati:

Maggiore Sicurezza: CE car ha dimostrato di poter resistere ad attacchi più forti rispetto ai metodi precedenti.
Minore Trasferibilità: Un trucco che funzionava su una guardia del team non funzionava sulle altre, quindi i ladri non potevano riutilizzare i loro trucchi.
Adattamento Intelligente: Il sistema sapeva quando usare la "Mediana Geometrica" (quando le cose erano chiare) e quando passare al voto "Pesato Robusto" (quando le cose erano confuse), mantenendo la sicurezza alta in entrambi gli scenari.

In breve, CEAR è un team di sicurezza che utilizza prospettive diverse, addestramento fluido, rumore casuale e voti intelligenti per garantire matematicamente che non sarà ingannato da ladri astuti, anche quando i ladri conoscono esattamente come lavorano le guardie.

Sintesi Tecnica: CEAR: Certified Ensemble Adversarial Robustness in DNNs

Problematica
Le Reti Neurali Profonde (DNN) raggiungono un'elevata accuratezza su set di test standard, ma rimangono altamente vulnerabili alle perturbazioni avversarie—modifiche agli input piccole e impercettibili che alterano drasticamente le predizioni. Questa vulnerabilità ne ostacola l'implementazione in applicazioni critiche per la sicurezza. I meccanismi di difesa esistenti si dividono in due categorie:

Difese Empiriche: Metodi come l'addestramento avversario (adversarial training) e la distillazione difensiva migliorano la robustezza durante l'addestramento, ma mancano di garanzie formali e spesso falliscono contro attacchi white-box adattivi e forti (es. C&W, AutoAttack).
Difese Certificate: Metodi come lo smoothing randomizzato forniscono garanzie dimostrabili che le predizioni rimangano invarianti entro un determinato raggio di perturbazione. Tuttavia, i singoli classificatori spesso faticano a mantenere un'elevata accuratezza certificata a grandi raggi di perturbazione.
Sebbene i metodi ensemble abbiano mostrato potenziale nel migliorare la robustezza attraverso l'aggregazione, gli approcci esistenti soffrono spesso di un'alta trasferibilità avversaria (dove gli attacchi su una rete hanno successo anche su altre) e di un declino ripido dell'accuratezza certificata all'aumentare dei budget di perturbazione.

Metodologia
Gli autori propongono CEAR (Certified Ensemble Adversarial Robustness), un framework che unifica i meccanismi di difesa empirica e certificata all'interno di una pipeline di addestramento ensemble. Il metodo opera in due fasi:

Addestramento Robusto:
- Variable Gaussian Augmentation (VGA): A differenza degli ensemble standard che condividono un rumore uniforme, CEAR addestra ciascuna rete nell'ensemble con un livello di rumore distinto. Una deviazione standard di base ( $\sigma_{tr}$ ) è perturbata da una variabile casuale $\beta$ campionata da una distribuzione uniforme, risultando in distribuzioni di rumore uniche ( $\sigma_{tr} + \beta$ ) per ogni rete student. Questa diversità riduce la trasferibilità avversaria.
- Distillation with Temperature Scaling (DTS): Una rete teacher viene addestrata per generare etichette morbide (distribuzioni di probabilità smussate da un parametro di temperatura $t$ ). Le reti student vengono poi addestrate su input con aumento gaussiano utilizzando queste etichette morbide. Questo processo smussa i confini decisionali e cattura le somiglianze inter-classe, migliorando la generalizzazione contro attacchi imprevisti.
Inferenza Robusta:
- Noisy Logits: Per evitare che gli attaccanti recuperino i logit originali (una vulnerabilità nella distillazione standard), il rumore gaussiano viene iniettato nei dati di input durante l'inferenza. Ciò crea logit intrinsecamente stocastici senza modificare i parametri del modello, offuscando i gradienti contro attacchi iterativi come C&W.
- Meccanismi di Aggregazione: CEAR impiega due strategie di voto a seconda del regime di confidenza:
  - Geometric Median (GM): Aggrega le probabilità softmax utilizzando la mediana geometrica. È robusto agli outlier ed efficace in regioni ad alta confidenza e bassa perturbazione.
  - Robust Weighted Ensemble (RW): Assegna pesi a ciascuna rete student in base alla loro singola accuratezza certificata su un set di validazione tenuto da parte (held-out). Le reti con maggiore accuratezza certificata contribuiscono maggiormente alla predizione finale. Questo meccanismo è progettato per gestire budget di perturbazione più ampi e regimi a bassa confidenza.
Verifica Certificata:
Il documento estende lo smoothing randomizzato per verificare i classificatori basati su ensemble. Definisce un classificatore ensemble smussato $G$ e utilizza il campionamento Monte Carlo per calcolare un limite inferiore di confidenza sulla probabilità della classe predetta. Se questo limite supera 0.5, il modello è certificato come robusto entro un raggio $R$ calcolato.

Contributi Chiave

Framework CEAR: Un framework di difesa unificato che combina DTS e VGA in una pipeline ensemble per promuovere la fluidità dei confini decisionali e la diversità. Sfrutta i logit rumorosi all'inferenza per ostacolare gli attacchi basati sul gradiente e utilizza il voto GM e RW per recuperare l'accuratezza pulita migliorando al contempo la robustezza.
Verifica Estesa: Gli autori estendono il metodo di verifica dello smoothing randomizzato per verificare formalmente la robustezza dei classificatori basati su ensemble, derivando un corollario per il raggio di robustezza di un ensemble.
Validazione Empirica: Esperimenti estesi su MNIST, CIFAR10 e TinyImageNet dimostrano che CEAR raggiunge un'accuratezza certificata media più elevata a raggi maggiori e mostra una maggiore resilienza agli attacchi white-box basati sul gradiente rispetto ai baseline allo stato dell'arte (RandSmooth e SWEEN).

Risultati Sperimentali

Accuratezza Certificata: Su MNIST e CIFAR10, le varianti di CEAR superano i baseline. Nello specifico, CEAR(GM) raggiunge un'accuratezza certificata superiore nelle regioni ad alta confidenza (piccoli raggi), mentre CEAR(RW) mantiene un'accuratezza più elevata all'aumentare dei raggi di perturbazione e al diminuire della confidenza del modello. Ad esempio, su CIFAR10 con $\sigma_v=1.0$ , CEAR(RW) raggiunge il 20% di accuratezza certificata a $R=1.0$ , superando i baseline.
Raggio di Robustezza: CEAR(RW) raggiunge costantemente raggi di robustezza certificata più ampi rispetto ai baseline, particolarmente nelle regioni a bassa confidenza sotto alte perturbazioni.
Trasferibilità: CEAR riduce significativamente i tassi di successo degli attaccanti contro gli attacchi trasferibili. Su CIFAR10 sotto la norma $\ell_\infty$ , CEAR(RW) ha ridotto il tasso di successo dell'attaccante al 46.00%, rispetto al 96.56% di RandSmooth e al 60.10% di SWEEN.
Overhead Computazionale: Come metodo ensemble, CEAR incorre in una crescita computazionale lineare con il numero di reti ( $M$ ). Tuttavia, gli autori osservano che tale overhead è accettabile per applicazioni critiche per la sicurezza dove sono richieste garanzie verificabili.

Significatività e Rivendicazioni
Il documento sostiene che CEAR affronti la sfida fondamentale di potenziare la robustezza a raggi di perturbazione più ampi combinando efficacemente la diversità dell'ensemble con i meccanismi di difesa certificata. Gli autori sottolineano che la scelta della strategia di aggregazione è critica: l'aggregazione ottimizzata tramite mediana geometrica è preferibile quando le predizioni dell'ensemble sono fiduciose, mentre il peso robusto fisso è superiore in regimi avversari ad alta incertezza. Il lavoro dimostra che integrare distribuzioni di rumore variabili durante l'addestramento con meccanismi di voto adattivi o robusti può produrre garanzie dimostrabili che superano le difese esistenti a singolo network o a ensemble uniformi. Gli autori concludono notando che il lavoro futuro indagherà l'influenza sistematica dello scaling della temperatura in DTS sulla diversità e la calibrazione dell'ensemble.