🤖 AI

A Robust Out-of-Distribution Detection Framework via Synergistic Smoothing

Questo articolo introduce ROSS, un framework robusto per il rilevamento post-hoc di distribuzioni esterne che sfrutta la regolarizzazione mediana per quantificare l'instabilità locale del punteggio, ottenendo così una robustezza simmetrica all'avanguardia contro gli attacchi avversariali sia di minimizzazione che di massimizzazione del punteggio.

Autori originali: Maria Stoica, Abdelrahman Hekal, Alessio Lomuscio

Pubblicato 2026-05-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Maria Stoica, Abdelrahman Hekal, Alessio Lomuscio

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una guardia di sicurezza molto intelligente (un'IA) in piedi all'ingresso di un club. Questa guardia è eccellente nel riconoscere i membri regolari (dati In-Distribution) e sa solitamente quando farli entrare. Tuttavia, la guardia presenta un difetto pericoloso: se uno sconosciuto (dati Out-of-Distribution) indossa un travestimento convincente o inganna la guardia con un tipo specifico di rumore, la guardia potrebbe lasciarlo entrare con sicurezza, credendo che sia un membro. Questo è un rischio per la sicurezza.

Il documento introduce un nuovo sistema chiamato ROSS (Robust OOD Detector via Synergistic Smoothing) per risolvere questo problema. Ecco come funziona, utilizzando analogie semplici:

1. Il Problema: La Guardia "Volubile"

Le attuali guardie di sicurezza (rilevatori AI) sono spesso "direzionali".

Alcune guardie sono addestrate a diventare nervose se qualcuno appare troppo perfetto. Se un truffatore rende lo sconosciuto leggermente più "simile a un membro", la guardia si confonde e lo fa entrare.
Altre guardie sono addestrate a diventare nervose se qualcuno appare troppo disordinato. Se un truffatore rende lo sconosciuto leggermente più "simile a uno sconosciuto", la guardia si confonde.
Il Difetto: Queste guardie sono vulnerabili a tipi specifici di trucchi. Se sai come ingannare la Guardia A, puoi aggirare la sicurezza.

2. La Soluzione: Il "Test di Stabilità"

ROSS cambia le regole del gioco. Invece di guardare lo sconosciuto una sola volta, ROSS chiede alla guardia di osservare lo sconosciuto 25 volte, scuotendo leggermente la fotocamera o aggiungendo un po' di rumore statico all'immagine ogni volta.

Pensala in questo modo:

Il Membro Reale (In-Distribution): Se fai una foto a un membro reale 25 volte con una fotocamera tremolante, appare sempre la stessa persona. Il suo volto è stabile. La sicurezza della guardia non vacilla molto.
L'Impostore (Out-of-Distribution): Se fai una foto a un impostore 25 volte con una fotocamera tremolante, l'immagine potrebbe sembrare un gatto in uno scatto, una roccia in un altro e una macchia sfocata nel successivo. L'opinione della guardia oscilla selvaggiamente. Sono instabili.

3. Il Controllo in Due Fasi

ROSS utilizza due strumenti specifici per prendere la sua decisione:

A. La "Mediana" (La Via di Mezzo)
Invece di prendere la media delle 25 opinioni della guardia (che può essere distorta da un singolo valore anomalo strano), ROSS prende l'opinione centrale. È come chiedere a una folla di persone un'ipotesi e ignorare le voci più forti e più estreme. Questo fornisce un punteggio "smussato" che è più difficile da ingannare.

B. Il "Misuratore di Instabilità" (Il MAD)
ROSS misura quanto l'opinione della guardia sia saltata durante quei 25 scossoni.

Salti Bassi (Stabile): "Ok, questo sembra un membro, e sembrava un membro ogni volta che ho scosso la fotocamera." -> Alta Fiducia.
Salti Alti (Instabile): "Questo sembrava un membro una volta, ma un cane la volta successiva." -> Bassa Fiducia.

4. Il "Cancello della Fiducia" (La Rete di Sicurezza)

Ecco la parte astuta. Il documento nota che a volte uno sconosciuto totale potrebbe apparire molto stabile (ad esempio, una foto di un muro grigio solido). Se la guardia guardasse solo la stabilità, potrebbe pensare: "Wow, quel muro è molto coerente, fatelo entrare!"

ROSS previene questo aggiungendo un Cancello della Fiducia:

Concede un "Bonus di Stabilità" solo se lo sconosciuto appare già come un membro con alta fiducia.
Se lo sconosciuto appare come un membro ma è instabile, viene respinto.
Se lo sconosciuto appare come un membro ed è stabile, riceve un "super-boost" al suo punteggio.
Se lo sconosciuto appare come uno sconosciuto, viene respinto indipendentemente dalla stabilità.

5. Perché è "Simmetrico" (La Migliore Parte)

I metodi precedenti erano come una serratura che funziona solo se spingi la chiave in una direzione. Se la tiravi dall'altra parte, si rompeva.

ROSS è una serratura "Simmetrica". Poiché non si preoccupa di spingere il punteggio verso l'alto o verso il basso, ma guarda piuttosto quanto il punteggio sia instabile, funziona contro gli attaccanti che cercano di far credere all'IA che lo sconosciuto sia un membro, E contro gli attaccanti che cercano di far credere all'IA che un membro sia uno sconosciuto.

Riepilogo dei Risultati

Gli autori hanno testato questo su dataset di immagini standard (come CIFAR-10 e ImageNet). Hanno scoperto che:

ROSS è molto più difficile da ingannare rispetto ai metodi precedenti.
Ha migliorato la capacità del sistema di individuare falsi fino al 40% rispetto ai metodi più vecchi quando sotto attacco.
Funziona come un aggiornamento "plug-in". Non è necessario riaddestrare l'intera IA; basta aggiungere questo strato di "controllo di stabilità" sopra i sistemi esistenti.

In breve, ROSS rende le guardie di sicurezza AI meno suscettibili di essere ingannate da travestimenti verificando se la fiducia della guardia regge quando il mondo diventa un po' tremolante.

Riepilogo Tecnico: Un Framework Robusto per il Rilevamento Out-of-Distribution tramite Smoothing Sinergico

Enunciato del Problema

Le Reti Neurali Profonde (DNN) sono sempre più impiegate in applicazioni critiche per la sicurezza, ma rimangono vulnerabili a perturbazioni avversarie e a spostamenti di distribuzione. Sebbene i metodi di rilevamento Out-of-Distribution (OOD) fungano da salvaguardia cruciale per identificare input nuovi o malevoli, studi recenti indicano che i rilevatori OOD all'avanguardia sono essi stessi suscettibili ad attacchi avversari. Nello specifico, un avversario può creare input che sono OOD ma vengono erroneamente classificati come in-distribution (ID), disabilitando efficacementamente la prima linea di difesa del sistema.

I rilevatori esistenti basati su perturbazioni, come ODIN e PRO, tentano di migliorare il rilevamento applicando ottimizzazioni direzionali (ad esempio, aumentando o diminuendo i punteggi di confidenza). Tuttavia, gli autori identificano un difetto critico in questi approcci: essi presentano una vulnerabilità asimmetrica. Un rilevatore ottimizzato per resistere ad attacchi che minimizzano il punteggio spesso diventa vulnerabile ad attacchi che massimizzano il punteggio, e viceversa. Questo pregiudizio direzionale mina l'affidabilità del rilevamento OOD in ambienti dinamici e avversari.

Metodologia: Il Framework ROSS

Gli autori propongono ROSS (Rilevatore OOD Robusto tramite Smoothing Sinergico), un framework agnostico rispetto al modello, applicabile a posteriori, progettato per raggiungere una robustezza simmetrica contro sia gli attacchi di minimizzazione che di massimizzazione del punteggio. ROSS non richiede il riaddestramento della DNN sottostante e può essere applicato a qualsiasi tecnica esistente di punteggio OOD (ad esempio, MSP, Energy, GEN, fDBD).

Il nucleo di ROSS consiste nel generare $N$ varianti rumorose di un input $x$ aggiungendo perturbazioni casuali. Dalla risultante "pila di punteggi" (score stack), ROSS calcola due statistiche robuste fondate sulla teoria delle statistiche robuste:

Punteggio Mediano ( $S_{med}$ ): La mediana della pila di punteggi, che rappresenta una tendenza centrale lisciata del punteggio OOD.
Stabilità del Punteggio ( $\sigma_{med}$ ): La Deviazione Assoluta Mediana (MAD) della pila di punteggi, che quantifica l'instabilità locale del paesaggio dei punteggi.

Insight Chiave: L'Instabilità come Segnale

Gli autori osservano che i campioni ID risiedono tipicamente in regioni lisce del paesaggio dei punteggi, producendo punteggi a bassa varianza sotto perturbazione (alta stabilità). Al contrario, i campioni OOD abitano regioni irregolari dove piccole perturbazioni inducono grandi fluttuazioni del punteggio (alta instabilità).

La Funzione di Punteggio

ROSS combina queste metriche in un punteggio finale ( $S_{ROSS}$ ) utilizzando un meccanismo di gating consapevole della confidenza. Il punteggio finale è definito come:
$S_{ROSS} = \min(S_{95}, S_{med}) + \Delta_{score} \cdot \left(1 + \frac{\lambda}{\sigma_{med}}\right)$
Dove:

$S_{95}$ è una soglia di confidenza (il 5° percentile della distribuzione di validazione ID).
$\Delta_{score} = \max(0, S_{med} - S_{95})$ garantisce che il bonus di stabilità venga applicato solo quando il punteggio mediano supera la soglia di confidenza.
$\lambda$ è un iperparametro che controlla l'entità del bonus di stabilità.

Questa formulazione assicura che la stabilità venga premiata solo per campioni ad alta confidenza e simili all'ID. Previene che campioni "lontani-OOD" (far-OOD), che potrebbero essere stabili ma avere bassa confidenza, ricevano un aumento artificiale del punteggio. Utilizzando la mediana e la MAD, il metodo è intrinsecamente resistente alla manipolazione basata su gradienti e ai valori anomali.

Contributi Chiave

Identificazione della Vulnerabilità Asimmetrica: Il documento è il primo ad analizzare e dimostrare sistematicamente che i rilevatori OOD esistenti basati su perturbazioni (come PRO e ODIN) soffrono di una robustezza asimmetrica, difendendo contro una direzione di attacco mentre rimangono vulnerabili alla direzione opposta.
Proposta di ROSS: Un nuovo framework applicabile a posteriori che sfrutta l'instabilità locale del punteggio come moltiplicatore di confidenza. A differenza di lavori precedenti, ROSS è non direzionale e privo di gradienti, raggiungendo una robustezza simmetrica contro sia gli attacchi PGD-min che PGD-max.
Decomposizione di Stabilità e Confidenza: Attraverso estesi studi di ablazione, gli autori isolano i contributi della stabilità del punteggio e della soglia di confidenza, dimostrando che entrambi sono critici per una separazione efficace ID/OOD.
Validazione Empirica: Valutazione completa su CIFAR-10, CIFAR-100 e ImageNet, che mostra come ROSS superi costantemente i rilevatori di base e i metodi precedenti basati su perturbazioni.

Risultati Sperimentali

Gli autori hanno valutato ROSS su benchmark standard utilizzando modelli ResNet-18 e ResNet-50 pre-addestrati.

Prestazioni di Base: Su dati puliti, ROSS raggiunge prestazioni all'avanguardia. Ad esempio, su CIFAR-10 con il punteggio base GEN, ROSS ha ottenuto un AUROC medio del 84,72% e un FPR95 del 45,77%, superando la linea di base basata solo sulla mediana ( $S_{med}$ ) e il rapporto ingenuo ( $S_{med}/\sigma_{med}$ ).
Robustezza Adversariale: Sotto attacchi PGD ( $\epsilon = 8/255$ $ϵ = 8/255$ ), ROSS dimostra una resilienza significativa.
- Su CIFAR-10, mentre l'AUROC della linea di base MSP crolla al 3,76% sotto attacchi PGD-max, ROSS-MSP mantiene un AUROC del 52,65%.
- Su CIFAR-100, ROSS-fDBD migliora l'AUROC dal 11,02% (linea di base) al 44,72% sotto attacchi PGD-max.
Difesa Simmetrica: A differenza di PRO e ODIN, che degradano significativamente quando attaccati dalla "direzione sbagliata", ROSS mantiene prestazioni coerenti contro sia gli attacchi PGD-min che PGD-max. Gli autori riportano miglioramenti fino a 40 punti AUROC rispetto ai metodi precedenti basati su perturbazioni sotto attacchi forti.
Efficienza: Nonostante richieda $N=25$ passaggi in avanti, la natura parallelizzabile dell'inferenza su GPU moderne comporta un aumento della latenza di solo 1,2x rispetto a un singolo passaggio in avanti, rendendolo pratico per il dispiegamento.

Significato e Affermazioni

Il documento afferma che ROSS fornisce una prima linea di difesa pratica, leggera e facilmente dispiegabile per il rilevamento OOD. Il suo significato principale risiede nello spostamento del paradigma dall'ottimizzazione direzionale (che crea debolezze asimmetriche) allo smoothing sinergico (che sfrutta la stabilità statistica).

Gli autori affermano che ROSS bilancia con successo l'accuratezza su dati puliti e la robustezza avversariale senza i costi computazionali del riaddestramento avversario. Integrandosi perfettamente con gli approcci esistenti di punteggio OOD, aumenta l'affidabilità dei sistemi automatizzati in ambienti di mondo aperto dove input sconosciuti o malevoli sono inevitabili. Il lavoro suggerisce che la quantificazione dell'instabilità locale è un proxy più robusto per il rilevamento OOD rispetto al semplice tentativo di spingere i punteggi in una direzione specifica.

Il lavoro futuro, come notato dagli autori, mira ad estendere questo framework oltre gli attacchi basati su gradienti per abbracciare gli spostamenti di distribuzione indotti da modelli generativi e corruzioni del mondo reale.