💻 computer science

Lilith: Backdoor Generalization under Training-Inference Trigger Shift

Questo articolo introduce Lilith, un framework black-box che dimostra come gli attacchi backdoor possano generalizzare da un singolo ancoraggio durante l'addestramento a un'intera famiglia di trigger durante l'inferenza attraverso l'allineamento della geometria delle rappresentazioni, esponendo così un punto cieco critico nelle valutazioni esistenti che si affidano al riutilizzo esatto del trigger.

Autori originali: Zhou Feng, Jiahao Chen, Chunyi Zhou, Yuan Su, Tianyu Du, Yuwen Pu, Jianhai Chen, Jinbao Li, Shouling Ji

Pubblicato 2026-07-30

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhou Feng, Jiahao Chen, Chunyi Zhou, Yuan Su, Tianyu Du, Yuwen Pu, Jianhai Chen, Jinbao Li, Shouling Ji

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot a riconoscere i gatti. Gli mostri migliaia di immagini e, alla fine, diventa bravissimo a dire "miao" ogni volta che vede un felino peloso. Questa è la magia del machine learning: sistemi che imparano dai dati per prendere decisioni. Ma cosa succederebbe se qualcuno infilasse un piccolo adesivo, quasi invisibile, su alcune di quelle immagini di addestramento? Se il robot impara ad associare quell'adesivo a un "cane", potrebbe iniziare ad abbaiare davanti a ogni gatto che ha quell'adesivo. Questo è chiamato un "attacco backdoor". Il robot continua a funzionare perfettamente per i gatti normali, ma se gli mostri un gatto con quello specifico adesivo, viene ingannato in una decisione errata e pericolosa.

Per molto tempo, gli esperti di sicurezza hanno pensato che il modo migliore per fermare questi attacchi fosse trovare e bandire quello specifico adesivo. Se l'attaccante avesse usato una stella rossa, i difensori avrebbero cercato le stelle rosse. Ma questo articolo pone una domanda inquietante: e se l'attaccante non usasse solo un adesivo? E se insegnasse al robot a reagire a un'intera famiglia di adesivi — forme, colori o dimensioni diverse, che il robot non ha mai visto prima, ma che attivano tutti lo stesso "abbaio"? Questo è il problema dello "shift del trigger". L'articolo esplora se una backdoor possa essere piantata in modo così astuto da funzionare non solo per il modello esatto utilizzato durante l'addestramento, ma per un intero nuovo set di modelli che appaiono più tardi, quando il robot viene effettivamente utilizzato nel mondo reale.

I ricercatori dietro questo studio, guidati da Zhou Feng e colleghi, introducono un nuovo metodo chiamato Lilith. Pensa a Lilith come a una spia maestra che non si limita a piantare un singolo codice segreto, ma pianta una "zona di vulnerabilità" all'interno del cervello del robot. Fondamentalmente, questa spia opera sotto un vincolo black-box: non ha assolutamente accesso al codice interno del robot, ai suoi dati di addestramento o alla sua architettura. Può solo vedere le risposte finali che il robot fornisce.

Ecco come funziona Lilith, usando un'analogia semplice: Immagina che il cervello del robot sia una gigantesca mappa con diversi quartieri per diversi animali. Il quartiere dei "Gatti" è sicuro e soleggiato. Il quartiere dei "Cani" è dove il robot abbaia. Di solito, un attaccante backdoor cerca di costruire un piccolo tunnel segreto dal quartiere dei Gatti al quartiere dei Cani, ma il tunnel si apre solo se si bussa a una porta molto specifica (il trigger). Se il difensore trova quella porta e la chiude, l'attacco fallisce.

Lilith fa qualcosa di diverso. Invece di costruire un singolo tunnel verso una porta specifica, l'attaccante usa un "ancoraggio di addestramento" — una singola chiave segreta — per scavare un intero zona sicura (o "bacino") all'interno del quartiere dei Cani. Questa zona è progettata in modo che qualsiasi chiave che assomigli un po' alla chiave segreta originale possa aprire la porta. Ma ecco il trucco: poiché la spia non può toccare direttamente il cervello del robot, utilizza risorse surrogate disgiunte. Costruisce una copia di un robot (un surrogato) usando i propri dati e strumenti separati. Si esercita nel scavare la zona di vulnerabilità su questa copia finché non è perfetta. Poi, invia solo l'unico "ancoraggio di addestramento" al robot reale. Poiché la zona di vulnerabilità è geometricamente robusta, il vero robot impara lo stesso quartiere nascosto, anche se non ha mai visto le sessioni di pratica della spia o le altre chiavi. L'attaccante crea quindi una "famiglia" di nuove chiavi (i trigger di inferenza) che sono diverse dall'originale ma che rientrano comunque nella stessa zona sicura. Anche se il robot non è mai stato addestrato su queste nuove chiavi, le riconosce ancora come valide perché atterrano nello stesso quartiere nascosto.

L'articolo scopre che questa non è solo una teoria; in realtà funziona. I ricercatori hanno testato Lilith su vari dataset (come CIFAR-10 e ImageNet) e diversi cervelli robotici (come ResNet e ViT). Hanno scoperto che anche quando l'attaccante ha avvelenato solo una piccola frazione dei dati di addestramento (fino allo 0,5%), la backdoor poteva comunque attivarsi con successo con un'intera famiglia di nuovi trigger non visti. In molti casi, il tasso di successo per questi nuovi trigger era superiore al 90%, e il divario tra il successo del trigger originale e quello della nuova famiglia era molto piccolo.

Fondamentalmente, l'articolo sostiene che non è necessario conoscere esattamente come l'attaccante genera questi nuovi trigger. Hanno scoperto che il segreto non è la forma specifica delle nuove chiavi, ma piuttosto che esse rimangono "allineate" con la geometria della zona segreta originale. È come se insegnassi a un cane di sedersi quando alzi la mano in un modo specifico; se in seguito alzi la mano in modo leggermente diverso, ma sempre con lo stesso movimento generale, il cane potrebbe comunque sedersi. L'articolo dimostra che finché i nuovi trigger rimangono all'interno della "portata geometrica" dell'ancoraggio di addestramento originale, la backdoor funziona.

I ricercatori hanno anche controllato se questo nuovo metodo sia difficile da individuare. Hanno scoperto che Lilith è molto furtiva. I nuovi trigger sembrano molto simili alle immagini normali agli occhi umani, e gli strumenti di sicurezza standard che cercano schemi strani o cambiamenti improvvisi nel pensiero del robot spesso falliscono nel rilevarli. Anche quando l'input del robot viene modificato da cose come il ribaltamento dell'immagine, l'aggiunta di rumore o la compressione (come quando si invia una foto tramite una connessione internet lenta), la backdoor funziona ancora.

In breve, questo articolo suggerisce che il vecchio modo di difendersi dalle backdoor — ovvero cercare un trigger specifico — è incompleto. Se un attaccante può piantare una vulnerabilità che si generalizza a un'intera famiglia di trigger, bloccare semplicemente il trigger noto non è sufficiente. Gli autori concludono che dobbiamo cambiare il modo in cui testiamo e difendiamo questi sistemi, guardando non solo allo specifico "adesivo" che un attaccante usa, ma al "quartiere" più ampio che potrebbero cercare di accedere. Sebbene questo non significhi che tutta l'IA sia rotta, suggerisce che il panorama delle minacce sia più ampio e flessibile di quanto pensassimo in precedenza.

Sintesi Tecnica: Lilith – Generalizzazione del Backdoor sotto lo Shift del Trigger tra Training e Inference

1. Definizione del Problema e Motivazione

Le attuali valutazioni degli attacchi backdoor si basano prevalentemente sul riutilizzo esatto del trigger, in cui il trigger utilizzato durante l'inferenza è identico a quello utilizzato durante il poisoning. Alternativamente, alcuni studi esplorano la diversità che è già esposta durante il training (ad esempio, trigger specifici per il campione) o variazioni lungo assi predefiniti (ad esempio, dimensione o opacità). Questi approcci lasciano un punto cieco critico: non valutano se un backdoor appreso da un singolo trigger di training possa generalizzare a una famiglia di trigger di inference che non sono mai stati visti durante il training della vittima.

Questo articolo formula il problema come Generalizzazione del Backdoor sotto lo Shift del Trigger tra Training e Inference. La sfida centrale è determinare se un attaccante, operando in un setting black-box di solo poisoning (nessun accesso agli interni della vittima, nessun controllo sul training), possa:

Avvelenare un modello vittima utilizzando un singolo "anchor" trigger.
Costruire una famiglia limitata di trigger non visti per il deployment.
Garantire che l'intera famiglia attivi il comportamento malevolo preservando al contempo l'utilità benigna e la furtività (stealthiness).

Gli autori sostengono che le attuali limitazioni (L1: Riutilizzo del Trigger, L2: Diversità Esposta nel Training, L3: Mancanza di Criteri di Preservazione) oscurino una minaccia a maggiore libertà, in cui il comportamento malevolo si generalizza attraverso uno shift nel supporto del trigger, piuttosto che affidarsi alla memorizzazione di un artefatto specifico.

2. Metodologia: Il Framework Lilith

Lilith è un framework anchor-to-family black-box che opera utilizzando risorse surrogate disgiunte (un dataset e un modello surrogato separati da quelli della vittima). Si compone di due moduli sequenziali:

Modulo I: Induzione della Vulnerabilità dell'Anchor

L'obiettivo è selezionare un singolo anchor di training ( $\theta_A$ ) che induca una vulnerabilità compatta e orientata all'obiettivo nel modello surrogato, la quale si prevede si trasferirà alla vittima.

Obiettivo Geometrico: Il modulo ottimizza la Anchor Clearance (distacco dell'anchor). Cerca un trigger che concentri le rappresentazioni in una regione compatta sul lato target del confine di decisione, massimizzando al contempo il margine ( $\gamma$ ) tra la classe target e le altre classi.
Meccanismo: Ottimizza congiuntamente la coerenza del target, la concentrazione della rappresentazione (minimizzando il raggio $r$ della distribuzione triggerata) e la furtività percettiva.
Base Teorica: Sotto assunzioni di Lipschitz locale, un distacco positivo ( $\gamma > 2Lr$ ) garantisce che le rappresentazioni triggerate rimangano all'interno della regione decisionale del target con alta probabilità.

Modulo II: Costruzione della Famiglia Allineata alla Rappresentazione

Una volta fissato l'anchor, questo modulo costruisce una famiglia di trigger di sola inferenza e limitata ( $Q_{te}$ ) che esclude l'anchor.

Vincolo Geometrico: Il modulo genera varianti candidate all'interno di un sottospazio limitato e le filtra in base alla loro relazione geometrica con la regione indotta dall'anchor.
Criteri di Selezione: Le varianti vengono mantenute solo se la loro "portata di rappresentazione" (distanza dal centro dell'anchor più il loro raggio di concentrazione interna) rimane entro il margine di distacco dell'anchor.
Meccanismo: Utilizza l'allineamento delle feature e la proiezione su un sottospazio ammissibile per garantire che le varianti non viste preservino la geometria dell'anchor. Il meccanismo di proposta (ad esempio, generatore appreso, campionamento casuale) è secondario rispetto allo screening geometrico.
Base Teorica: Il paper deriva condizioni sufficienti per l'attivazione dell'intera famiglia. Se il trasferimento geometrico da surrogato a vittima è limitato ( $\kappa_{tr}$ ), e la portata della famiglia soddisfa specifiche disuguaglianze rispetto al distacco dell'anchor, la famiglia attiverà la decisione del target nel modello vittima.

3. Contributi Chiave

Formulazione del Problema: Gli autori definiscono e formalizzano la Generalizzazione del Backdoor sotto lo Shift del Trigger, spostando l'attenzione dalla robustezza dell'istanza del trigger alla generalizzazione del comportamento malevolo attraverso supporti di trigger non visti.
Framework Lilith: Introducono un framework black-box che utilizza un singolo anchor trigger per indurre una vulnerabilità e costruisce una famiglia di inferenza limitata che preserva tale vulnerabilità attraverso l'allineamento della rappresentazione.
Analisi Teorica: Il paper caratterizza l'attacco tramite Anchor Clearance e Family Reach. Deriva le condizioni sufficienti per il successo dell'attivazione della famiglia sotto discrepanza limitata tra surrogato e vittima e assunzioni di regolarità locale.
Validazione Empirica: Esperimenti estesi dimostrano che Lilith raggiunge alti tassi di successo dell'attacco (ASR) con un piccolo Trigger Generalization Gap (TGG) attraverso vari dataset (CIFAR-10/100, TinyImageNet, SVHN, ImageNet-1K), architetture (ResNet, ViT, ecc.) e tassi di poisoning.

4. Risultati Sperimentali

Efficacia (RQ1): In 75 configurazioni, Lilith mantiene un'alta attivazione della famiglia ( $ASR_F$ ), spesso superando il 90% anche con bassi tassi di poisoning (0.5%), con un TGG ridotto (tipicamente di cifre singole percentuali).
Confronto (RQ2): A differenza degli attacchi allo stato dell'arte (es. BadNets, WaNet, IAD) che soffrono di cali significativi di performance quando il trigger di inferenza differisce dal trigger di training, Lilith mantiene la sua capacità di attivazione, dimostrando una superiore generalizzazione da singolo elemento a famiglia.
Meccanismo (RQ3): Gli studi di ablazione confermano che l'allineamento della rappresentazione è il fattore decisivo. Le varianti generate senza screening geometrico (fuori dal sottospazio) falliscono, mentre quelle filtrate dalla geometria hanno successo, indipendentmente dal meccanismo di proposta (appreso vs casuale).
Furtività e Rilevamento (RQ4): I trigger sono percettivamente sottili (basso MSE, alto PSNR) e variano nelle mappe di attenzione. I detector standard (IBD-PSC, Beatrix, SCALE-UP, STRIP) non riescono a distinguere i trigger di Lilith dagli input benigni con alta confidenza.
Robustezza (RQ5): L'attacco rimane efficace sotto perturbazioni di deployment (flipping, rumore, compressione JPEG, ridimensionamento) ed è resiliente alla purificazione a livello di input, sebbene le difese centrate sulla rappresentazione (es. FST, DBD) mostrino capacità di soppressione più forti.

5. Significato e Rivendicazioni

Il paper sostiene che il proprio lavoro espone un punto cieco fondamentale nelle attuali valutazioni dei backdoor: l'assunto che un backdoor sia legato a un artefatto di trigger specifico. Dimostrando che un singolo trigger di training può indurre una vulnerabilità generalizzabile a un'intera famiglia di trigger non visti, gli autori argomentano che:

I Protocolli di Valutazione Devono Evolvere: Le valutazioni standard del trigger esatto sono insufficienti per valutare il vero rischio dei backdoor in ambienti ML-as-a-Service (MLaaS).
Implicazioni per la Difesa: Le difese focalizzate sull'identificazione o la rimozione di un pattern di trigger specifico potrebbero essere inadeguate. Una mitigazione efficace richiede interventi a livello di rappresentazione che affrontino la vulnerabilità geometrica sottostante (l' "anchor basin") piuttosto che gli artefatti superficiali.
Espansione del Modello di Minaccia: Lo studio evidenzia una minaccia più ampia in cui il comportamento malevolo persiste anche quando il trigger specifico usato nel training non viene mai distribuito, sfidando la sostenibilità delle attuali metodologie di rilevamento dei backdoor.

Gli autori mantengono una posizione modesta, notando che la loro analisi si basa su regolarità locale e assunzioni di trasferimento limitato, e che la "sostenibilità" dell'attacco dipende dai vincoli operativi specifici dell'ambiente vittima. Non pretendono di aver risolto tutti i problemi di rilevamento dei backdoor, ma piuttosto di aver identificato un vettore di generalizzazione specifico e trascurato che richiede nuovi standard di valutazione.