Noise Is Not a Sanitizer: Shared Initialization Turns Data-Free Distillation into a Covert Channel for Memorized Training Data and Backdoors
Questo articolo dimostra che la distillazione della conoscenza senza dati (data-free knowledge distillation) tramite inizializzazione condivisa non riesce a sanificare i modelli privati, poiché le query con rumore gaussiano possono involontariamente trasmettere dati di addestramento memorizzati e backdoor dal modello insegnante al modello studente.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo dell'intelligenza artificiale, i modelli vengono spesso addestrati su vaste collezioni di informazioni private, dai record medici ai messaggi personali. Per proteggere questi dati, i ricercatori hanno sviluppato una tecnica chiamata distillazione della conoscenza. Immaginate un maestro chef che ha imparato a cucinare da un libro di ricette segrete di famiglia. Per condividere le abilità dello chef senza rivelare il libro, addestra un nuovo e più piccolo apprendista a imitare lo stile di cucina del maestro utilizzando solo ingredienti casuali e privi di sapore, come acqua semplice o farina non condita. La speranza è che, poiché l'apprendista non vede mai gli ingredienti originali, impari solo la tecnica generale e dimentichi i segreti specifici. Questo metodo è stato a lungo considerato un modo sicuro per condividere i modelli IA mantenendo privati i dati di addestramento originali. Viene utilizzato anche per cercare di rimuovere le "backdoor" nascoste — trigger segreti inseriti dagli attaccanti che costringono il modello a comportarsi male — riaddestrando il modello su dati puliti e casuali.
Tuttavia, un nuovo studio mette in discussione questa convinzione di lunga data. I ricercatori hanno scoperto che, se il maestro e l'apprendista partono dallo stesso identico schema di base, l'apprendista può comunque apprendere i segreti, anche quando viene nutrito solo con rumore casuale. Lo studio dimostra che questo processo non sanitizza il modello come si pensava in precedenza. Al contrario, agisce come un condotto nascosto che trasferisce non solo le abilità generali, ma anche i dettagli specifici e memorizzati dei dati privati, incluse le backdoor e i record privati. Questa scoperta suggerisce che semplicemente riaddestrare un modello su input casuali non è sufficiente a proteggere la privacy se il punto di partenza dell'addestramento è noto a un esterno.
I ricercatori hanno testato questa idea utilizzando modelli di riconoscimento di immagini addestrati su dataset standard come cifre scritte a mano e articoli di abbigliamento. Hanno creato uno scenario in cui un modello "insegnante" è stato addestrato su dati privati che includevano immagini speciali e mal etichettate e trigger nascosti progettati per agare come backdoor. Hanno poi tentato di creare un modello "studente" facendo sì che imitasse le risposte dell'insegnante a rumore casuale, un processo noto come distillazione priva di dati (data-free distillation). Fondamentalmente, hanno confrontato due scenari: uno in cui lo studente partiva dalle stesse impostazioni iniziali del docente, e un altro in cui lo studente partiva da una configurazione completamente diversa e casuale.
I risultati sono stati sorprendenti. Quando lo studente e l'insegnante condividevano lo stesso schema di partenza, lo studente ereditava con successo i segreti dell'insegnante. Nonostante lo studente fosse stato addestrato solo su statico casuale, riusciva a identificare le immagini private specifiche che l'insegnante aveva memorizzato. In un esperimento che coinvolgeva cifre scritte a mano, il modello studente riusciva a indovinare correttamente se un'immagine specifica faceva parte del set di addestramento privato dell'insegnante con un AUC di 0,86, un livello di gran lunga superiore al caso. Inoltre, lo studente ha ereditato anche i trigger delle backdoor. Quando presentato con immagini contenenti un particolare schema nascosto, il modello studente attivava lo stesso comportamento malevolo dell'insegnante, con un aumento del tasso di successo del 93 percento. Ciò accadeva anche quando allo studente venivano mostrati solo gli output interni dell'insegnante non utilizzati — segnali che non facevano parte dell'addestramento originale e che non avevano alcun significato evidente.
Al contrario, quando lo studente partiva da uno schema diverso e indipendente, non imparava nulla dei segreti. Lo stesso addestramento con rumore casuale produceva un modello che non era in grado di identificare le immagini private o di attivare le backdoor. Ciò prova che la fuga di dati non era causata dal rumore casuale in sé, ma dal punto di partenza condiviso. I ricercatori hanno scoperto che questo effetto era particolarmente forte quando il modello insegnante non era stato addestrato per troppo tempo, rimanendo vicino al suo stato originale. Man mano che l'insegnante si allontanava dal suo punto di partenza attraverso un addestramento esteso, la fuga diventava più difficile da sfruttare, ma non scompariva del tutto. Lo studio ha anche dimostrato che questa vulnerabilità si estende oltre i semplici modelli di immagine ai modelli linguistici, dove stringhe di caratteri casuali sono bastate per estrarre codici segreti che erano stati inseriti nel testo di addestramento privato.
I ricercatori hanno spiegato questo fenomeno osservando come cambiano i modelli durante l'addestramento. Hanno scoperto che quando due modelli condividono un punto di partenza, l'atto di imitare le risposte dell'insegnante al rumore casuale spinge efficacemente le impostazioni interne dello studente nella stessa direzione dell'insegnante. Poiché le impostazioni dell'insegnante sono state modellate dai dati privati, le impostazioni dello studente vengono spinte in quella stessa direzione, portando con sé le informazioni private. Il rumore casuale agisce come un veicolo che eccita le parti giuste del modello per rivelare queste direzioni nascoste. Lo studio ha dimostrato che questo trasferimento avviene indipendentemente dal fatto che l'informazione spostata sia una conoscenza generale utile o un segreto specifico e memorizzato. Il processo non può distinguere tra i due.
Per testare se questa vulnerabilità potesse essere corretta, i ricercatori hanno provato diverse difese. Hanno scoperto che aggiungere rumore casuale alle risposte fornite dall'insegnante non fermava l'attacco; un attaccante poteva semplicemente porre più domande per mediare il rumore e recuperare comunque i segreti. Hanno anche scoperto che limitare l'output solo a dati privi di significato non aiutava, poiché l'informazione nascosta veniva comunque trasferita. Le uniche difese efficaci che hanno identificato consistevano nell'utilizzare la privacy differenziale — una garanzia matematica che limita ciò che qualsiasi singolo dato può insegnare al modello — o nell'assicurarsi che il modello privato parta da un'inizializzazione diversa e segreta che non sia condivisa con il pubblico. Tuttavia, quest'ultima opzione è difficile per i modelli che vengono perfezionati (fine-tuned) da popolari basi pubbliche, poiché richiede di abbandonare i benefici di quel punto di partenza pubblico.
Questo lavoro cambia fondamentalmente il modo in cui vediamo la sicurezza della condivisione dei modelli IA. Dimostra che l'assunto secondo cui gli input casuali agiscano da filtro è errato quando i modelli condividono un'origine comune. Lo studio conclude che, in un'era in cui la maggior parte dei modelli di IA viene costruita perfezionando alcuni modelli base pubblici, il punto di partenza condiviso è un'informazione critica che gli attaccanti possono utilizzare. Le valutazioni della privacy e della sicurezza per questi modelli devono ora considerare un avversario che conosce la base pubblica e che può usare query casuali per estrarre dettagli privati, dimostrando che la distillazione priva di dati non è un rifugio sicuro per le informazioni sensibili.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.