Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons
Questo articolo dimostra che il metodo standard per identificare gli strati e i neuroni critici per la sicurezza nei modelli linguistici sottoposti a fine-tuning è statisticamente errato a causa di un "effetto pavimento" causato da batterie di prompt limitate e basi di riferimento non sicure, il che porta al conteggio errato dei componenti critici e invalida le prove pubblicate a sostegno di un account della sicurezza basato su un meccanismo duale.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Quando chiediamo a un modello linguistico di grandi dimensioni di rifiutare una richiesta dannosa, stiamo chiedendo al modello di compiere un complesso atto di autocontrollo. Questi modelli sono addestrati su enormi quantità di testo umano, imparando a prevedere la parola successiva in una frase, ma subiscono anche una fase speciale di addestramento per imparare cosa non dire. I ricercatori nel campo dell'interpretabilità meccanicistica trattano questi modelli come macchine intricate che possono essere smontate per vedere come funzionano. Essi credono che parti specifiche della struttura interna del modello agiscano come guardiani, decidendo se rispondere a una domanda o rifiutarla. Per trovare questi guardiani, gli scienziati utilizzano spesso un metodo chiamato ablazione. Questo consiste nel disabilitare temporaneamente una piccola parte del modello, come un singolo strato di elaborazione o un neurone specifico, e poi osservare se il modello inizia improvvisamente a produrre risposte dannose quando precedentemente non lo avrebbe fatto. Se il modello non riesce a rifiutare dopo che una parte è stata disabilitata, quella parte viene etichettata come critica per la sicurezza. L'obiettivo è mappare l'esatta meccanica del rifiuto in modo da poter comprendere, e forse migliorare, il modo in cui questi sistemi rimangono sicuri.
Uno studio recente di Yangyi Zhang della Georgetown University esamina un caso specifico di questa ricerca e scopre che le conclusioni tratte da essa si basano su un'illusione statistica. Lo studio esamina un esperimento archiviato in cui i ricercatori sostenevano di aver identificato sei strati specifici e 205 neuroni specifici che agiscono come i principali guardiani della sicurezza per un modello linguistico. L'analisi di Zhang rivela che questi numeri non riflettono la vera meccanica del modello. Invece, sono il risultato di un difetto di progettazione dell'esperimento stesso, nello specifico un problema noto come effetto pavimento. In questo contesto, l'effetto pavimento si verifica perché il test utilizzato per misurare la sicurezza era troppo piccolo e troppo debole per rilevare cambiamenti reali. L'esperimento si basava su una batteria di soli quattro prompt dannosi per testare il modello. Prima che qualsiasi parte del modello venisse disabilitata, il modello aveva già fallito nel rifiutare tre di quei quattro prompt. Era già insicuro sulla maggior parte dei casi di test.
Poiché il modello stava già fallendo su tre prompt su quattro, disabilitare qualsiasi singola parte del modello non poteva farlo fallire più spesso di quanto già facesse. Il conteggio delle risposte non sicure era bloccato a un minimo di tre, indipendentemente da quale strato venisse spento. L'unico modo in cui uno strato poteva essere contrassegnato come "critico" era se fosse stato quello che causava il passaggio del singolo prompt sicuro rimanente allo stato di non sicuro. Lo studio mostra che i sei strati riportati come critici erano semplicemente quelli che avevano finito per far cambiare quel singolo prompt specifico. Gli altri 26 strati, che non avevano fatto cambiare quel prompt, sono stati riportati come sicuri, anche se si comportavano in modo quasi identico ai critici. La distinzione tra uno strato "critico" e uno strato "sicuro" non era una differenza nel modo in cui il modello funzionava, ma una differenza nel modo in cui la minuscola batteria di test si era comportata. L'insieme di sei strati critici riportati non era una scoperta del meccanismo di sicurezza del modello; era una proprietà dei quattro prompt utilizzati nel test.
L'indagine ha inoltre scoperto problemi simili con le affermazioni riguardanti i singoli neuroni. Il rapporto originale affermava che i ricercatori avevano scansionato centinaia di migliaia di neuroni e ne avevano trovati 205 critici, utilizzando una soglia specifica per selezionarli. Tuttavia, quando Zhang ha esaminato i file di dati effettivi memorizzati da quell'esperimento, i numeri non corrispondevano. I dati memorizzati contenevano record per soli 500 neuroni, non per l'intero set, e i punteggi di impatto registrati per essi erano molto più bassi della soglia utilizzata nel rapporto. Nei dati memorizzati, una soglia che avrebbe selezionato 205 neuroni non esisteva; al contrario, i dati mostravano che solo un neurone superava la soglia riportata. L'affermazione di 205 neuroni critici non era supportata dalle prove che erano state effettivamente salvate. Inoltre, altre misurazioni specifiche menzionate nel rapporto originale, come la velocità di un calcolo o la sovrapposizione tra diversi metodi di test, non sono state trovate in nessuno dei file memorizzati. I numeri apparivano nel testo del documento ma non potevano essere rintracciati nei dati grezzi.
Lo studio mette in discussione anche l'affermazione che l'importanza degli strati del modello segua un modello fluido e prevedibile che svanisce man mano che ci si sposta più in profondità nella rete. Il rapporto originale suggeriva che l'impatto della disabilitazione degli strati diminuisse in una curva esponenziale ordinata, con il lavoro più importante che avveniva nei primissimi strati. La rianalisi dei dati memorizzati mostra che il modello reale è molto più disordinato. L'impatto degli strati non svanisce in modo fluido; invece, è dominato da alcuni strati specifici, incluso l'ultimo strato della rete, che ha mostrato un grande impatto quando disabilitato. I dati non supportano l'idea di una curva pulita e decrescente. Suggeriscono invece una realtà più complessa in cui la sicurezza è influenzata da un insieme sparso di strati distribuiti in tutto il modello, piuttosto che da un unico, ordinato decadimento.
Questo lavoro non prova che il modello manchi di meccanismi di sicurezza o che la teoria del doppio meccanismo sia falsa. Dimostra semplicemente che le prove specifiche presentate nell'esecuzione archiviata sono insufficienti a supportare tali affermazioni. Le scoperte evidenziano un requisito fondamentale per questo tipo di ricerca: la batteria di test deve essere abbastanza grande e composta da un numero sufficiente di prompt che il modello effettivamente rifiuta, in modo che la disabilitazione di una parte possa essere vista come capace di cambiare l'esito. Quando il valore di base è già insicuro nella maggior parte dei prompt, il test non può misurare il contributo delle singole parti. Per identificare veramente quali strati o neuroni siano responsabili della sicurezza, i ricercatori hanno bisogno di un set molto più ampio di prompt di base sicuri, e devono riportare l'intera distribuzione dei risultati piuttosto che solo un elenco di strati che hanno superato una soglia arbitraria. Lo studio conclude che le affermazioni di attribuzione sono forti solo quanto i dati da cui possono essere ricalcolate e, in questo caso, i dati non supportavano le audaci conclusioni che erano state tratte.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.