Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map

Sintesi Tecnica: "Questo checkpoint è stato ablaterato? Un audit a due segnali e la sua mappa dei fallimenti"

Problema
La rapida proliferazione di modelli "open-weight" che sono stati "ablaterati" (privati dei meccanismi di rifiuto) pone una sfida significativa per le piattaforme e gli organismi di governance. Questi artefatti appaiono spesso poco dopo il rilascio di importanti modelli base. Gli attuali controlli a runtime sono insufficienti per l'audit pre-deployment perché valutano le generazioni del modello piuttosto che l'artefatto del modello stesso. Inoltre, l'accesso black-box da solo non può supportare audit rigorosi. La domanda centrale affrontata è: Un determinato artefatto di checkpoint ha visto rimosso il proprio meccanismo di rifiuto?

Metodologia
Gli autori propongono un audit di checkpoint privo di soglie che combina due segnali interni complementari, standardizzati e sommati per creare un punteggio unico. L'audit richiede un checkpoint candidato ($M_c$) e un checkpoint di riferimento attendibile e attestato ($M_b$).

1. Gap di Rifiuto delle Attivazioni ancorato al Riferimento ($\rho$):

   • Meccanismo: Calcola il rapporto tra il gap di attivazione "dannoso meno benigno" nel modello candidato rispetto al modello di riferimento.
   • Definizione: $\rho = \text{gap}(M_c) / \text{gap}(M_b)$, dove il gap è la differenza media delle attivazioni dell'ultimo token su prompt dannosi rispetto a quelli benigni in una banda di uno strato intermedio della stack.
   • Funzione: Fornisce specificità del rifiuto. Un valore vicino a 1 indica un meccanismo di rifiuto intatto; un valore vicino a 0 indica la rimozione.
   • Limitazione: È limitato a una singola direzione (la direzione della differenza delle medie) e potrebbe non rilevare rimozioni lungo direzioni non canoniche o in modelli con distillazione del ragionamento dove il rifiuto migra nel chain-of-thought.

2. Energia di Recupero dei Pesi ($E_1$):

   • Meccanismo: Misura la frazione di energia di rango 1 della differenza dei pesi ($\Delta W = W_b - W_c$) nelle matrici di output dell'attenzione e di proiezione MLP-down.
   • Definizione: $E_1 = \frac{1}{|W|} \sum \frac{\sigma_1^2(\Delta W_m)}{\sum \sigma_i^2(\Delta W_m)}$.
   • Funzione: Fornisce richiamo (recall). Rileva qualsiasi modifica dei pesi a basso rango, catturando le rimozioni multi-direzionali che il gap di attivazione manca.
   • Limitazione: Da solo, non può distinguere tra la rimozione del rifiuto e modifiche benigne a basso rango (ad esempio, fine-tuning aggressivo).

3. Rilevatore Combinato:

   • I due segnali sono negativamente correlati ($r \approx -0.41$) e complementari per etichettatura.
   • Il punteggio finale è la somma dei loro z-score: $s(M_c) = z(-\rho) + z(E_1)$.
   • Il sistema utilizza una standardizzazione transduttiva basata su una popolazione di riferimento e imposta un punto operativo tramite la statistica $J$ di Youden su un set di calibrazione.

Contributi Chiave

1. Rilevatore di Triage per Checkpoint Efficace: Il sommatore di z-score combinato raggiunge un AUROC di 0,95 su un registro di 273 checkpoint (57 non censurati, 37 benigni), superando significativamente ciascun segnale da solo (0,84 e 0,90). Si trasferisce a famiglie di modelli non visti con un'accuratezza bilanciata di 0,89 (FPR 0,11).
2. Mappa dei Fallimenti: Il documento traccia esplicitamente due modalità di fallimento:
   • Riferimento Spoofato: Se il riferimento dichiarato è esso stesso avversariale (già ablaterto) o se il candidato viene usato come proprio riferimento, l'audit fallisce senza alcuna addestrazione ($\Delta W=0, \rho=1$).
   • Evasione White-Box: Un proprietario white-box può addestrare un checkpoint per eludere il rilevatore (portando il punteggio sotto la soglia) pur mantenendo un comportamento non sicuro e la coerenza.
3. Registro Pubblico: La valutazione è condotta su un registro di 273 checkpoint che spaziano tra Qwen, DeepSeek-distilled Qwen, Llama e Gemma, inclusi negativi benigni (fine-tunes, merge, instruction-tunes).

Risultati

• Separabilità: Il rilevatore combinato separa 53 dei 57 checkpoint non censurati dalle modifiche benigne. I 4 casi mancati erano varianti ordinarie di abliterazione, non "ricette difficili" complesse.
• Trasferibilità: Sotto una calibrazione "leave-one-family-out", il rilevatore mantiene alte prestazioni (Accuratezza Bilanciata 0,89), mentre i metodi di soglia assoluta (come AMS Tier-1) falliscono significativamente (Accuratezza Bilanciata 0,35).
• Complementarità: Il gap di attivazione fallisce quando il rifiuto viene rimosso lungo molteplici direzioni o nascosto nelle tracce di ragionamento; l'energia dei pesi cattura queste, ma segnala eccessivamente anche le modifiche benigne. La combinazione mitiga queste debolezze individuali.
• Evasione: Un attacco adaptive white-box ha portato con successo un modello Qwen2.5-1.5B dallo stato di "rilevato" a quello di "evaso" in 600 passi di addestramento. Il modello risultante rimane non sicuro (20/20 prompt dannosi) e coerente, incorrendo solo in una piccola "tassa di offuscamento" sulle capacità di conoscenza generale e matematica.

Significatività e Rivendicazioni
Il documento posiziona questo audit come uno strumento di triage efficace, non come una soluzione a prova di manomissione.

• Utilità: Fornisce un filtro rapido ed economico per le piattaforme per segnalare i checkpoint per la revisione umana prima del deployment, riducendo significativamente la dipendenza dalla valutazione della generazione a runtime.
• Confini: Gli autori dichiarano esplicitamente che le rivendicazioni dell'audit sono limitate dal registro valutato e dall'assunzione di un riferimento attestato.
• Doppio Uso: Il documento riconosce che la metodologia stessa fornisce una "ricetta di evasione consapevole del rilevamento", notando che il fine-tuning naturale non apre questa vulnerabilità, ma l'ottimizzazione mirata sì.
• Modestia: Gli autori non pretendono di aver risolto interamente il problema della sicurezza. Enfatizzano che l'audit dipende interamente dall'integrità dell'attestazione di base; se il riferimento è spoofato, l'audit è nullo alla radice. Inoltre, la capacità di evasione white-box dimostra che i proprietari determinati possono addestrare modelli per superare questi segnali mantenendo comportamenti non sicuri.