Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

Sintesi Tecnica: Testare se i precursori interni di una backdoor precedono il comportamento

Problema
Il monitoraggio della sicurezza attuale per i modelli IA valuta tipicamente se un modello completato contenga una backdoor o analizza la dinamica di addestramento in isolamento. Rimane una lacuna temporale critica: non è noto se una rappresentazione interna associata a una backdoor diventi rilevabile prima che il comportamento di output del modello mostri un cambiamento statisticamente significativo. I metodi esistenti non riescono a stabilire un confronto causale e temporale tra i segnali interni e il comportamento di output perché spesso mancano di condizioni nulle corrispondenti, utilizzano soglie di classificazione arbitrarie o non riescono a controllare il tasso di errore per l'intera famiglia (family-wise error rate) attraverso ispezioni dense di checkpoint. Inoltre, un segnale interno decodificabile non implica necessariamente un precursore causale; potrebbe semplicemente codificare la presenza del trigger senza guidare il comportamento target.

Metodologia
L'autore propone un protocollo rigoroso e falsificabile per testare se un precursore di backdoor interno preceda la manifestazione comportamentale. L'esperimento utilizza un modello GPT-2 da 124 milioni di parametri sottoposto a fine-tuning sul compito di classificazione del sentiment SST-2.

1. Design Sperimentale:

   • Protocollo di Addestramento: Il modello subisce una fase di "adattamento pulito" (clean adaptation), seguita da una fase di continuazione in cui vengono aggiornati solo i transformer block 10 e 11 (e l'ultimo layer norm).
   • Condizioni: Due condizioni vengono eseguite in parallelo:
     • Condizione Backdoor: Un marker di token specifico (cf) è associato a un comportamento target (mappatura di recensioni negative a sentiment positivo).
     • Condizione Null-Matched: Vengono utilizzati input, esposizione al marker, totali delle etichette e rumore delle etichette identici, ma il marker attivo non è associato al comportamento target (l'errata etichettatura avviene su esempi non marcati).
   • Checkpoint Densi: I modelli vengono valutati ad ogni step di aggiornamento (da 0 a 80).

2. Dual Detectors (Doppi Rilevatori):

   • Saggio Comportamentale: Misura il cambiamento continuo nel margine dei logit di output (positivo meno negativo) per gli input con marker attivo rispetto agli input con marker di controllo, rispetto alla baseline pre-continuazione. Questo evita la sogliatura arbitraria.
   • Saggio Interno: Misura lo spostamento nello stream residuo (post-block-10) proiettato su una direzione unidimensionale bloccata. Questa direzione è derivata da una "scoperta" di continuazione indipendente, addestrata su un dataset separato per catturare il meccanismo di backdoor maturo. Fondamentalmente, la direzione è fissata prima che inizino le corse di conferma per evitare l'overfitting.

3. Interventi Causali:
   Per verificare che un segnale interno precoce sia un precursore e non solo un passeggero decodificabile, il protocollo impiega interventi causali al momento della presunta rilevazione:

   • Ablazione: Rimozione della coordinata acquisita dall'attivazione del marker attivo.
   • Restaurazione: Aggiunta di un'ampiezza corrispondente al checkpoint da esempi donor indipendenti all'attivazione ablata.
   • Control Patching: Aggiunta dell'ampiezza agli input con marker di controllo.
     Questi interventi sono testati su un set di prompt disgiunto per garantire la separazione temporale.

4. Calibrazione Statistica:

   • Controllo dell'Errore: Per affrontare il "problema dei confronti multipli" inerente all'ispezione densa di 160 detector-checkpoint (2 detector × 80 aggiornamenti), il protocollo utilizza un cutoff della statistica massima derivato da 20.000 campionamenti bootstrap di traiettorie nulle. Ciò garantisce un rigoroso tasso di falsi positivi per l'intera famiglia.
   • Pareggio della Potenza (Power Matching): Entrambi i detector utilizzano lo stesso numero di campioni ($n=128$), lo stesso statistica della media studentizzata e lo stesso cutoff, garantendo una potenza statistica comparabile tra i test interni e comportamentali.
   • Gate Decisionali: Un risultato positivo richiede che: (1) il test interno superi la soglia prima del test comportamentale in un numero significativo di corse; (2) il successo della soppressione (ablazione) e del salvataggio (restaurazione) del comportamento target al punto di incrocio interno; e (3) la significatività statistica tramite test di segno-flip esatti con correzione di Holm.

Contributi Chiave

• Protocollo Eseguibile: Il documento presenta un protocollo completamente specificato e falsificabile per confrontare l'insorgenza di rappresentazioni interne e comportamenti in condizioni di match.
• Confronto Temporale Causale: Si va oltre la correlazione richiedendo che un segnale interno precoce sia causalmente necessario (tramite ablazione/restaurazione) per il comportamento finale.
• Framework Statistico Rigoroso: Introduce una calibrazione con statistica massima congiunta per controllare i falsi positivi durante le ispezioni temporali dense e assicura il pareggio della potenza tra i test interni e comportamentali.
• Decoupling tra Decodificabilità e Causalità: Utilizzando la scoperta di una direzione indipendente e interventi causali, il protocollo distingue tra l'informazione che è semplicemente presente nei pesi e l'informazione che guida funzionalmente la backdoor.

Risultati
Il documento afferma esplicitamente che non vengono riportati risultati confermativi riguardo all'ipotesi temporale.

• L'autore ha condotto "smoke tests" e test unitari sintetici per verificare la pipeline, inclusi l'adattamento pulito, la direzione di scoperta, il fitting del modello, la valutazione densa e la logica di intervento causale.
• Questi test hanno confermato i dettagli di implementazione (ad esempio, ID dei token, conteggio dei parametri, tempistiche del workflow) ma erano espressamente non inferenziali.
• Di conseguenza, la domanda "Le rappresentazioni interne causali necessarie diventano rilevabili prima del comportamento corrispondente?" rimane aperta. Il documento fornisce la procedura decisionale e l'analisi dell'errore, ma non fornisce la risposta.

Significatività e Claim
Il contributo primario del documento è metodologico, non empirico.

• Stabilisce un criterio falsificabile per rispondere se i precursori interni precedono il comportamento, impedendo ai ricercatori di scambiare l'identità del token, la sogliatura del comportamento, la flessibilità del probe o budget di errore diseguali per veri avvisi precoci.
• Argomenta che un claim di "avviso precoce" richiede quattro componenti collegate: una baseline che escluda l'identità statica dell'input, un comparatore di output continuo, opportunità di rifiuto equiparate (power matching) e un intervento che stabilisca l'uso causale piuttosto che la semplice decodificabilità.
• Il lavoro supporta l'agenda della "interpretabilità evolutiva" fornendo un test operativo per il monitoraggio delle dinamiche di addestramento per precursori rilevanti per la sicurezza, piuttosto che limitarsi ad audit di modelli finali.

In sintesi, il documento definisce come testare rigorosamente i precursori di una backdoor, ma non sostiene di averne trovati, lasciando la questione sostanziale aperta.