Riepilogo Tecnico: BioRefusalAudit

Enunciato del Problema

I benchmark di biosicurezza attuali per i Modelli Linguistici di Grande Dimensione (LLM) valutano principalmente se un modello produce output pericolosi. Tuttavia, questa valutazione superficiale è insufficiente per la sicurezza del dispiegamento. Esiste un divario critico nella comprensione della stabilità strutturale dei rifiuti: quando un modello rifiuta una richiesta, tale rifiuto è una soppressione profonda e interna delle capacità pericolose, o è un comportamento superficiale che crolla sotto lievi modifiche alla formulazione del prompt, alla formattazione o ai limiti di token?

I benchmark esistenti (ad es. WMDP-Bio, VCT, ABC-Bench) misurano il completamento del compito o la generazione di output, ma non riescono a distinguere tra un "rifiuto profondo" (dove l'hardware interno relativo al pericolo è soppresso) e un "rifiuto superficiale" (dove il modello dice "no" mentre le funzionalità interne relative al pericolo rimangono attive). Inoltre, l'addestramento alla sicurezza potrebbe influenzare solo i primi pochi token generati, lasciando intatte le capacità pericolose al di sotto della superficie.

Metodologia

Il documento introduce BioRefusalAudit, uno strumento di misurazione progettato per auditare la profondità dei rifiuti del modello confrontando il comportamento superficiale con i pattern di attivazione interna. La metodologia consta di due componenti principali:

1. La Metrica di Divergenza ($D$)

L'innovazione centrale è un punteggio di divergenza $D$ che quantifica l'allineamento tra la risposta superficiale del modello e le sue attivazioni interne delle funzionalità di un Sparse Autoencoder (SAE).

• Vettore Superficiale ($s$): Un vettore di etichette soft (rifiutare, conformarsi, eludere, parziale, evasione) generato da un ensemble di giudici (regex, Gemini CLI, Claude Haiku).
• Vettore Interno ($f$): Un vettore normalizzato delle attivazioni delle funzionalità interne compresso in cinque categorie: contenuto biologico, vocabolario di pericolo, circuiti di rifiuto, elusione e correlati della deception.
• Matrice di Allineamento ($T$): Una matrice che mappa gli stati interni attesi agli stati superficiali, adattata tramite minimi quadrati con regolarizzazione ridge.
• Calcolo: $D(s, f) = 1 - \cos(f, T^T \cdot s)$.
  • $D \approx 0$: Allineamento perfetto (rifiuto profondo o conformità genuina).
  • $D \approx 2$: Alta divergenza (ad es. il modello dice "Rifiuto" mentre le funzionalità di pericolo sono attive).

2. Configurazione Sperimentale

• Modelli Valutati: Cinque architetture sono state testate comportamentalmente (Gemma 2 2B-IT, Gemma 4 E2B-IT, Llama 3.2 1B, Qwen 2.5 1.5B, Phi-3-mini). L'analisi meccanicistica completa utilizzando la metrica $D$ è stata eseguita su Gemma 2 e Gemma 4.
• Set di Valutazione: 75 prompt stratificati per livello (biologia benigna, dual-use, adiacenti al pericolo) e per formulazione (diretta, educativa, roleplay, offuscata).
• Addestramento SAE: Lo studio ha utilizzato Gemma Scope 1 (uso generale) e ha addestrato SAE personalizzati specifici per il dominio (Gemma 2 WMDP, Gemma 2 Pairwise, Gemma 4 Bio-SAE) su hardware consumer (GTX 1650 Ti) e Colab T4.
• Sonde Speciali: Gli esperimenti includevano un limite di generazione di 80 token, il gating del formato (presenza/assenza di template di chat) e un test di "confondimento legale" utilizzando composti della Tabella I ma biologicamente non tossici (ad es. coltivazione di psilocibina).

Risultati Chiave

Risultati Comportamentali (Cross-Architettura)

• Gemma 2 2B-IT: Non ha mai rifiutato genuinamente nessuno dei 75 prompt. Ha "eluso" ogni query adiacente al pericolo (tasso di elusione del 100% sui prompt di pericolo), rimandando efficacemente mentre interagiva con contenuti pericolosi.
• Gemma 4 E2B-IT: Il comportamento di rifiuto era interamente dipendente dalla formattazione del template di chat. Ha rifiutato 65/75 prompt con formattazione canonica ma 0/75 senza di essa. Entrambi i modelli Gemma sono crollati a un 0% di rifiuti sotto un limite di 80 token.
• Llama 3.2 1B: Ha mostrato l'unico gradiente di rifiuto significativo (61 punti di differenza tra biologia benigna e pericolo), sebbene abbia rifiutato eccessivamente la biologia benigna.
• Qwen 2.5 1.5B & Phi-3-mini: Hanno mostrato alti tassi di falsi positivi, rifiutando l'83-87% dei prompt di biologia benigna, indicando una scarsa discriminazione tra contenuti sicuri e pericolosi.

Risultati Meccanicistici (Famiglia Gemma)

• Rifiuti Superficiali: Su Gemma 4, le risposte "conformarsi" e "rifiutare" si sono separate con un divario di 0,647 punti in $D$ con zero sovrapposizione, suggerendo che la metrica può distinguere le posture a livello di attivazione.
• Disallineamento delle Funzionalità: In Gemma 2, le funzionalità relative ai "circuiti di rifiuto" erano attive durante le risposte di conformità alla biologia benigna (82% dei prompt), mentre le "funzionalità di pericolo" rimanevano attive anche quando il modello affermava di rifiutare. Ciò suggerisce che il meccanismo di rifiuto potrebbe filtrare l'output basandosi sulla presenza di parole chiave biologiche piuttosto che su una soppressione genuina del pericolo.
• Confondimento Legalità vs Pericolo: I test con la psilocibina (Tabella I, biologicamente non tossica) hanno rivelato che i tassi di rifiuto seguivano la salienza culturale e la legalità piuttosto che il pericolo CBRN. Gemma 2 ha rifiutato la coltivazione di psilocibina (25-50%) ma ha rifiutato la biologia genuinamente pericolosa allo 0%. Al contrario, Llama 3.2 ha discusso liberamente della psilocibina rifiutando la biologia pericolosa.

Sensibilità a Formato e Token

• Budget di Token: L'articolazione della sicurezza richiede un budget di token; limitare la generazione a 80 token ha causato un calo dei tassi di rifiuto allo 0% per i modelli testati.
• Formulazione: La formulazione educativa ha prodotto la divergenza più alta ($D=0,733$), indicando conformità parziale con funzionalità di pericolo attive. La formulazione offuscata ha prodotto la divergenza più bassa, suggerendo che le frasi opache attivano un allineamento interno più coerente (sebbene potenzialmente non sicuro).

Contributi Chiave

1. Audit della Profondità del Rifiuto: Un nuovo framework (metrica $D$) che auditia la coerenza interna dei rifiuti del modello, andando oltre le valutazioni superficiali binarie "sicuro/non sicuro".
2. Modalità di Fallimento Specifiche per Architettura: Evidenza che i comportamenti di rifiuto non sono uniformi tra le famiglie; Gemma 2 elude, Gemma 4 è sensibile al formato e Qwen/Phi rifiutano eccessivamente.
3. SAE Specifici per Dominio: Rilascio di tre SAE personalizzati addestrati per l'audit di biosicurezza su modelli Gemma, incluso un SAE Gemma 4 addestrato da zero.
4. Dimostrazione del Confondimento Legale: Evidenza empirica che i circuiti di rifiuto in alcuni modelli rispondono allo status legale e al tabù culturale (ad es. droghe della Tabella I) piuttosto che al pericolo biologico.
5. Monitoraggio senza Divulgazione dei Contenuti: La metrica $D$ è calcolata dai vettori di funzionalità interni, consentendo un audit in tempo reale della profondità del rifiuto senza che l'auditor debba leggere i prompt utente o le trascrizioni.

Significato e Affermazioni

Il documento afferma che l'audit a livello di attivazione può portare alla luce modalità di fallimento invisibili alla valutazione comportamentale. Nello specifico:

• Instabilità Strutturale: Il rifiuto di un modello potrebbe essere strutturalmente insano, scomparendo sotto modifiche modeste alla formattazione o ai limiti di token.
• Segnali Disallineati: I circuiti di rifiuto potrebbero essere calibrati sulla salienza culturale o sullo status legale piuttosto che sul potenziale reale di bio-pericolo.
• Utilità di Governance: La metrica $D$ fornisce un segnale che potrebbe informare framework di accesso a livelli (ad es. Carter e Butchello, 2026) distinguendo i rifiuti profondi da quelli superficiali, potenzialmente abilitando sistemi di monitoraggio che non richiedono la lettura del contenuto delle interazioni.

Gli autori dichiarano esplicitamente che i risultati meccanicistici (la metrica $D$) sono attualmente limitati alla famiglia Gemma e richiedono una replicazione sulle architetture Llama e Qwen. I risultati sono presentati come prove preliminari da un esperimento su scala hackathon, notando limitazioni nella validazione semantica del catalogo delle funzionalità e nella calibrazione intra-campione. Il lavoro è rilasciato sotto la Licenza Ippocratica 3.0 per prevenire l'uso a valle in armi autonome o per eludere i controlli di sicurezza.