Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs

1. Il Problema

Il lavoro indaga una vulnerabilità critica nei Large Language Models Audio (Audio LLMs): la degradazione della sicurezza (safety alignment) causata dal fine-tuning su dati esclusivamente benigni.
Mentre studi precedenti hanno dimostrato che il fine-tuning su dati benigni può compromettere la sicurezza nei modelli di testo e visione, l'audio presenta sfide strutturali uniche:

• Codificatori Congelati: A differenza dei modelli di testo, nei modelli Audio LLM il codificatore audio (encoder) è tipicamente congelato durante il fine-tuning. Solo il backbone del LLM viene aggiornato. Ciò significa che le rappresentazioni audio in ingresso rimangono invariate, ma il meccanismo di rifiuto (refusal mechanism) del LLM, ereditato dalla sicurezza basata sul testo, diventa fragile.
• Multidimensionalità della Prossimità: Nell'audio, un campione benigno può essere "vicino" a contenuti dannosi non solo per il significato semantico (cosa viene detto), ma anche per le caratteristiche acustiche (chi parla, il tono, il pitch, le condizioni di registrazione), anche se le parole sono innocue.
• Ipotesi di Ricerca: Il paper ipotizza che campioni benigni che occupano regioni dello spazio di embedding vicine a contenuti dannosi (prossimità rappresentazionale) possano erodere il comportamento di rifiuto del modello durante l'addestramento, senza che vi sia alcuna intenzione malevola o dati dannosi nel set di addestramento.

2. Metodologia

Gli autori hanno sviluppato un framework sistematico per valutare e decomporre questa vulnerabilità:

• Modelli Valutati: Tre modelli Audio LLM all'avanguardia con architetture diverse:
  • Audio Flamingo 3 (AF3): Utilizza un encoder Whisper compresso tramite un proiettore MLP a due livelli.
  • Kimi-Audio-7B: Utilizza un design a doppio encoder (WhisperVQEncoder + Whisper-Large-V3) con un collo di bottiglia di quantizzazione.
  • Qwen2.5-Omni: Utilizza un passaggio diretto (pass-through) delle uscite di Whisper-Large-V3 al LLM.
• Framework di Filtraggio per Prossimità (Proximity-Based Filtering):
  • Viene definito un set di dati benigni ($D_{benign}$) e un set di prompt dannosi ($D_{harmful}$).
  • Si seleziona un sottoinsieme di dati benigni ($D_k$) basandosi sulla distanza coseno minima nello spazio di embedding rispetto ai contenuti dannosi.
  • Decomposizione degli Assi: Per capire perché avviene la degradazione, la vicinanza viene analizzata lungo tre assi utilizzando encoder di riferimento esterni:
    1. Semantico: Tramite Sentence-BERT (sulla trascrizione testuale).
    2. Acustico: Tramite WavLM (focalizzato su identità del parlante, prosodia, rumore).
    3. Misto: Tramite Whisper-Large-V3 (combinazione di contenuto e suono).
  • Viene anche utilizzata una filtrazione interna basata sull'encoder del modello stesso.
• Protocollo Sperimentale:
  • Addestramento dei modelli su dati benigni filtrati (con diverse percentuali di vicinanza, $k \in \{10, ..., 90\}$).
  • Valutazione della sicurezza su benchmark dannosi convertiti in audio (AdvBench e SafetyBench).
  • Controllo Cross-Modale: Confronto tra fine-tuning audio e fine-tuning su trascrizioni testuali degli stessi dati per isolare l'effetto della modalità.
  • Analisi Meccanicistica: Studio delle attivazioni degli strati del LLM per osservare come cambia il segnale di rifiuto.

3. Risultati Chiave

• Degradazione Drastica della Sicurezza: Il fine-tuning su dati benigni vicini a contenuti dannosi aumenta il Jailbreak Success Rate (JSR) da valori a singola cifra (pre-addestramento) fino a 87.12% (nel caso di Kimi-Audio con filtraggio semantico al 25%). Anche il campionamento casuale senza filtraggio aumenta il JSR, ma il filtraggio per prossimità amplifica esponenzialmente il rischio.
• Condizionalità Architetturale: L'asse di vulnerabilità dominante dipende dall'architettura del modello:
  • Kimi-Audio: È più vulnerabile al filtraggio semantico (87.12% JSR). Il suo collo di bottiglia di quantizzazione rimuove i dettagli acustici, rendendo la vicinanza semantica il fattore critico.
  • AF3: È più vulnerabile al filtraggio misto (semantico + acustico). Il suo proiettore MLP comprime le rappresentazioni in uno spazio dove le caratteristiche acustiche pre-proiezione diventano predittive.
  • Qwen2.5-Omni: Mostra vulnerabilità sia al filtraggio interno che a quello misto/acustico, poiché la sua architettura "trasparente" preserva la struttura acustica originale.
• Asimmetrie Cross-Modali:
  • In AF3, il fine-tuning audio aumenta il JSR, mentre quello testuale lo diminuisce.
  • In Qwen2.5-Omni, il fine-tuning testuale è più dannoso di quello audio.
  • Principio Unificante: La sicurezza degrada maggiormente lungo il percorso rappresentazionale meno coperto dall'addestramento di allineamento originale.
• Meccanismo di Rifiuto: L'analisi meccanicistica rivela che il fine-tuning benigno sopprime selettivamente il circuito di rifiuto negli strati tardivi del LLM (strati 20-26), mentre le rappresentazioni a monte (fornite dall'encoder congelato) rimangono invariate. Il modello continua a "capire" il contenuto, ma smette di rifiutarlo.
• Preservazione dell'Utilità: Nonostante il crollo della sicurezza, le prestazioni del modello su compiti benigni (Big-Bench Hard) rimangono stabili, con variazioni minime (< 5 punti percentuali), dimostrando che la degradazione è specifica alla sicurezza e non un collasso generale delle capacità.

4. Difese Proposte

Gli autori propongono due strategie difensive efficaci che non richiedono modifiche architetturali:

1. Filtraggio Distanziale (Distant Filtering): Selezionare per l'addestramento solo campioni benigni che sono massimamente distanti (in termini di embedding) dai contenuti dannosi. Questo ha mantenuto il JSR vicino allo zero per AF3 e Kimi-Audio (anche se Qwen2.5-Omni ha mostrato una fragilità residua dovuta alla sua linea di base già molto bassa).
2. Prompt di Sistema Testuale (Inference-Time): Inserire un prompt di sistema esplicito che istruisce il modello a rifiutare richieste dannose. Questa difesa ha ridotto il JSR a quasi zero (0.00% - 0.58%) su tutti i modelli, anche dopo un fine-tuning aggressivo, dimostrando che i meccanismi di sicurezza possono essere riattivati tramite istruzioni testuali.

5. Significato e Contributi

• Primo Studio Sistematico: Questo è il primo lavoro a dimostrare che il fine-tuning su dati audio puramente benigni può rompere l'allineamento di sicurezza, un rischio qualitativamente diverso rispetto a testo e visione.
• Nuova Dimensione di Rischio: Introduce il concetto che la sicurezza negli Audio LLM è minacciata non solo da cosa viene detto, ma da come suona, e che questa vulnerabilità è intrinsecamente legata all'architettura del codificatore.
• Decoupling Rilevamento-Rifiuto: Dimostra che nei modelli Audio LLM, la capacità di rilevare contenuti dannosi (nell'encoder congelato) e la capacità di rifiutarli (nel LLM adattabile) sono disaccoppiate, rendendo il sistema più fragile.
• Implicazioni Pratiche: Evidenzia la necessità di procedure di screening dei dati di addestramento basate sulla distanza rappresentazionale e l'importanza di mantenere prompt di sistema robusti durante l'inferenza per mitigare i rischi derivanti dalla personalizzazione dei modelli da parte degli utenti.

In sintesi, il paper avverte che la personalizzazione dei modelli audio tramite fine-tuning su dati benigni, se non controllata, può portare a un collasso imprevisto delle difese di sicurezza, e che la mitigazione richiede una comprensione profonda di come l'architettura del modello trasforma e processa le diverse modalità di input.