Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs

Probleemstelling

Het paper onderzoekt een kritieke veiligheidskwetsbaarheid in Audio Large Language Models (Audio LLMs): het vermogen van onbedreigde (benigne) fine-tuning om de veiligheidsuitlijning van deze modellen te doorbreken.

In tegenstelling tot eerdere studies in tekst- en visuele domeinen, waar fine-tuning vaak leidt tot het overschrijven van parameters die door veiligheidstraining zijn gevormd, werken Audio LLMs anders:

1. Bevroren Encoders: Tijdens fine-tuning blijven de audio-encoders (die geluid omzetten in representaties) bevroren. Alleen de LLM-backbone wordt bijgewerkt (bijv. via LoRA).
2. Fragiele Afwijzing: De weigeringsmechanismen voor audio-invoer zijn vaak "geërfd" van tekstuele veiligheidstraining en niet specifiek versterkt met audio-veiligheidsdata.
3. Meervoudige Nabijheid: In audio bestaat "nabijheid" tot schadelijke inhoud niet alleen op semantisch niveau (wat er gezegd wordt), maar ook op akoestisch niveau (hoe het klinkt, sprekeridentiteit, intonatie). Een onschuldig klinkende audiofile kan in de inbeddingsruimte (embedding space) dicht bij schadelijke content liggen, zelfs als de tekst volledig onschuldig is.

De centrale vraag is: Kan fine-tuning op puur onschuldig audio-data, dat toevallig dicht bij schadelijke content in de representatieruimte ligt, de veiligheidsuitlijning van het model ondermijnen zonder dat er een kwaadwillende aanvaller betrokken is?

Methodologie

De auteurs presenteren een systematische studie met een proximity-based filtering framework (nabijheid-gebaseerd filteringskader).

1. Selectie van Data:

   • Ze gebruiken vier verschillende onschuldige datasets (o.a. VoiceBench, GammaCorpus, MMSU).
   • Ze definiëren een set met schadelijke prompts (AdvBench, SafetyBench), omgezet naar audio.
   • Een filterfunctie selecteert de top-$k\%$ van de onschuldige samples die de kleinste kosinusaftand hebben tot de schadelijke samples in de inbeddingsruimte.

2. Decompositie van Nabijheid:
   Om te bepalen welke eigenschappen van het audiosignaal de kwetsbaarheid veroorzaken, gebruiken ze twee strategieën:

   • Model-interne filtering: Gebruik van de eigen encoder van het doelmodel.
   • Referentie-encoder filtering: Gebruik van externe, modale-agnostische encoders om specifieke dimensies te isoleren:
     • Semantisch: Via teksttranscriptie en Sentence-BERT (wat er gezegd wordt).
     • Akoestisch: Via WavLM (sprekeridentiteit, prosodie, hoe het klinkt).
     • Gemengd: Via Whisper-Large-V3 (combinatie van beide).

3. Experimenteel Opzet:

   • Modellen: Drie state-of-the-art Audio LLMs: Audio Flamingo 3 (AF3), Kimi-Audio-7B-Instruct, en Qwen2.5-Omni.
   • Fine-tuning: De modellen worden gefine-tuned op de geselecteerde "nabije" onschuldige data.
   • Evaluatie: Het Jailbreak Success Rate (JSR) wordt gemeten op de schadelijke benchmarks.
   • Controle: Vergelijking tussen audio-fine-tuning en tekst-fine-tuning op dezelfde data om modale asymmetrieën te analyseren.

Belangrijkste Resultaten

1. Drastische Verslechtering van Veiligheid:

   • Fine-tuning op onschuldig data dat dicht bij schadelijke content ligt, verhoogt het JSR van enkele cijfers naar 87,12% (bij Kimi-Audio met semantische filtering).
   • Zelfs willekeurige fine-tuning (zonder filtering) verhoogt het JSR, maar nabijheidsfiltering versterkt dit effect aanzienlijk.

2. Architectuur-afhankelijke Kwetsbaarheid:
   De dominante "kwetsbaarheidsas" hangt af van de modelarchitectuur:

   • Kimi-Audio (Dual-encoder): Semantische filtering is het meest schadelijk (JSR 87,12%). De akoestische features worden grotendeels genegeerd door de kwantisatie-bottleneck.
   • AF3 (Unificatie encoder met MLP-projector): Gemengde filtering (semantisch + akoestisch) is het meest schadelijk. De projector comprimeert features, waardoor pre-projectie Whisper-features bepalend worden.
   • Qwen2.5-Omni (Pass-through): Hier is interne en gemengde filtering even effectief omdat de encoder identiek is aan de referentie.

3. Cross-Modale Asymmetrie:
   Er is een fundamenteel verschil tussen audio- en tekst-fine-tuning, afhankelijk van de architectuur:

   • Bij AF3 verhoogt audio-fine-tuning het JSR, terwijl tekst-fine-tuning het JSR verlaagt. Audio passeert een "comprimerende" projector die de audio-uiting ver weg brengt van de tekst-uitlijning, waardoor de veiligheidsbarrière minder beschermd is.
   • Bij Qwen2.5-Omni is tekst-fine-tuning juist schadelijker dan audio, omdat de transparante pass-through de audio- en tekstruimten dichter bij elkaar houdt, waardoor tekst-fine-tuning directer de uitgelijnde taalruimte verstoort.

4. Mechanistische Analyse:

   • Fine-tuning onderdrukt selectief het weigeringscircuit in de late lagen van de LLM (lagen 20-26), terwijl de weergaven van de bevroren encoder intact blijven.
   • Het model "herkent" nog steeds de inhoud (de encoder werkt), maar het weigert niet meer (de LLM-backbone is aangepast). Dit is een kwalitatief ander risico dan bij tekst-LLMs, waar detectie en weigering vaak in dezelfde parameterspace zitten.

5. Generalisatie:
   Het effect treedt op bij verschillende datasets, maar is minder sterk bij datasets die redenering (Chain-of-Thought) vereisen, omdat het model zichzelf dan kan corrigeren tijdens het denkproces.

Defensieve Strategieën

De auteurs presenteren twee effectieve verdedigingen die geen architecturale wijzigingen vereisen:

1. Verwijderde Filtering (Distant Filtering): Bij het selecteren van trainingsdata, kies de samples die verst van schadelijke content liggen in de inbeddingsruimte. Dit behoudt de veiligheid tijdens het trainen (voor AF3 en Kimi-Audio zeer effectief).
2. Tekstuele Systeemprompt: Het toevoegen van een expliciete veiligheidsinstructie als systeemprompt tijdens de inferentie (inference) herstelt de veiligheid. Dit verlaagt het JSR naar bijna 0% (0,00% - 0,58%) voor alle geteste modellen, zelfs na zware fine-tuning.

Bijdragen en Significantie

• Eerste Systematische Studie: Dit is het eerste werk dat de impact van onschuldig fine-tuning op de veiligheid van Audio LLMs analyseert.
• Nieuw Risicoprofiel: Het toont aan dat veiligheidsdegradatie in audio niet alleen semantisch is, maar ook akoestisch en sterk afhankelijk van de encoder-architectuur.
• Structuur van Kwetsbaarheid: Het onthult dat de bevroren encoder de detectie van schadelijke inhoud ontkoppelt van het weigeringsmechanisme, waardoor fine-tuning het weigeringsvermogen kan uitschakelen zonder de inhoudsbeoordeling te veranderen.
• Praktische Implicatie: Voor organisaties die Audio LLMs aanpassen aan specifieke taken is het cruciaal om trainingsdata te screenen op "inbeddings-nabijheid" tot schadelijke content, en om altijd een robuuste systeemprompt te behouden.

Conclusie:
Veiligheidsuitlijning in Audio LLMs is kwetsbaarder dan gedacht. Zelfs volledig onschuldig audio-data kan, als het in de representatieruimte dicht bij schadelijke content ligt, de weigeringsmechanismen van het model uitschakelen. Dit risico is uniek voor audio door de multidimensionale aard van geluid (semantiek + akoestiek) en de architecturale verschillen in hoe audio wordt verwerkt. De studie biedt concrete methoden om dit te detecteren en te mitigeren.