Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs

Titel: Benignes Fine-Tuning bricht die Sicherheitsausrichtung in Audio-LLMs

Autoren: Jaechul Roh, Amir Houmansadr (University of Massachusetts Amherst)

---

1. Problemstellung

Das Paper adressiert eine kritische Sicherheitslücke in Audio-Large-Language-Modellen (Audio LLMs). Bisherige Forschung hat gezeigt, dass das Fine-Tuning von ausgerichteten Modellen (Alignment) auf harmlosen (benignen) Daten die Sicherheit in Text- und Vision-Modellen beeinträchtigen kann. Allerdings wurde dies in Audio-LLMs noch nicht systematisch untersucht.

Die zentrale Hypothese der Autoren ist, dass rein harmlose Audio-Daten die Sicherheitsausrichtung (Safety Alignment) von Audio-LLMs zerstören können, wenn diese Daten im Embedding-Raum räumlich nah an schädlichen Inhalten liegen.

• Unterschied zu Text/Vision: Bei Audio-LLMs sind die Audio-Encoder während des Fine-Tunings typischerweise eingefroren (frozen). Die Sicherheitsausrichtung wurde primär auf Textdaten trainiert und auf Audio-Inputs übertragen, was zu einer fragilen „Verweigerungslogik" (Refusal Mechanism) führt.
• Die Bedrohung: Ein gutwilliger Nutzer, der ein Modell auf harmlosen Daten (z. B. für bessere Frage-Antwort-Fähigkeiten) feinabstimmt, kann unbeabsichtigt die Sicherheitsgrenzen des Moduls untergraben, wenn die Trainingsdaten im Repräsentationsraum schädlichen Prompts ähneln.

2. Methodik

Die Autoren entwickelten einen systematischen Rahmen, um diesen Effekt zu messen und zu analysieren.

A. Embedding-basierte Proximity-Filterung

Anstatt zufällige harmlose Daten zu verwenden, wählten die Autoren Datensätze basierend auf ihrer Distanz zu schädlichen Inhalten im Embedding-Raum aus.

• Filterkriterium: Es wird der kosinische Abstand zwischen harmlosen Audio-Samples und einer Menge schädlicher Prompts berechnet.
• Ziel: Fine-Tuning auf den $k\%$ der harmlosen Samples, die dem schädlichen Raum am nächsten liegen (Proximity-Filtering).
• Dekomposition der Nähe: Um zu verstehen, warum die Nähe schädlich ist, wurde die „Nähe" in drei Achsen zerlegt:
  1. Semantisch: Was gesagt wird (via Whisper-Transkription + Sentence-BERT).
  2. Akustisch: Wie es klingt (Stimme, Prosodie, Pitch via WavLM).
  3. Gemischt: Eine Kombination aus beidem (via Whisper-Large-V3).
• Strategien:
  • Model-Internal: Nutzung des eigenen Encoders des Zielmodells.
  • Reference-Based: Nutzung externer, modellunabhängiger Encoder zur Isolierung spezifischer Merkmale.

B. Experimentelles Setup

• Modelle: Drei State-of-the-Art Audio LLMs wurden evaluiert:
  1. Audio Flamingo 3 (AF3): Nutzt einen Whisper-Encoder mit einem MLP-Projektor (komprimiert Features).
  2. Kimi-Audio-7B: Dual-Encoder-Architektur (WhisperVQ + Whisper-Large-V3).
  3. Qwen2.5-Omni: Nutzt Whisper-Large-V3 als „Pass-Through" (keine starke Kompression).
• Daten: Vier harmlose Audio-Datensätze (z. B. VoiceBench SD-QA, MMSU) und zwei Sicherheits-Benchmarks (AdvBench, SafetyBench), die in Audio umgewandelt wurden.
• Metrik: Jailbreak Success Rate (JSR) – der Prozentsatz der schädlichen Anfragen, auf die das Modell nach dem Fine-Tuning nicht mehr ablehnend reagiert.

3. Wichtige Ergebnisse

A. Dramatischer Sicherheitsverlust

Das Fine-Tuning auf harmlosen, aber im Embedding-Raum „nahen" Daten führt zu einem massiven Anstieg der JSR.

• Ergebnis: Die JSR stieg von einstelligen Werten (z. B. 4,62 %) auf bis zu 87,12 % (beim Kimi-Audio-Modell bei semantischer Filterung).
• Zufälliges Sampling: Selbst ohne Filterung (zufällige Auswahl harmloser Daten) erhöhte sich die JSR bei allen Modellen, wenn auch weniger drastisch.

B. Architektur-Abhängigkeit der Verwundbarkeit

Die dominante „Verwundbarkeitsachse" hängt stark von der Modellarchitektur ab:

• Kimi-Audio: Da der Encoder akustische Details verwirft (Quantisierung), ist die semantische Nähe (Inhalt) der entscheidende Faktor. Hier führte semantische Filterung zu 87,12 % JSR.
• AF3: Aufgrund des komprimierenden MLP-Projektors ist die gemischte Nähe (Semantik + Akustik) am kritischsten.
• Qwen2.5-Omni: Da der Encoder transparent ist, zeigen sowohl interne als auch gemischte Filterung hohe Werte. Akustische Filterung (WavLM) war hier besonders effektiv, da die Architektur akustische Merkmale bewahrt.

C. Asymmetrie zwischen Audio und Text

Ein entscheidender Befund ist die Cross-Modal-Asymmetrie:

• Beim Fine-Tuning auf denselben Daten (als Text vs. als Audio) zeigten die Modelle entgegengesetzte Reaktionen.
• AF3: Audio-Fine-Tuning verschlechterte die Sicherheit stark, Text-Fine-Tuning verbesserte sie sogar.
• Qwen2.5-Omni: Text-Fine-Tuning war schädlicher als Audio-Fine-Tuning.
• Erklärung: Die Sicherheit verschlechtert sich am stärksten entlang des Repräsentationspfads, der durch das ursprüngliche Alignment-Training am wenigsten abgedeckt ist.

D. Mechanistische Analyse

Die Analyse der internen Schichten (Layer) zeigt:

• Das Fine-Tuning unterdrückt selektiv den späten Verweigerungs-Circuit (Refusal Circuit) in den LLM-Layern (ca. Layer 20–26).
• Der Audio-Encoder bleibt unverändert (eingefroren), aber die Entscheidungsgrenze im LLM verschiebt sich.
• Bei AF3 unterdrückt nur Audio-Fine-Tuning das Signal, bei Qwen2.5-Omni tun dies beide Modalitäten.

4. Verteidigungsstrategien (Defenses)

Die Autoren schlagen zwei praktische Lösungen vor, die keine Architekturänderungen erfordern:

1. Distant Filtering (Trainingszeit): Statt der nächsten Samples werden die entferntesten harmlosen Samples im Embedding-Raum ausgewählt.
   • Effekt: Bei AF3 und Kimi-Audio wurde die JSR dadurch auf nahe Null reduziert. Bei Qwen2.5-Omni war dies weniger effektiv, da die Basis-Sicherheit hier sehr fragil ist.
2. Textueller System-Prompt (Inferenzzeit): Das Hinzufügen eines Sicherheits-Prompts zur Eingabe während der Inferenz.
   • Effekt: Dies stellte die Sicherheitsausrichtung für alle drei Modelle wieder her und reduzierte die JSR auf nahe 0 %, selbst bei stark geschädigten Modellen.

5. Bedeutung und Beiträge

• Erste systematische Studie: Dies ist die erste Arbeit, die den Sicherheitsverlust durch harmloses Fine-Tuning in Audio-LLMs untersucht.
• Neue Risiko-Dimension: Es wird gezeigt, dass Audio-LLMs eine qualitativ andere Verwundbarkeit aufweisen als Text- oder Vision-Modelle, bedingt durch die Trennung von Encoder (frozen) und LLM (trainierbar) sowie die Mehrdimensionalität von Audio (Semantik vs. Akustik).
• Architektur-Design als Sicherheitsfaktor: Die Wahl des Encoders (komprimierend vs. pass-through) bestimmt maßgeblich, welche Art von Daten (akustisch oder semantisch) die Sicherheit am meisten gefährdet.
• Praktische Implikationen: Da die schädlichen Trainingsdaten für menschliche Prüfer völlig harmlos und unbedenklich aussehen (keine thematische Ähnlichkeit zu schädlichen Inhalten), sind herkömmliche Content-Moderations-Filter wirkungslos. Die Sicherheit muss durch Distanz-basierte Filterung und robuste System-Prompts gewährleistet werden.

Fazit: Das Paper warnt davor, dass die Anpassung von Audio-LLMs an benutzerdefinierte Aufgaben die Sicherheitsbarrieren unbemerkt und drastisch schwächen kann. Die Sicherheit ist nicht nur vom Inhalt der Daten abhängig, sondern von deren Position im hochdimensionalen Repräsentationsraum des Modells.