Technische Zusammenfassung: SPARD

Problemstellung

Large Language Models (LLMs) werden zunehmend über Fine-Tuning-as-a-Service an spezifische Domänen angepasst. Dieser Prozess untergräbt jedoch häufig die während des Pre-Trainings erreichte Sicherheitsausrichtung. Diese Verwundbarkeit wird durch schädliche Fine-Tuning-Angriffe ausgenutzt, bei denen adversariale Daten injiziert werden, um Sicherheitsvorkehrungen zu entfernen und unsichere Verhaltensweisen hervorzurufen.

Bestehende Verteidigungsmechanismen sehen sich zwei primären Einschränkungen gegenüber:

1. Schwache Kontrolle: Methoden wie SafeInstr und Lisa behandeln sichere Daten als weichen Regularisierer (Strafterm), bieten nur eine indirekte Kontrolle über Sicherheitsbeschränkungen und erschweren so die Balance zwischen Sicherheit und downstream-Nützlichkeit.
2. Suboptimale Datenselektion: Aktuelle Ansätze wählen sichere Stichproben typischerweise zufällig aus. Sie übersehen, dass sichere Daten, die hochrelevant für die downstream-Aufgabe sind, stärkere Korrektursignale liefern, während gleichzeitig die Notwendigkeit von Vielfalt ignoriert wird, um breite Risikoräume abzudecken.

Methodik

Die Autoren schlagen SPARD (Safety Projection with Relevance–Diversity Data Selection) vor, ein Verteidigungsframework, das aus zwei Kernkomponenten besteht:

1. Safety-Projected Alternating Gradient (SPAG)

SPARD formuliert Fine-Tuning als ein sicherheitsbeschränktes Optimierungsproblem:
$$\min_{\theta} \mathcal{L}(D_{ft}, \theta) \quad \text{s.t.} \quad \mathcal{L}(D_{safe}, \theta) \leq \tau$$
wobei $D_{ft}$ der Fine-Tuning-Datensatz, $D_{safe}$ der Sicherheitsdatensatz und $\tau$ ein Sicherheitsschwellenwert ist.

Anstatt einer straffungs-basierten Relaxierung verwendet SPAG eine explizite Projektionsstrategie:

1. Nützlichkeit-Update: Durchführung eines Gradientenschritts auf den Fine-Tuning-Daten ($D_{ft}$), um die Parameter $\theta$ zu aktualisieren.
2. Sicherheitsprojektion: Projektion der aktualisierten Parameter zurück in einen zulässigen Bereich, definiert durch die Sicherheitsbeschränkung.
   • Die Beschränkung wird durch eine Taylor-Entwicklung erster Ordnung um die aktualisierten Parameter herum linearisiert.
   • Die Projektion findet den Punkt im linearisierten Sicherheits-Halbraum, der den aktualisierten Parametern am nächsten liegt.
   • Ein Trust-Region-Mechanismus begrenzt die Schrittwelt der Projektion, um willkürlich große Updates zu verhindern, die das Training destabilisieren könnten.

Dieser Ansatz liefert eine geschlossene Lösung, die bis zur ersten Ordnung Zulässigkeit garantiert, ohne dass eine manuelle Anpassung von Strafgewichten erforderlich ist.

2. Relevance–Diversity Determinantal Point Process (DPP)

Um sicherzustellen, dass die Sicherheitsprojektion effektiv ist, führt SPARD eine fundierte Methode zur Auswahl einer kompakten Teilmenge sicherer Daten ($D_{safe}$) aus einem größeren Kandidatenpool ein. Die Auswahl balanciert zwei Faktoren:

• Relevanz: Sichere Stichproben müssen mit der downstream-Aufgabenverteilung übereinstimmen, um starke Korrektursignale zu liefern.
• Vielfalt: Ausgewählte Stichproben müssen eine breite Palette unterschiedlicher schädlicher Verhaltensweisen abdecken, um eine Überanpassung an einen engen Risikoraum zu verhindern.

Die Autoren konstruieren einen Relevance–Diversity DPP-Kernel:
$$\tilde{K}_{ij} = (q_i \cdot q_j)^\beta \cdot K(x_i, x_j)$$
wobei $q_i$ ein Relevanzscore (maximale Kosinusähnlichkeit zwischen einem Kandidaten und den Fine-Tuning-Daten) ist, $K(x_i, x_j)$ die intrinsische Ähnlichkeit erfasst und $\beta$ den Einfluss der Relevanz steuert.

• Der Term $(q_i \cdot q_j)^\beta$ belohnt Teilmengen, die hochrelevante Stichproben enthalten.
• Der Determinant-Term $\det(L_C)$ erzwingt Vielfalt unter den ausgewählten Stichproben.

Ein effizienter gieriger Selektionsalgorithmus wird verwendet, um die Maximum A Posteriori (MAP)-Teilmenge zu approximieren und so die Rechenkosten einer exakten DPP-Inferenz zu vermeiden.

Hauptbeiträge

1. SPARD-Framework: Eine neuartige Verteidigung, die sicherheitsprojizierte Optimierung mit relevanz- und vielfaltsbewusster Datenselektion integriert.
2. SPAG-Algorithmus: Eine fundierte Optimierungsmethode, die zwischen Nützlichkeit-Updates und expliziten Sicherheitsprojektionen alterniert und sicherheitsbeschränktes Fine-Tuning ohne weiche Strafen löst.
3. Relevance–Diversity DPP: Eine Datenselektionsstrategie, die gemeinsam auf Aufgabenalignment und Verhaltensabdeckung optimiert und die Probleme von Redundanz und Irrelevanz beim zufälligen Sampling adressiert.
4. Empirische Validierung: Umfassende Experimente zeigen, dass SPARD State-of-the-Art-Verteidigungen bei der Reduzierung der Attack Success Rates (ASR) übertrifft und gleichzeitig eine hohe downstream-Genauigkeit beibehält.

Experimentelle Ergebnisse

Die Autoren bewerteten SPARD auf GSM8K (mathematisches Schlussfolgern) und OpenBookQA (wissenschaftliches Schlussfolgern) unter Verwendung von Qwen-2.5-7B-Instruct und LLaMA-3.2-3B-Instruct im Rahmen von vier schädlichen Fine-Tuning-Angriffen (BeaverTails, I-BeaverTails, LatHarmful, Q-LatHarmful).

• Sicherheitsleistung: SPARD erzielte konsistent die niedrigste durchschnittliche Attack Success Rate (ASR) und den niedrigsten Harmfulness Score (HS) über alle Modelle und Datensätze hinweg. Beispielsweise reduzierte SPARD auf GSM8K mit Qwen die durchschnittliche ASR auf 9,45% (im Vergleich zu 19,12% für die starke Baseline Lisa und 87,93% für Standard-SFT).
• Erhaltung der Nützlichkeit: SPARD behielt eine wettbewerbsfähige downstream-Aufgaben-Genauigkeit bei und übertraf oft Baselines wie Lisa und SafeGrad. Auf GSM8K mit Qwen erreichte SPARD eine Genauigkeit von 85,77% und übertraf damit Lisa (78,45%).
• Ablationsstudien:
  • Relevanz vs. Vielfalt: Das Entfernen von Relevanz (zufällige Auswahl) oder Vielfalt (Max Quality-Auswahl) führte zu höheren ASR-Werten, was bestätigt, dass beide Faktoren notwendig sind.
  • Hyperparameter: Die Methode ist robust gegenüber moderaten Variationen im Relevanz-Exponenten ($\beta$) und dem Sicherheitsschwellenwert ($\tau$).
  • Effizienz: SPARD fügt nur 8,1% Rechenoverhead im Vergleich zum Standard-SFT hinzu, was deutlich niedriger ist als bei SafeGrad (+54,2%).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SPARD eine fundamentale Verteidigung gegen schädliche Fine-Tuning-Angriffe bietet, indem sie über weiche Strafen hinausgeht und explizite geometrische Beschränkungen einführt. Durch die Integration von SPAG stellt die Methode sicher, dass Sicherheitsbeschränkungen während des Trainings strikt durchgesetzt werden. Darüber hinaus adressiert der Relevance–Diversity DPP die entscheidende Erkenntnis, dass nicht alle sicheren Daten gleichermaßen effektiv sind; die Auswahl von Daten, die sowohl für die Aufgabe relevant als auch in der Abdeckung vielfältig sind, ist für eine robuste Sicherheitsausrichtung unerlässlich.

Die Autoren behaupten, dass SPARD ein robustes Gleichgewicht zwischen Sicherheit und Nützlichkeit bietet und bestehende Methoden (einschließlich PTST, SafeInstr, Lisa und SafeGrad) übertrifft, ohne strukturelle Beschränkungen (wie LoRA-Adapter) oder manuelle Gewichtsjustierung zu erfordern. Das Framework zeigt sich als generalisierbar über verschiedene Modellarchitekturen (Qwen und LLaMA) und downstream-Aufgaben (mathematische und wissenschaftliche QA).