Weight space Detection of Backdoors in LoRA Adapters

Titel: Detecting Backdoored LoRAs from Weights Alone (Detektion von hinterlegten LoRAs allein anhand der Gewichte)

1. Problemstellung

LoRA-Adapter (Low-Rank Adaptation) ermöglichen eine effiziente Feinabstimmung großer Sprachmodelle (LLMs) und werden häufig über offene Repositorien wie den Hugging Face Hub geteilt. Dies schafft ein erhebliches Sicherheitsrisiko: Angreifer können vergiftete (backdoored) Adapter hochladen, die sich bei normalen Eingaben normal verhalten, aber bei Vorhandensein eines spezifischen "Triggers" (z. B. eines bestimmten Tokens oder Kontexts) schädliches Verhalten zeigen.

Herausforderungen bestehender Methoden:

• Datenabhängigkeit: Viele Detektionsmethoden benötigen Zugriff auf die ursprünglichen Trainingsdaten, die Repositorien oft nicht haben.
• Ausführungsbedarf: Methoden wie Aktivierungsüberwachung oder Trigger-Rekonstruktion erfordern die Ausführung des Modells mit Testeingaben. Dies ist bei der Überprüfung Tausender Adapter unpraktisch, insbesondere wenn der Trigger unbekannt ist.
• Skalierbarkeit: Bestehende Ansätze skalieren nicht für die großflächige Prüfung von Adapter-Hubs.

Das Ziel ist es, eine trigger-unabhängige und ausführungslose Methode zu entwickeln, die Adapter allein durch Analyse ihrer Gewichtsmatrizen auf Vergiftung prüft.

2. Methodik

Die Autoren schlagen einen statischen Detektor vor, der direkt im Gewichtsraum operiert, ohne das Modell auszuführen. Der Kernansatz basiert auf der Hypothese, dass Backdoor-Angriffe, die oft einfache Trigger-zu-Antwort-Mappings codieren, eine charakteristische spektrale Signatur in den Low-Rank-Updates hinterlassen.

Der Detektionsprozess:

1. Fokus auf Attention-Projektionen: Für jede Schicht (insbesondere Layer 21) werden die LoRA-Updates ($\Delta W$) für die vier Attention-Projektionen extrahiert: Query ($Q$), Key ($K$), Value ($V$) und Output ($O$).
2. Spektrale Analyse: Anstatt die gesamten Matrizen zu analysieren, wird für jede Projektion eine $r \times r$ Kernmatrix (basierend auf der SVD der faktoriellen LoRA-Matrizen) rekonstruiert.
3. Extraktion von Merkmalen: Aus jeder Projektion werden fünf spektrale Statistiken extrahiert, die ein 5-dimensionales Deskriptor-Vector ergeben:
   • $\sigma_1$: Der größte singuläre Wert (Skala/Energie).
   • $\|\Delta W\|_F$: Die Frobenius-Norm (Gesamtenergie).
   • $E_{\sigma_1}$: Konzentration der Energie (Verhältnis des größten singulären Werts zur Summe).
   • $H$: Spektrale Entropie (Maß für die Gleichverteilung der singulären Werte).
   • $K$: Kurtosis der Einträge der rekonstruierten Update-Matrix (Schwere der Verteilung).
4. Vektor-Konstruktion: Die Deskriptoren der vier Projektionen ($Q, K, V, O$) werden zu einem 20-dimensionalen Feature-Vektor ($\Phi(A)$) verkettet.
5. Klassifikation: Ein logistisches Regressionsmodell wird auf einem kalibrierten Satz von Adapters trainiert, um diesen 20-dimensionalen Vektor in eine "Vergiftungs-Wahrscheinlichkeit" (Poison Score) zu überführen.

3. Wichtige Beiträge

1. Gewichts-basierte Detektion: Der erste Ansatz, der Backdoors in LoRA-Adaptoren rein statisch über die Gewichte erkennt, ohne Modellausführung oder Trigger-Kenntnis.
2. Spektrale Signatur: Nachweis, dass vergiftete Adapter ein konsistentes geometrisches Muster aufweisen: stärkere Konzentration der singulären Werte, niedrigere spektrale Entropie und verschobene höherordentliche Statistiken im Vergleich zu harmlosen Adaptern.
3. Strukturelle Bedeutung: Die Detektionssignale sind nicht gleichmäßig verteilt. Die relative Wichtigkeit der Projektionen ($Q, K, V, O$) und der einzelnen Merkmale variiert je nach Modellarchitektur. Daher ist die projektionsweise Analyse entscheidend.
4. Cross-Architektur-Validierung: Erstellung eines umfassenden Benchmarks über drei verschiedene Modellfamilien hinweg.

4. Ergebnisse

Die Methode wurde an drei verschiedenen Modellfamilien evaluiert:

• Llama-3.2-3B
• Qwen2.5-3B
• Gemma-2-2B

Datensatz:

• 400 harmlose Adapter (Kalibrierung) aus verschiedenen Aufgaben (Instruction Following, Reasoning, Code, etc.).
• 100 vergiftete Adapter (Kalibrierung) mit seltenen Token- und kontextuellen Triggern (Vergiftungsraten: 1%, 3%, 5%).
• Ein separater Testset mit je 50 harmlosen und 50 vergifteten Adaptern.

Ergebnisse:

• Perfekte Trennung: Der Detektor erreichte auf allen drei Architekturen 100% Genauigkeit (Accuracy), 1.00 ROC-AUC, 0% False Positives und 0% False Negatives auf den ungesehenen Testdaten.
• Robustheit: Die Trennung ist robust gegenüber Änderungen des LoRA-Ranges ($r=8, 16, 32$), ist jedoch stark von der Schichtplatzierung abhängig (späte Schichten wie Layer 21 zeigen stärkere Signale als frühe).
• Interpretierbarkeit: Die Analyse zeigt, dass bei stärkerer Vergiftung die dominante singuläre Richtung zunehmend mit dem Payload-Wortschatz (z. B. "HACKED") korreliert.

5. Bedeutung und Fazit

Diese Arbeit demonstriert, dass Backdoor-Angriffe in Parameter-effizienten Feinabstimmungen (PEFT) nicht nur im Verhalten, sondern auch in der geometrischen Struktur der Gewichte identifizierbar sind.

• Praktische Relevanz: Die Methode ermöglicht eine skalierbare, kostengünstige Vorab-Prüfung (Pre-deployment Screening) von Adaptern in großen Repositorien, ohne dass teure Modellläufe oder Trigger-Daten benötigt werden.
• Supply-Security: Sie adressiert ein kritisches Sicherheitsproblem in der Lieferkette von LLMs, indem sie den "Share-and-Play"-Mechanismus von LoRAs absichert.
• Zukunft: Obwohl die Methode gegen nicht-adaptive Angreifer robust ist, bleibt die Robustheit gegen adaptive Angreifer, die versuchen, die geometrische Signatur zu verschleiern, eine offene Forschungsfrage.

Zusammenfassend bietet der vorgestellte Ansatz einen prinzipiellen und praktischen Weg, um die Sicherheit des Ökosystems wiederverwendbarer PEFT-Komponenten für große Sprachmodelle zu gewährleisten.