🤖 machine learning

Distilling Safe LLM Systems via Soft Prompts for On Device Settings

Dieses Paper schlägt eine parametereffiziente Sicherheitsausrichtungsmethode für On-Device-Large-Language-Models vor, die Soft-Prompts nutzt, welche mittels Total Variation und KL-Divergenz aus Guard-Modellen destilliert wurden, und demonstriert dabei im Vergleich zu bestehenden Techniken wie LoRA und Steering-Vektoren überlegene Safety-Usefulness-Trade-offs sowie einen minimalen Ressourcen-Overhead.

Ursprüngliche Autoren: Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Doppel-Check“-Engpass

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber manchmal leichtsinnigen Künstler (das Large Language Model oder LLM), der Geschichten schreiben, Fragen beantworten und Probleme lösen kann. Dieser Künstler gerät jedoch manchmal außer Kontrolle und zeichnet etwas Unangemessenes oder Gefährliches.

Um die Sicherheit zu gewährleisten, stellen Sie einen strengen Sicherheitswachmann (das Guard Model) ein, der neben dem Künstler steht. Jedes Mal, wenn der Künstler einen Satz beendet, überprüft der Wachmann diesen.

Wenn es sicher ist, sagt der Wachmann: „Fahren Sie fort, zeige es dem Nutzer.“
Wenn es unsicher ist, sagt der Wachmann: „Stopp! Hier ist stattdessen eine höfliche Ablehnungsnachricht.“

Der Haken: Dieses „Doppel-Check“-System funktioniert großartig für die Sicherheit, ist aber unglaublich langsam und teuer. Es ist, als würde man den Künstler bitten, ein Bild zu malen, und dann jedes Mal anhalten, um darauf zu warten, dass der Wachmann jeden einzelnen Pinselstrich inspiziert, bevor es weitergeht. Auf einem leistungsstarken Computer ist das in Ordnung. Aber auf einem Smartphone (das über begrenzte Akkulaufzeit und Speicher verfügt) ist dieser „Doppelte Check“ zu schwerfällig. Er leert den Akku, verbraucht zu viel Speicher und lässt das Telefon träge wirken.

Die Lösung: Den Künstler lehren, sein eigener Wachmann zu sein

Die Forscher stellten eine einfache Frage: Können wir den Künstler lehren, von sich aus sicher zu sein, damit wir keinen separaten Sicherheitswachmann mehr brauchen, der neben ihm steht?

Sie wollten nicht den gesamten Künstler von Grund auf neu trainieren (was so wäre, als würde man den Künstler für Jahre zurück in die Kunstschule schicken). Stattdessen verwendeten sie eine Technik namens Distillation via Soft Prompts.

Die Analogie: Das „Magische Stirnband“

Betrachten Sie den Soft Prompt als ein spezielles, unsichtbares Stirnband, das der Künstler trägt.

Dieses Stirnband besteht nicht aus schwerem Metall (wie das Ändern des gesamten Gehirns des Künstlers).
Es ist ein winziges, leichtes Accessoire (nur ein paar tausend Parameter), das direkt am Anfang des Denkprozesses des Künstlers sitzt.
Wenn der Künstler dieses Stirnband aufsetzt, verändert es subtil seine Einstellung. Es flüstert: „Erinnere dich, zeichne nichts Schlechtes“, noch bevor er überhaupt mit dem Schreiben beginnt.

Die Forscher „trainierten“ dieses Stirnband, indem sie ihm tausende Beispiele dafür zeigten, was der Sicherheitswachmann getan hätte. Das Stirnband lernte, das Verhalten des Wachmanns so perfekt nachzuahmen, dass der Künstler nun schlechte Anfragen automatisch ablehnt, ohne dass der Wachmann die Arbeit im Nachhinein überprüfen muss.

Wie sie es gemacht haben: Das „Total Variation“-Rezept

Die Arbeit vergleicht verschiedene Wege, dieses „Magische Stirnband“ zu trainieren. Sie probierten mehrere Rezepte aus:

Einfach nur zu raten, was das nächste Wort sein sollte (Perplexity): Dies ließ den Künstler besser schreiben, verhinderte aber nicht wirklich, dass er schlechte Dinge zeichnete.
Reinforcement Learning (REINFORCE): Dies war so, als würde man dem Künstler eine Belohnung geben, wenn er sicher war. Es funktionierte ganz okay, aber der Künstler vergaß die Regeln manchmal, wenn er mit kniffligen neuen Fragen konfrontiert wurde.
Der Gewinner (TV-DiSP): Die Forscher entwickelten ein spezifisches mathematisches Rezept namens Total Variation Distillation.
- Stellen Sie sich dies als einen strengen Lehrer vor, der sagt: „Deine Ausgabe muss exakt mit der Entscheidung des Wachmanns übereinstimmen.“
- Wenn der Wachmann „Sicher“ sagt, muss der Künstler genau dasselbe sagen.
- Wenn der Wachmann „Unsicher“ sagt, muss der Künstler sofort zur Ablehnungsnachricht wechseln.
- Diese Methode (TV-DiSP) war am effektivsten darin, das Verhalten des Wachmanns zu kopieren, ohne die Fähigkeit des Künstlers zu beeinträchtigen, hilfreich zu sein.

Die Ergebnisse: Schnell, leicht und sicher

Die Forscher testeten dies auf echten Smartphones (unter Verwendung von Qualcomm-Chips) und verglichen es mit dem alten „Doppel-Check“-System.

Sicherheit: Das „Magische Stirnband“ (TV-DiSP) war fast so sicher wie der volle Sicherheitswachmann, der daneben steht. Es blockierte erfolgreich schädliche Inhalte in Tests mit Jailbreaks und toxischen Prompts.
Geschwindigkeit & Speicher: Das ist der große Gewinn.
- Das alte System (Künstler + Wachmann) erforderte zwei schwere Berechnungen für jedes Wort.
- Das neue System (Künstler + Stirnband) benötigt nur eine Berechnung.
- Speicher: Das Stirnband fügt weniger als 1 % zum Speicherverbrauch des Telefons hinzu. Das alte System fügte etwa 30–100 % hinzu.
- Akku/Rechenleistung: Das neue System verbraucht weniger als 10 % zusätzliche Rechenleistung im Vergleich zum Basis-Künstler, während das alte System die Arbeitslast verdoppelte.

Warum das für Ihr Smartphone wichtig ist

Die Arbeit kommt zu dem Schluss, dass man für den sicheren Betrieb von KI auf dem Smartphone kein schweres Dual-Modell-System benötigt. Man muss lediglich das Hauptmodell mit diesem winzigen, gelernten „Stirnband“ (Soft Prompt) ausstatten.

Es ist wie die Aufrüstung der Sicherheitsfunktionen eines Autos. Anstatt einen zweiten, schweren Fahrer zum Auto hinzuzufügen, der die Straße beobachtet (was das Auto langsam und schwer macht), installieren Sie einen intelligenten, leichten Sensor im Armaturenbrett, der das Auto automatisch vom Gefahrenbereich wegsteuert. Das Auto fährt genauso schnell, verbraucht weniger Benzin, ist aber genauso sicher.

Kurz gesagt: Die Arbeit beweist, dass man durch eine spezifische Trainingsmethode (Total Variation Distillation), um einem winzigen „Soft Prompt“ beizubringen, einen Sicherheitswachmann nachzuahmen, KI sicher genug für Smartphones machen kann, ohne sie zu verlangsamen oder die Akkus zu leeren.

Technisches Resümee: Destillation sicherer LLM-Systeme via Soft Prompts für On-Device-Umgebungen

Problemstellung

Die Bereitstellung von Large Language Models (LLMs) auf ressourcenbeschränkten Edge-Geräten (z. B. Smartphones) stellt eine kritische Sicherheitsherausforderung dar. Während Dual-Modell-Systeme – die ein Basis-LLM mit einem separaten „Guard-Modell“ kombinieren, um unsichere Ausgaben zu klassifizieren und zu filtern – robuste Sicherheitsgarantien bieten, verursachen sie prohibitive Speicher- und Rechenkosten. Die sequentielle Natur dieses Ansatzes (Generierung einer Antwort, dann Klassifizierung) verdoppelt die Forward-Passes, was die Latenz (Time-to-First-Token) und den Speicherbedarf signifikant erhöht und eine Bereitstellung auf Edge-Geräten ungeeignet macht. Bestehende Alternativen, wie Quantisierung oder direktes Fine-Tuning, beeinträchtigen oft die Generalisierungsfähigkeit oder scheitern daran, Sicherheit und Nützlichkeit des Modells effektiv in Einklang zu bringen.

Methodik

Das Paper schlägt TV-DiSP (Total Variation Distillation via Soft Prompts) vor, einen Parameter-effizienten Fine-Tuning-Ansatz (PEFT), der das Sicherheitsverhalten eines Dual-Modell-Systems in ein einzelnes LLM destilliert, das mit lernbaren Soft Prompts ausgestattet ist.

Kern-Framework

Systemformulierung: Die Autoren definieren ein sicheres LLM-System $p(r|x)$ , das ein Basis-LLM $p(y|x)$ und ein Guard-Modell $p(s|x, y)$ kombiniert. Wenn das Guard-Modell eine Antwort $y$ als unsicher ( $s=0$ ) einstuft, gibt das System eine vordefinierte Ablehnungsnachricht $y_r$ aus; andernfalls gibt es $y$ aus.
Destillationsziel: Das Ziel ist es, eine Menge kontinuierlicher Prompt-Embeddings $W$ (Soft Prompts) zu erlernen, sodass das destillierte Modell $q(r|x, W)$ die Ausgabeverteilung des sicheren Systems $p(r|x)$ nachahmt.
Optimierung via Total Variation (TV):
- Die Autoren leiten eine theoretische Garantie (Theorem 3.1) ab, die zeigt, dass die Minimierung des Total Variation Abstands zwischen dem sicheren System und dem destillierten Modell die Performance-Lücke bei jeder Downstream-Aufgabe begrenzt.
- Das Optimierungsziel (Gleichung 4) maximiert die Log-Wahrscheinlichkeit der korrekten Ausgabe (entweder die Antwort des Basis-LLMs für sichere Eingaben oder die Ablehnungsnachricht für unsichere Eingaben), gewichtet durch die Sicherheitswahrscheinlichkeit des Guard-Modells.
- Das Training erfordert lediglich einen Datensatz von Prompts; das Guard-Modell labelt diese während des Prozesses dynamisch als sicher oder unsicher.
Alternative Schemata: Die Studie evaluiert zudem:
- KL-DiSP: Minimierung der Kullback-Leibler-Divergenz, die schwächere theoretische Garantien als TV bietet.
- Baselines: Perplexity-Optimierung, REINFORCE (Policy Gradient) sowie Anpassungen des Destillations-Frameworks auf Low-Rank Adapter (LoRA) und Steering Vectors (SV).

Experimenteller Aufbau

Modelle: Die Experimente wurden an vier Instruction-tuned LLMs (Llama3-1B/3B, Qwen2-1.5B, Gemma2-2B) durchgeführt, die auf 4-Bit quantisiert wurden, um Edge-Beschränkungen zu simulieren.
Guard-Modelle: LlamaGuard3-1B wurde für das Destillations-Training verwendet, LlamaGuard3-8B für die Evaluierung.
Datensätze: Für das Training wurden die Datensätze Beavertails und Toxigen genutzt. Die Evaluierung umfasste Out-of-Distribution-Benchmarks (HarmBench, Detect-JailBreak) sowie Nützlichkeits-Benchmarks (IFEval, GSM8K, MMLU).
Hardware: On-Device-Messungen wurden auf Smartphones durchgeführt, die mit Qualcomm Snapdragon 8 Elite Gen 5 Chipsätzen ausgestattet sind.

Zentrale Ergebnisse

1. Sicherheits-Rechenaufwand-Trade-off

Performance: TV-DiSP destilliert die Sicherheit des Dual-Modell-Systems erfolgreich in ein einzelnes Modell. Beispielsweise verbesserte sich beim Llama3-1B-Modell die Sicherheit (gemessen am Safety Guard Score, SGS) von 71 % (Basis) auf 9-9 % (Dual-System), wobei TV-DiSP vergleichbare Sicherheitsgewinne bei minimalem Overhead erzielte.
Effizienz: Im Vergleich zum Dual-Modell-System, das die Speicher- und Rechenanforderungen verdoppelt, führt TV-DiSP weniger als 1 % zusätzlichen Speicheroverhead und weniger als 10 % zusätzlichen Rechenaufwand (FLOPs pro Token) ein.
Generalisierung: Die Methode zeigt eine starke Robustheit gegenüber adversen Out-of-Distribution-Prompts (HarmBench, Detect-JailBreak), obwohl sie auf nicht-adversen Datensätzen trainiert wurde.

2. Vergleich mit PEFT-Methoden

Soft Prompts vs. LoRA/SV: TV-DiSP (Soft Prompts) übertraf konsistent TV-DiLoRA und TV-DiSV (Steering Vectors) über verschiedene Lernraten hinweg. Steering Vectors zeigten gemischte Ergebnisse, verschlechterten teilweise die Performance bei größeren Modellen, während LoRA als zu invasiv für Edge-Settings eingestuft wurde.
Optimierungsziele:
- TV vs. KL: Sowohl TV- als auch KL-Destillation erreichten hohe Sicherheitswerte. TV-DiSP bot jedoch eine überlegene Balance zwischen Sicherheit und Nützlichkeit.
- Perplexity & REINFORCE: Perplexity-Optimierung führte zu Overfitting und signifikanten Einbußen bei der Nützlichkeit. REINFORCE bewahrte die Nützlichkeit, konnte aber keine substanziellen Sicherheitsverbesserungen erzielen.

3. Erhalt der Nützlichkeit

On-Device-Evaluierungen (IFEval und GSM8K) zeigten, dass TV-DiSP und KL-DiSP eine hohe Nützlichkeit beibehalten.
Übermäßige Ablehnung (Over-refusal): Eine kritische Erkenntnis war, dass KL-DiSP eine hohe Rate an Über-Ablehnungen aufwies (84,6 % bei sicheren Prompts), indem es harmlose Anfragen fälschlicherweise ablehnte. Im Gegensatz dazu hielt TV-DiSP eine Rate an Über-Ablehnungen (36,1 %), die mit dem Dual-Modell-System vergleichbar war, wodurch die Fähigkeit des Modells zur Beantwortung sicherer Fragen erhalten blieb.

Bedeutung und Behauptungen

Das Paper etabliert Soft Prompt Distillation als den bevorzugten Ansatz für das Safety Alignment in der On-Device-LLM-Bereitstellung. Die primären Beiträge sind:

Überlegene Trade-offs: Es zeigt, dass mit Distillation trainierte Soft Prompts konsistent besser darin sind, Sicherheit, Nützlichkeit und Recheneffizienz im Vergleich zu LoRA, Steering Vectors und alternativen Trainingszielen auszubalancieren.
Theoretische Garantien: Die Einführung der auf Total Variation basierenden Destillation liefert probabilistische Garantien für die Downstream-Performance und stellt sicher, dass das destillierte Modell nicht signifikant vom Verhalten des sicheren Systems abweicht.
Praktische Lebensfähigkeit: Validiert über mehrere Architekturen und auf echter Edge-Hardware, erreicht die Methode Sicherheitsniveaus, die mit Dual-Modell-Systemen vergleichbar sind, bei vernachligbarem Ressourcen-Overhead (<1 % Speicher, <10 % Rechenleistung), was sie zu einer praktischen Lösung für die Bereitstellung sicherer LLMs auf ressourcenbeschränkten Geräten macht.

Die Autoren kommen zu dem Schluss, dass keine Methode vollständige Immunität gegen adversen Angriffe bietet, TV-DiSP jedoch einen robusten, effizienten und generalisierbaren Verteidigungsmechanismus darstellt, der die Angriffsfläche und den Rechenaufwand im Vergleich zu traditionellen Guard-Modell-Architekturen erheblich reduziert.