🤖 machine learning

Distilling Safe LLM Systems via Soft Prompts for On Device Settings

Dit artikel stelt een parameter-efficiënte veiligheidsafstemmingmethode voor voor on-device grote taalmodellen die gebruikmaakt van soft prompts gedestilleerd van guard-modellen via totale variatie en KL-divergentie, waarbij een superieure veiligheids-bruikbaarheid-afweging en minimale resource-overhead wordt aangetoond in vergelijking met bestaande technieken zoals LoRA en steering vectors.

Oorspronkelijke auteurs: Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Dubbelcheck"-bottleneck

Stel je voor dat je een zeer getalenteerde maar soms roekeloze kunstenaar hebt (het Large Language Model of LLM) die verhalen kan schrijven, vragen kan beantwoorden en problemen kan oplossen. Echter, deze kunstenaar laat zich soms de vrije loop en tekent iets ongepast of gevaarlijks.

Om de boel veilig te houden, huur je een strenge beveiliger in (het Guard Model) die naast de kunstenaar staat. Elke keer als de kunstenaar een zin heeft afgerond, controleert de beveiliger deze.

Als het veilig is, zegt de beveiger: "Ga door, laat het aan de gebruiker zien."
Als het onveilig is, zegt de bewaker: "Stop! Hier is in plaats daarvan een beleefd weigeringsbericht."

Het Nadeel: Dit "Dubbelcheck"-systeem werkt geweldig voor de veiligheid, maar het is ongelooflijk traag en duur. Het is also wordt gevraagd aan een kunstenaar om een schilderij te maken, om vervolgens bij elke penseelstreek te stoen en te wachten op de inspectie van de bewaker voordat er verder kan worden gegaan. Op een krachtige computer is dit prima. Maar op een smartphone (die beperkte batterij en geheugen heeft), is deze "Dubbelcheck" te zwaar. Het put de batterij uit, verbruikt te veel geheugen en zorgt ervoor dat de telefoon traag aanvoelt.

De Oplossing: De Kunstenaar Leren de Eigen Bewaker te Zijn

De onderzoekers stelden een simpele vraag: Kunnen we de kunstenaar leren om op zijn eigen veilig te zijn, zodat we geen aparte beveiliger meer nodig hebben die naast hem staat?

Ze wilden niet de hele kunstenaar vanaf nul opnieuw trainen (wat zou betekenen dat de kunstenaar jarenlang terug naar de kunstacademie moet). In plaats daarvan gebruikten ze een techniek genaamd Distillation via Soft Prompts.

De Analogie: De "Magische Hoofdband"

Zie de Soft Prompt als een speciale, onzichtbare hoofdband die de kunstenaar draagt.

Deze hoofdband is niet gemaakt van zwaar metaal (zoals het veranderen van de hele hersenstructuur van de kunstenaar).
Het is een klein, licht accessoire (slechts een paar duizend parameters) dat direct aan het begin van het denkproces van de kunstenaar zit.
Wanneer de kunstenaar deze hoofdband opzet, verandert dit subtiel de mindset. Het fluistert: "Onthoud, teken niets slechts," nog voordat de kunstenaar begint met schrijven.

De onderzoekers hebben deze hoofdband "getraind" door het duizenden voorbeelden te tonen van wat de Beveiliger zou hebben gedaan. De hoofdband leerde het gedrag van de bewaker zo perfect na te bootsen, dat de kunstenaar nu automatisch ongewenste verzoeken weigert, zonder dat de bewaker achteraf het werk hoeft te controleren.

Hoe Ze Het Deden: Het "Total Variation"-recept

Het paper vergelijkt verschillende manieren om deze "Magische Hoofdband" te trainen. Ze probeerden verschillende recepten uit:

Gewoon raden wat het volgende woord zou moeten zijn (Perplexity): Dit zorgde ervoor dat de kunstenaar beter schreef, maar het hield hen niet echt tegen om slechte dingen te tekenen.
Reinforcement Learning (REINFORCE): Dit was alsof de kunstenaar een beloning kreeg wanneer hij veilig was. Het werkte redelijk, maar de kunstenaar vergat de regels soms bij complexe nieuwe vragen.
De Winnaar (TV-DiSP): De onderzoekers ontwikkelden een specifiek wiskundig recept genaamd Total Variation Distillation.
- Stel je dit voor als een strenge leraar die zegt: "Jouw output moet exact overeenkomen met de beslissing van de Bewaker."
- Als de Bewaker zegt "Veilig", dan moet de kunstenaar precies hetzelfde zeggen.
- Als de Bewaker zegt "Onveilig", dan moet de kunstenaar onmiddellijk overschakelen naar het weigeringsbericht.
- Deze methode (TV-DiSP) was het meest effectief in het kopiëren van het gedrag van de bewaker zonder het vermogen van de kunstenaar om behulpzaam te zijn, te breken.

De Resultaten: Snel, Licht en Veilig

De onderzoekers testten dit op echte smartphones (met behulp van Qualcomm-chips) en vergeleken het met het oude "Dubbelcheck"-systeem.

Veiligheid: De "Magische Hoofband" (TV-DiSP) was bijna net zo veilig als het hebben van de volledige Beveiliger die daar stond. Het blokkeerde schadelijke inhoud succesvol in tests met jailbreaks en giftige prompts.
Snelheid & Geheugen: Dit is de grote winst.
- Het oude systeem (Kunstenaar + Bewaker) vereiste twee zware berekeningen voor elk woord.
- Het nieuwe systeem (Kunstenaar + Hoofdband) vereist slechts één berekening.
- Geheugen: De hoofdband voegt minder dan 1% toe aan het geheugengebruik van de telefoon. Het oude systeem voegde ongeveer 30-100% toe.
- Batterij/Compute: Het nieuwe systeem gebruikt minder dan 10% extra rekenkracht vergeleken met de basiskunstenaar, terwijl het oude systeem de werklast verdubbelde.

Waarom Dit Belangrijk Is voor Jouw Telefoon

Het paper concludeert dat voor het draaien van veilige AI op je telefoon, je geen zwaar systeem met twee modellen nodig hebt. Je hebt alleen een kleine, geleerde "hoofdband" (soft prompt) nodig om de hoofdmodellen uit te rusten.

Het is als het upgraden van de veiligheidsfuncties van een auto. In plaats van een tweede, zware bestuurder aan de auto toe te voegen om de weg in de gaten te houden (wat de auto traag en zwaar maakt), installeer je een slimme, lichtgewicht sensor in het dashboard die de auto automatisch wegstuurt van gevaar. De auto rijdt net zo snel, verbruikt net zo weinig brandstof, maar is net zo veilig.

Kortom: Het paper bewijst dat door een specifieke trainingsmethode (Total Variation Distillation) te gebruiken om een kleine "soft prompt" te leren het gedrag van een beveiligingsbewaker na te bootsen, we AI veilig genoeg kunnen maken voor smartphones zonder ze te vertragen of hun batterijen leeg te trekken.

Technische Samenvatting: Distillatie van Veilige LLM-systemen via Soft Prompts voor On-Device Instellingen

Probleemstelling

Het implementeren van Large Language Models (LLMs) op hulpbron-beperkte edge-apparaten (bijv. smartphones) vormt een kritieke veiligheidsuitdaging. Hoewel dual-model systemen — die een basis-LLM combineren met een apart "guard model" om onveilige outputs te classificeren en te filteren — robuuste veiligheidsgaranties bieden, brengen zij prohibitieve geheugen- en rekenkosten met zich mee. De sequentiële aard van deze aanpak (het genereren van een respons, gevolgd door classificatie) verdubbelt de forward passes, wat de latentie (time-to-first-token) en de geheugenvoetafdruk aanzienlijk verhoogt, waardoor het ongeschikt is voor edge-implementatie. Bestaande alternatieven, zoals kwantisatie of directe fine-tuning, compromitteren vaak de generalisatiecapaciteiten of slagen er niet in om veiligheid effectief af te wegen tegen het nut van het model.

Methodologie

Het artikel stelt TV-DiSP (Total Variation Distillation via Soft Prompts) voor, een parameter-efficiënte fine-tuning (PEFT) benadering die de veiligheidsgedragingen van een dual-model systeem distilleert naar een enkele LLM uitgerust met leerbare soft prompts.

Kernframework

Systeemformulering: De auteurs definiëren een veilig LLM-systeem $p(r|x)$ dat een basis-LLM $p(y|x)$ combineert met een guard model $p(s|x, y)$ . Als het guard model een respons $y$ als onveilig beschouwt ( $s=0$ ), geeft het systeem een vooraf gedefinieerde weigeringsbericht $y_r$ weer; anders geeft het $y$ weer.
Distillatie-doelstelling: Het doel is om een set continue prompt-embeddings $W$ (soft prompts) te leren zodat het gedistilleerde model $q(r|x, W)$ de outputverdeling van het veilige systeem $p(r|x)$ nabootst.
Optimalisatie via Total Variation (TV):
- De auteurs leiden een theoretische garantie (Theorem 3.1) af waaruit blijkt dat het minimaliseren van de Total Variation afstand tussen het veilige systeem en het gedistilleerde model de prestatiekloof op elke downstream taak begrenst.
- De optimalisatiedoelstelling (Equation 4) maximaliseert de log-waarschijnlijkheid van de correcte output (of dit nu de respons van de basis-LLM is voor veilige inputs, of het weigeringsbericht voor onveilige inputs) gewogen door de veiligheidswarschijnlijkheid van het guard model.
- De training vereist alleen een dataset van prompts; het guard model labelt deze tijdens het proces dynamisch als veilig of onveilig.
Alternatieve schema's: De studie evalueert ook:
- KL-DiSP: Het minimaliseren van de Kullback-Leibler divergentie, wat lossere theoretische garanties biedt dan TV.
- Baselines: Perplexity-optimalisatie, REINFORCE (policy gradient), en aanpassingen van het distillatie-framework naar Low-Rank Adapters (LoRA) en Steering Vectors (SV).

Experimentele Opstelling

Modellen: Experimenten werden uitgevoerd op vier instruction-tuned LLMs (Llama3-1B/3B, Qwen2-1.5B, Gemma2-2B) gekwantiseerd naar 4-bits om edge-beperkingen te simuleren.
Guard Modellen: LlamaGuard3-1B werd gebruikt voor de distillatie-training, en LlamaGuard3-8B voor evaluatie.
Datasets: Voor training werd gebruikgemaakt van de Beavertails en Toxigen datasets. Evaluatie omvatte out-of-distribution benchmarks (HarmBench, Detect-JailBreak) en usefulness benchmarks (IFEval, GSM8K, MMLU).
Hardware: On-device metingen werden uitgevoerd op smartphones uitgerust met Qualcomm Snapdragon 8 Elite Gen 5 chipsets.

Belangrijkste Resultaten

1. Veiligheid-Compute Afweging

Prestaties: TV-DiSP slaagt er succesvol in om de veiligheid van het dual-model systeem te distilleren naar een enkel model. Bijvoorbeeld, op het Llama3-1B model verbeterde de veiligheid (gemeten via de Safety Guard Score, SGS) van 71% (basis) naar 99% (dual-systeem), terwijl TV-DiSP vergelijkbare veiligheidswinsten behaalde met minimale overhead.
Efficiëntie: Vergeleken met het dual-model systeem, dat de geheugen- en computatievereisten verdubbelt, introduceert TV-DiSP minder dan 1% extra geheugenoverhead en minder dan 10% extra computatie-overhead (FLOPs per token).
Generalisatie: De methode vertoont een sterke robuustheid op out-of-distribution adversariële prompts (HarmBench, Detect-JailBreak), ondanks dat deze getraind is op niet-adversariële datasets.

2. Vergelijking met PEFT-methoden

Soft Prompts vs. LoRA/SV: TV-DiSP (soft prompts) presteerde consistent beter dan TV-DiLoRA en TV-DiSV (Steering Vectors) over diverse leersnelheden heen. Steering vectors toonden gemengde resultaten, waarbij ze soms de prestaties op grotere modellen verslechterden, terwijl LoRA als te ingrijpend werd beschouwd voor edge-omgevingen.
Optimalisatie-doelstellingen:
- TV vs. KL: Zowel TV als KL-distillatie bereikten hoge veiligheidsscores. Echter, TV-DiSP bood een superieur evenwicht tussen veiligheid en nut.
- Perplexity & REINFORCE: Perplexity-optimalisatie leidde tot overfitting en significante dalingen in nut. REINFORCE behield het nut, maar slaagde er niet in substantiële veiligheidsverbeteringen te bieden.

3. Behoud van Nut (Usefulness)

On-device evaluaties (IFEval en GSM8K) toonden aan dat TV-DiSP en KL-DiSP een hoog nut behouden.
Over-refusal (Overmatige weigering): Een kritieke bevinding was dat KL-DiSP een hoge over-refusal rate vertoonde (84,6% op veilige prompts), waarbij onbedoeld onschuldige queries werden afgewezen. In contrast hiermee behield TV-DiSP een over-refusal rate (36,1%) die vergelijkbaar is met het dual-model systeem, waardoor het vermogen van het model om veilige vragen te beantwoorden behouden blijft.

Betekenis en Claims

Het artikel vestigt soft prompt distillation als de geprefereerde benadering voor veiligheidsalignement bij on-device LLM-implementatie. De primaire bijdragen zijn:

Superieure Afwegingen: Het demonstreert dat soft prompts getraind via distillatie consequent beter presteren dan LoRA, steering vectors en alternatieve trainingsdoelstellingen in het balanceren van veiligheid, nut en computationele efficiëntie.
Theoretische Garanties: De introductie van Total Variation-gebaseerde distillatie biedt probabilistische garanties op downstream-prestaties, wat verzekert dat het gedistilleerde model niet significant afwijkt van het gedrag van het veilige systeem.
Praktische Leefbaarheid: Gevalideerd over meerdere architecturen en op daadwerkelijke edge-hardware, bereikt de methode veiligheidsniveaus die vergelijkbaar zijn met dual-model systemen met verwaarloosbare resource-overhead (<1% geheugen, <10% compute), wat het een praktische oplossing maakt voor het implementeren van veilige LLM's op hulpbron-beperkte apparaten.

De auteurs concluderen dat hoewel geen enkele methode volledige immuniteit tegen adversariële aanvallen biedt, TV-DiSP een robuust, efficiënt en generaliseerbaar defensiemechanisme biedt dat het aanvalsoppervlak en de computationele last aanzienlijk vermindert in vergelijking met traditionele guard-model architecturen.