Technische Samenvatting: BarrierSteer: LLM-veiligheid via het leren van barrièrerichting

Probleemstelling

Ondanks de sterke prestaties van Large Language Models (LLM's) bij diverse taken, blijft hun kwetsbaarheid voor adversariale aanvallen en het genereren van onveilige inhoud een aanzienlijke belemmering voor implementatie, met name in situaties met hoge risico's. Bestaande veiligheidsmechanismen staan voor een afweging tussen effectiviteit en efficiëntie:

• Verdedigingen tijdens het trainen (bijv. RLHF, DPO) updaten modelparameters maar blijven kwetsbaar voor adversariale prompts.
• Verdedigingen tijdens het infereren vertrouwen vaak op post-hoc tekstfiltering (breekbaar bij parafraseren) of het uitvoeren van extra classifiers (hoge computatiekosten).
• Methoden voor sturing in de latente ruimte (bijv. SaP) tonen veelbelovende resultaten, maar worden beperkt door aannames van lineaire constraints en dure optimalisatie-gebaseerde sturingsprocedures die de inferentielatentie verhogen.

Er is behoefte aan een framework voor het infereren dat theoretisch onderbouwd is, in staat is om niet-lineaire veiligheidsgrenzen te hanteren, en computationeel efficiënt genoeg is voor realtime implementatie zonder de onderliggende LLM-parameters te wijzigen.

Methodologie: BarrierSteer

BarrierSteer is een nieuw framework voor het infereren dat geleerde niet-lineaire veiligheidsconstraints direct in de latente representatieruimte van het model integreert. Het behandelt classifiers voor verborgen staten op het gebied van veiligheid als Control Barrier Functions (CBF's), een standaardinstrument uit de regeltechniek dat wordt gebruikt om dynamische staten binnen veilige gebieden te houden.

Het framework werkt via een pijplijn in drie fasen:

1. Classificatie van Latente Veiligheid:

   • Het systeem haalt tijdens de generatie tussentijdse verborgen staten op uit een vooraf getrainde LLM.
   • Met behulp van een dataset van veilige en onveilige antwoorden (gemarkeerd op het niveau van het antwoord), construeert het een latente trainingsset waarbij de verborgen staat van elk token de veiligheidslabel van zijn antwoord erft.
   • In tegenstelling tot eerder werk dat lineaire grenzen gebruikt, traint BarrierSteer niet-lineaire neurale netwerken (MLP's) om barrièrefuncties $\{b_k\}$ te leren die veilige verzamelingen in de latente ruimte definiëren.

2. Formulering van Control Barrier Function (CBF):

   • Autoregressieve generatie wordt gemodelleerd als een dynamisch systeem in de latente ruimte waarbij de verborgen staat $h_t$ in de tijd evolueert.
   • De geleerde classifiers worden behandeld als CBF's. Een functie $b(h)$ is een CBF als deze garandeert dat de systeemtoestand binnen een veilige verzameling $C = \{h \mid b(h) \ge 0\}$ blijft.
   • Het doel is een stuurinvoer $u$ (een correctie op de verborgen staat) te vinden die voldoet aan de CBF-conditie $\dot{b}(h, u) \ge -\beta(b(h))$ terwijl de afwijking van de oorspronkelijke traject wordt geminimaliseerd.

3. Sturing en Samenstelling in Gesloten Vorm:

   • Stuurregel: BarrierSteer formuleert het sturingsprobleem als een Kwadratisch Programma (QP) om de optimale sturing $u^*$ te vinden die voldoet aan de veiligheidsconstraint.
   • Efficiëntie: Om de hoge kosten van het oplossen van QP's bij elk token te vermijden, leiden de auteurs oplossingen in gesloten vorm af voor de sturingsupdate.
   • Samenstelling van Constraints: Om meerdere veiligheidsconstraints te hanteren (bijv. "schade voorkomen" en "privacy beschermen"), gebruikt het framework een Log-Sum-Exp (LSE)-formule om meerdere barrières samen te voegen tot één enkele, gladde, differentieerbare barrièrefunctie. Dit maakt het efficiënt afdwingen van meerdere constraints tegelijkertijd mogelijk.
   • Implementatie: De methode past een lichtgewicht, update in gesloten vorm toe op de verborgen staat $h_t$ voordat het volgende token wordt gesampled, waardoor het traject effectief wordt gestuurd naar de geleerde veilige regio zonder de gewichten van het model te wijzigen.

Belangrijkste Bijdragen

1. Niet-lineaire Latente Veiligheidsconstraints: De introductie van BarrierSteer, dat niet-lineaire classifiers voor veilige verborgen staten leert en deze behandelt als CBF's, waardoor de kloof tussen detectie van latente veiligheid en sturing op basis van constraints wordt overbrugd.
2. Sturing en Samenstelling van CBF's in Gesloten Vorm: De afleiding van efficiënte updates voor sturing in gesloten vorm voor zowel enkele als samengestelde CBF-constraints. Dit omvat een Log-Sum-Exp-samenstellingsregel die de gezamenlijke afdwinging van meerdere veiligheidsconstraints tijdens autoregressieve decoding mogelijk maakt zonder dure optimalisatie.
3. Effectieve Verdediging tegen Jailbreaks met Lage Latentie: Empirisch bewijs dat BarrierSteer de succespercentages van adversariale aanvallen aanzienlijk verlaagt, terwijl de bruikbaarheid van het model (MMLU, GSM8K) behouden blijft en de problemen met overmatige weigering die vaak voorkomen bij sturing in vaste richting, worden vermeden. Opmerkelijk is dat het sturingslatenties van 58–79× sneller bereikt dan de dichtstbijzijnde baseline (SaP).

Experimentele Resultaten

De auteurs evalueerden BarrierSteer over vier model families (Gemma-2-9B, Ministral-8B, Llama-2-7B, Qwen2-1.5B) en tien methoden voor adversariale aanvallen (waaronder GCG, AutoDAN en Adaptieve Aanvallen).

• Adversariale Verdediging: BarrierSteer (LSE-variant) bereikte bijna nul Aanvalsuccespercentages (ASR) op statische HarmBench-benchmarks voor alle modellen, en presteerde aanzienlijk beter dan baselines zoals SaP, Activation Addition en Circuit Breakers. Zo verlaagde het op Ministral-8B de ASR tot $0,83\%$ vergeleken met $23,91\%$ voor SaP.
• Robuustheid tegen Adaptieve Aanvallen: De methode behield sterke robuustheid tegen adaptieve aanvallen die specifiek zijn geoptimaliseerd tegen de verdediging, en verlaagde de adaptieve ASR aanzienlijk in vergelijking met andere methoden voor het infereren.
• Behoud van Bruikbaarheid: In tegenstelling tot methoden voor sturing in vaste richting (bijv. Directional Ablation), die vaak de prestaties op onschadelijke taken verslechteren, behield BarrierSteer MMLU- en GSM8K-scores dicht bij het basismodel.
• Overmatige Weigering: De methode vermijdt de ernstige overmatige weigering (het afwijzen van onschadelijke prompts) die bij sommige baselines werd waargenomen, hoewel er een afweging bestaat waarbij een hogere sturingssterkte ($\alpha$) de veiligheid verhoogt maar de tarieven voor overmatige weigering licht verhoogt.
• Modulariteit: In experimenten waarbij 14 onafhankelijk getrainde veiligheidsbarrières werden samengesteld (die WildGuard-risicocategorieën bestrijken), verlaagde de LSE-samenstelling het percentage schadelijke generaties tot $0,86\%$, wat de mogelijkheid aantoont om verschillende veiligheidsconcepten effectief te combineren.
• Efficiëntie: De sturingslatentie per token voor BarrierSteer (LSE) was ongeveer 2,40 ms, vergeleken met 139–190 ms voor SaP (dat iteratieve gradiëntafstijging vereist).

Betekenis en Claims

Het artikel claimt dat BarrierSteer een principiële, modulaire en computationeel efficiënte aanpak biedt voor LLM-veiligheid. Door gebruik te maken van Control Barrier Functions biedt het een theoretische garantie (onder de voorwaarde dat de geleerde barrières veiligheidskenmerken nauwkeurig vastleggen) dat latente trajecten binnen veilige gebieden blijven.

De auteurs benadrukken dat hun aanpak:

• Geen hertraining van de onderliggende LLM vereist, waardoor het een flexibele laag voor implementatie is.
• De beperking van lineariteit van eerdere methoden voor latente sturing overwint, waardoor expressievere veiligheidsgrenzen mogelijk zijn.
• De latentieknelpunt van sturing op basis van constraints oplost door updates in gesloten vorm af te leiden, waardoor het levensvatbaar wordt voor realtime toepassingen.

Het artikel sluit af met een bescheiden erkenning van beperkingen: de veiligheidsgaranties zijn afhankelijk van de kwaliteit van de geleerde barrières en gelden voor latente representaties in plaats van strikte worst-case garanties voor gegenereerde tekst. Er wordt voorgesteld om in toekomstig werk de robuustheid van geleerde barrières te verbeteren en de methode te schalen naar frontier-modellen.