Technische Samenvatting: Grafisch-geregulariseerde Sparse Auto-encoders voor Sturing van LLM-veiligheid

1. Probleemstelling

Grote Taalmodellen (LLM's) bezitten sterke capaciteiten, maar blijven kwetsbaar voor adversarial prompts en jailbreaks die schadelijke generaties oproepen. Effectieve veiligheidsmechanismen moeten twee concurrerende eisen in evenwicht brengen: het betrouwbaar blokkeren van schadelijke output terwijl de bruikbaarheid voor onschadelijke en dubbelzinnige queries behouden blijft.

Huidige verdedigingsmaatregelen ondervinden aanzienlijke beperkingen:

• Black-box guardrails (bijv. promptfiltering, outputclassificatie) werken buiten de interne berekening van het model, waardoor ze broos zijn onder distributieveranderingen en ontberen aanpassingsvermogen.
• Methoden gebaseerd op interne structuren (bijv. activatie-addities, weigeringsrichtingen) grijpen direct in op verborgen representaties. Echter, veel van deze benaderingen, waaronder standaard Sparse Auto-encoders (SAE's), behandelen latente kenmerken als onafhankelijk. Deze onafhankelijkheidsaannames sluiten slecht aan bij hoogwaardige veiligheidsgedragingen zoals weigering en schadelijke compliance, die volgens recente studies afhankelijk zijn van verspreide, niet-lineaire structuren in de activatieruimte in plaats van geïsoleerde semantische assen.

Het kernprobleem dat wordt aangepakt, is dat standaard SAE's coherente veiligheidsconcepten kunnen fragmenteren over slecht uitgelijnde kenmerken, wat de stabiliteit en effectiviteit van sturingsrichtingen die hieruit worden afgeleid, vermindert.

2. Methodologie

De auteurs stellen Grafisch-geregulariseerde Sparse Auto-encoders (GSAE) voor, een kader dat soepelere, structureel coherente veiligheidssturingsrichtingen leert door de topologie van neuron-co-activaties te integreren. De methode bestaat uit drie fasen:

2.1 Grafisch-geregulariseerde Training (GSAE)

De auteurs breiden de standaard SAE-doelstelling uit door een Laplacische gladheidsstraf toe te voegen over een graf van neuron-co-activaties.

• Grafconstructie: Een ongerichte graf $G=(V, E)$ wordt geconstrueerd waarbij knopen neuronen in een doel-laag vertegenwoordigen. De gewichten van de randen worden gedefinieerd door de gethresholdde cosinus-similariteit van neuron-activatieprofielen over een vastgehouden set van veiligheidsgelabelde prompts.
• Doelfunctie: De trainingsverliesfunctie combineert reconstructiefout, sparsiteit ($L_1$), supervisied classificatieverlies (via een lineaire probe) en de nieuwe grafregularisatieterm:
  $$L_{GSAE} = \|h - \hat{h}\|^2_2 + \lambda_{spar}\|z\|_1 + \lambda_{sup}L_{cls} + \lambda_{graph} \sum_{j=1}^k (W^{(d)}_{\cdot, j})^\top L W^{(d)}_{\cdot, j}$$
  Hierbij is $L$ de symmetrisch genormaliseerde Laplaciaan van de co-activatiegraf. De grafterm straft decoderrichtingen die sterk variëren over sterk co-activerende neuronen, wat de geleerde woordenlijst beïnvloedt richting laagfrequente eigenmodi die de verspreide structuur van veiligheidsrelevante patronen respecteren.

2.2 Constructie van de Sturingsbank

Niet alle geleerde kenmerken zijn geschikt voor sturing. De auteurs construeren een gecureerde "sturingsbank" door decoderrichtingen te scoren tegen drie onafhankelijke criteria:

1. Structurele Coherentie ($s_{coh}$): Meet de gladheid van een richting op de neuron-graf (lage Dirichlet-energie).
2. Voorspellende Relevantie ($s_{rel}$): De grootte van de coëfficiënt in de lineaire probe die is getraind om veiligheidslabels te voorspellen.
3. Interventie-effectiviteit ($s_{eff}$): De daadwerkelijke verandering in modelgedrag (schade-reductie versus over-weigering) wanneer de richting wordt toegepast.

Richtingen worden gescoord met een gewogen geometrisch gemiddelde van deze metrieken. Alleen richtingen die goed presteren op alle drie worden behouden in de uiteindelijke bank.

2.3 Runtime Sturing met Twee-poort Controller

Om degradatie van onschadelijke prestaties te voorkomen, hanteert GSAE een selectieve sturingspijplijn met twee poorten:

• Input-poort: Evalueert de risicoscore op promptniveau voordat er wordt gegenereerd. Als het risico hoog is, wordt onmiddellijk geweigerd; als het laag is, verloopt de generatie zonder sturing.
• Verlengingspoort: Monitort het token-niveau risico tijdens de generatie. Het activeert sturing alleen wanneer het risico boven een hoge drempel stijgt en deactiveert het pas wanneer het risico onder een lage drempel daalt (met hysterese om onstabiele schakeling te voorkomen).
• Interventie: Wanneer actief, past de controller een corrigerende verschuiving toe op verborgen toestanden door een gewogen som van de sturingsbankrichtingen af te trekken, geschaald naar hun uitlijning met de huidige verborgen toestand.

3. Belangrijkste Bijdragen

1. GSAE-doelstelling: Introductie van een grafisch-geregulariseerde SAE-doelstelling die gladheid afdwingt over een graf van neuron-co-activaties, waarmee de beperking van onafhankelijkheidsaannames in standaard SAE's wordt aangepakt.
2. Selectieve Sturingspijplijn: Ontwikkeling van een meer-criteria methode voor bankconstructie (coherentie, relevantie, effectiviteit) gecombineerd met een twee-poort runtime-controller (input en verlenging) om selectieve interventie te garanderen.
3. Empirische Isolatie: Gecontroleerde ablatiestudies die aantonen dat grafische regularisatie specifiek de kwaliteit van uit SAE's afgeleide interventierichtingen verbetert, onderscheiden van de voordelen van downstream gating of bankconstructie.

4. Experimentele Resultaten

De methode werd voornamelijk geëvalueerd op Llama-3-8B-base, met cross-model validatie op Mistral 7B, Qwen 2.5 14B en Phi-4 15B.

• Veiligheidsprestaties: Op JailbreakBench verbeterde het vervangen van een standaard SAE door GSAE (in een verder identieke pijplijn) de score voor selectieve weigering ($\Delta s = HRR - SRR$) met 20,1 punten (van 58,8% naar 78,9%). Vergelijkbare winsten werden waargenomen op HarmBench (+16,8 punten) en XSTest.
• Vergelijking met Baselines: GSAE presteerde beter dan baselines voor activatiesturing (bijv. CAA, SafeSwitch) en black-box guardrails (bijv. Llama Guard input+output), terwijl een vergelijkbare of betere doorvoer werd behouden.
• Behoud van Bruikbaarheid: De methode behield de prestaties voor onschadelijke taken, met slechts een bescheiden gemiddelde daling (4,2 punten) in bruikbaarheidsbenchmarks (TriviaQA, GSM8K, TruthfulQA) vergeleken met de ongestuurde baseline.
• Generalisatie: De prestatiewinsten vertaalden zich over verschillende modelarchitecturen (Mistral, Qwen, Phi).
• Robuustheid: GSAE bleef sterk onder black-box (AutoDAN, TAP) en gray-box (GCG) jailbreak-aanvallen. Echter, onder een white-box stress-test gericht op sturing (waarbij de aanvaller toegang heeft tot de bankvectoren en poortdrempels), nam de robuustheid af, met een daling van de Harmful Refusal Rate (HRR) naar 51,9%.
• Mechanisme-analyse: Diagnostische probes gaven aan dat GSAE expliciete weigerings-trajecten activeert in plaats van louter verborgen toestanden te verschuiven naar een onschadelijk ogend gebied (veilig-centroïde verschuiving).

5. Betekenis en Claims

Het artikel claimt dat grafische regularisatie een kritieke inductieve bias is voor het leren van veiligheidssturingsrichtingen uit SAE's. De primaire bevinding is dat veiligheidsgedragingen in LLM's verspreid en niet-lineair zijn; het afdwingen van structurele gladheid over co-activerende neuronen voorkomt de fragmentatie van veiligheidsconcepten, wat leidt tot effectievere interventierichtingen.

De auteurs benadrukken dat hun bijdrage gecontroleerd en functioneel is: ze isoleren de specifieke verbetering die wordt behaald door de grafterm onder een overeenkomende downstream pijplijn. Ze claimen niet de volledige mechanische schakeling van weigering te hebben ontdekt, maar wel dat grafisch-geregulariseerde richtingen een superieure basis bieden voor selectieve sturing.

Het werk belicht een praktische afweging voor implementatie: de volledige twee-poort controller biedt precisie op token-niveau tegen een bescheiden latentiekost, terwijl een variant met alleen een input-poort veel van de veiligheidswinst behoudt met minder overhead. De auteurs erkennen beperkingen, waarbij ze opmerken dat de methode toegang tot verborgen toestanden vereist (open-weight modellen), afhankelijk is van een vaste co-activatiegraf die mogelijk niet aanpast aan distributieveranderingen, en kwetsbaar is voor white-box-aanvallen die de interne werking van de sturing blootleggen.