Technische Samenvatting: Geregistreerd maar Fragiel: Versterking van de Robuustheid van LLM-veiligheid via Zeroth-Order Optimalisatie

1. Probleemstelling

Grote Taalmodellen (LLM's) ondergaan een veiligheidsregistratiefase (bijvoorbeeld via RLHF, DPO of SFT) om schadelijke output te onderdrukken terwijl de bruikbaarheid behouden blijft. Echter, recente bevindingen wijzen erop dat deze registratie vaak fragiel is. Het artikel demonstreert dat lichtgewicht verstoringen na registratie—zoals parameterruis, activatieruis of kwantisatie—de veiligheidsgedragspatronen aanzienlijk kunnen verslechteren, waardoor geregistreerde modellen terugkeren naar onveilige of niet-gealigneerde output.

Bestaande benaderingen voor robuustheid richten zich voornamelijk op datacursatie, aangepaste registratiedoelstellingen of het identificeren van veiligheidskritieke parameters. Deze methoden vereisen vaak probleemspecifieke aanpassingen aan trainingsdata of modelinterne componenten. Cruciaal blijft de rol van de basisoptimizer zelf in het vormgeven van de lokale geometrie van de veiligheidsgrens grotendeels onontgonnen. De auteurs stellen dat veiligheidsregistratie kan worden gecodeerd door een "scherpe" of overgefitte grens in de parameterruimte, die vatbaar is voor kleine afwijkingen. Een robuuste registratie vereist een gladdere lokale veiligheidslandschap, een eigenschap die mogelijk wordt beïnvloed door het gebruikte optimalisatiealgoritme.

2. Methodologie

Het artikel stelt een hybride optimalisatiekader voor dat Zeroth-Order (ZO) optimalisatie benut als een verfijningsfase na registratie. De methodologie bestaat uit drie hoofdcomponenten:

A. De FO–ZO Hybride Pijplijn

In plaats van standaard First-Order (FO) registratie te vervangen door ZO (wat rekenkundig duur is en trager convergeert), stellen de auteurs een tweefasenpijplijn voor:

1. Fase I (FO Veiligheidsregistratie): Standaard op gradiënten gebaseerde optimalisatie (bijvoorbeeld SGD) wordt gebruikt om efficiënt een goed geregistreerde oplossing ($\theta_{fo}$) te bereiken.
2. Fase II (ZO Robuustheidsverfijning): Een klein aantal ZO-stappen wordt toegepast op $\theta_{fo}$ om de lokale robuustheid te verfijnen. ZO schat gradiënten door de verliesfunctie te evalueren bij willekeurig verstoide parameters ($\theta \pm \beta v$), wat effectief een lokaal gegladde doelstelling optimaliseert. Dit proces moedigt het model aan om vlakkere minima te vinden, die theoretisch robuuster zijn tegen verstoringen.

B. Theoretische Rechtvaardiging

De auteurs bieden theoretische analyse om dit ontwerp te rechtvaardigen:

• Convergentie: Hoewel ZO een geldige optimalisatieprocedure is, zijn de stapgroottebeperkingen ervan restrictiever dan bij FO vanwege variantie en gladmakingsbias. Het gebruik van ZO voor het volledige registratieproces is dus inefficiënt. Het toepassen van een paar ZO-stappen na FO-convergentie is echter voldoende om de robuustheid te verbeteren.
• Verbetering van Robuustheid: Het artikel bewijst dat zelfs als een FO-geregistreerd model is geconvergeerd ($\nabla f(\theta_{fo}) = 0$), een enkele ZO-verfijningsstap de "verstooringsrobustheidsgap" (de toename van het verlies onder verstoring) kan verkleinen. Dit komt doordat ZO direct de gemiddelde doelstelling in de omgeving optimaliseert, waardoor het lokale landschap wordt geglad zonder opnieuw vanaf nul te trainen.

C. Laagvoor-laag Robuustheidsgevoeligheid

Om de efficiëntie van ZO-verfijning te verbeteren, introduceren de auteurs een gevoeligheidsgeleide selectiestrategie. In plaats van alle parameters bij te werken, identificeren ze "robustheidskritieke" lagen:

• Gevoeligheidsscore ($S^{(\ell)}$): Voor elke laag $\ell$ wordt een score berekend door de toename van het verlies te meten wanneer die specifieke laag wordt verstoord (willekeurige ruis) of gekwantiseerd.
• Gerichte Update: De top-$m$ lagen met de hoogste gevoeligheidsscores worden geselecteerd. Tijdens de ZO-verfijningsfase worden verstoringsrichtingen gemaskeerd buiten deze geselecteerde lagen. Dit concentreert de rekenkracht op de lagen die het meest verantwoordelijk zijn voor veiligheidsverslechtering onder verstoring.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

1. Eerste Studie vanuit een Optimizer-Perspectief: Het is het eerste werk dat veiligheidsregistratie-robustheid tegen parameter- en activatieverstoringen grondig bestudeert, specifiek door de lens van zeroth-order optimalisatie.
2. FO–ZO Hybride Kader: Het voorstellen van een hybride kader dat FO- en ZO-optimizers integreert, waarbij de effectiviteit van FO-registratie wordt gecombineerd met de robuustheidsvoordelen van ZO.
3. Efficiëntie en Effectiviteit: Theoretisch en empirisch bewijs dat toont dat een kleine hoeveelheid post-registratie ZO-verfijning de veiligheidsrobustheid aanzienlijk verbetert met een bescheiden rekenkundige overhead.
4. Laagvoor-laag Gevoeligheid: Een nieuwe methode om laagvoor-laag robuustheidsgevoeligheid te schatten met behulp van op verstoring gebaseerde evaluaties, wat gerichte verfijning mogelijk maakt die beter presteert dan standaard op pruning gebaseerde importantiescores (zoals SNIP of WANDA).

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op Llama-3-8B-Instruct en Qwen2-7B-Instruct met behulp van de CB-Safety dataset.

• Fragiliteit van Standaard Registratie: Tabel 1 bevestigt dat standaard geregistreerde modellen aanzienlijke toenames in Attack Success Rate (ASR) ondergaan onder kwantisatie (W4A4) en activatieruis, wat het fragiliteitsprobleem valideert.
• Effectiviteit van Verfijning:
  • FO Registratie: Vermindert ASR aanzienlijk in vergelijking met het oorspronkelijke model.
  • ZO Verfijning: Wanneer toegepast na FO-registratie, vermindert ZO-verfijning ASR verder bij diverse verstoringen (kwantisatie, gewichtsruis, activatieruis) terwijl de bruikbaarheid behouden blijft (PPL en lm-eval scores blijven stabiel).
  • Vergelijking: Het vervangen van de laatste 10 stappen van FO-training door 10 stappen van ZO-verfijning resulteert consequent in een lagere ASR dan het voortzetten van FO-training, ondanks het gebruik van hetzelfde aantal optimalisatiestappen.
• Laagselectie: De voorgestelde "robustheidsbewuste" laagselectie presteert beter dan SNIP en WANDA bij het identificeren van lagen die kritiek zijn voor robuustheid, met name onder activatieruis en kwantisatie.
• Efficiëntie: De ZO-verfijningsfase voegt slechts ongeveer 13,3% toe aan de totale trainingsduur en gebruikt ongeveer 32% van de piek GPU-geheugen die nodig is voor FO-training, omdat het backpropagation vermijdt.

5. Betekenis en Claims

Het artikel positioneert zichzelf als een bescheiden maar significante stap naar veerkrachtigere LLM-veiligheid. Het betoogt dat veiligheidsregistratie niet alleen gaat over de data of de doelstellingsfunctie, maar ook over de lokale geometrie van de geleerde parameters, die wordt gevormd door de optimizer.

• Nieuwheid: Door de focus te verleggen naar de optimizer, biedt het artikel een nieuw mechanisme (ZO-verfijning) dat orthogonaal is aan datacursatie of herontwerp van doelstellingen.
• Praktijktoepasbaarheid: De hybride aanpak zorgt ervoor dat de hoge bruikbaarheid van standaard FO-registratie behouden blijft, terwijl er een lichtgewicht "robustheidsfinisje" wordt toegevoegd.
• Beperkingen en Toekomstig Werk: De auteurs erkennen dat hun huidige selectie op laagniveau kan worden uitgebreid tot fijnere attributies (module-, neuron- of parameterniveau) in toekomstig werk. Zij claimen niet alle veiligheidsproblemen op te lossen, maar richten zich specifiek op de kwetsbaarheid van geregistreerde modellen voor post-training verstoringen.

Kortom, het artikel demonstreert dat zeroth-order optimalisatie, wanneer gebruikt als een gericht verfijningstool, het veiligheidslandschap van LLM's kan gladstrijken, waardoor ze weerbaarder worden tegen de onvermijdelijke ruis en compressie die in real-world implementaties worden aangetroffen.