Technische Samenvatting: RAS: Het meten van LLM-veiligheid door middel van Weigeringsalignement

Probleemstelling

De huidige veiligheidsevaluatie voor Large Language Models (LLM's) leunt voornamelijk op output-niveau paradigma's. Deze methoden omvatten het bevragen van modellen met onveilige of jailbreak-prompts en het beoordelen of de gegenereerde reacties de veiligheidsrichtlijnen schenden met behulp van menselijke annotatie, regelgebaseerde filters of LLM-als-rechter classificators. Hoewel effectief, identificeren de auteurs vier kritieke beperkingen in deze aanpak:

1. Kosten: Het is computationeel duur, omdat volledige generatie en vaak een secundair rechtermodel vereist is.
2. Gevoeligheid: Resultaten zijn zeer gevoelig voor decoderingsparameters, weigeringssjablonen en het specifieke gedrag van het rechtermodel.
3. Veroudering: Benchmarks raken verouderd naarmate modellen worden getraind tegen bekende vraagensets.
4. Latentie: Veiligheid op output-niveau is een signaal in een laat stadium; het bevestigt of een model weigert, maar faalt erin te onthullen hoe het model de aanvraag intern verwerkt of of het tijdens de computatie in een weigeringsgerelateerde staat terechtkomt.

Het artikel stelt dat veiligheid eerder op het representatieniveau geëvalueerd kan worden, gebruikmakend van bevindingen dat weigeringsgedrag wordt gemedieerd door specifieke richtingen in verborgen activatieruimtes.

Methodologie: SafeVec en RAS

De auteurs stellen SafeVec voor, een white-box evaluatieprocedure die veiligheid meet door het analyseren van interne verborgen toestanden in plaats van gegenereerde outputs. De kernmetriek afgeleid van deze procedure is de Refusal Alignment Score (RAS), een gekalibreerde veiligheidsscore van 0–100.

Systeemmodel

De methode gaat uit van toegang tot de verborgen toestanden (residual-stream activaties in elke decoderlaag) van het doelmodel, waardoor het toepasbaar is op open-weight modellen en interne audits, maar niet op gesloten API's. De evaluatie maakt gebruik van drie prompt-sets:

• Veilig ($S$): Onschuldige gebruikersverzoeken.
• Onveilig ($U$): Directe verzoeken om schadelijke inhoud.
• Jailbreak ($J$): Onveilige intenties verpakt in adversariële of rollenspel-instructies.

De procedure vereist een veiligheid-gealigneerd referentiemodel ($M_{ref}$) uit dezelfde architectuurfamilie en een kalibratieset ($C_a$) bestaande uit modellen met variërende veiligheidsniveaus (gealigneerd, ongecensureerd en ablaterend).

De SafeVec Pipeline

De methode verloopt via vijf stadia:

1. Extractie van de Weigeringsrichting:
   Voor elke laag $l$ in het referentiemodel berekenen de auteurs de gemiddelde residual-stream activaties voor veilige ($\mu^{safe}_l$) en onveilige ($\mu^{unsafe}_l$) prompts. De laag-specifieke weigeringsrichting ($r_l$) wordt gedefinieerd als de verschilvector:
   $$r_l = \mu^{unsafe}_l - \mu^{safe}_l$$
   Deze vector legt de verschuiving in representatie vast wanneer het model een onveilige aanvraag verwerkt versus een veilige aanvraag.

2. Selectie van de Laagvenster (Layer Window):
   Niet alle lagen zijn even informatief. De auteurs selecteren een continu laagvenster ($W$) waar de scheidingskloof tussen de cosinus-gemiddelden van veilig en onveilig groot en stabiel is. Dit venster wordt gevalideerd met kalibratiemodellen om te waarborgen dat veiligere modellen een hogere alignement vertonen met de weigeringsrichting onder onveilige prompts.

3. Scoring van Kalibratiemodellen:
   Voor modellen in de kalibratieset berekent de methode de gemiddelde cosinus-gelijkenis tussen hun verborgen toestanden en de referentie-weigeringsrichting ($\hat{r}_l$) voor zowel onveilige als jailbreak-prompts. Deze ruwe scores meten de mate van interne weigeringsalignement.

4. RAS Kalibratie:
   Om ruwe cosinus-gelijkenissen te mappen naar een vergelijkbare 0–100 schaal, voeren de auteurs een meerstaps kalibratie uit:

   • Weigeringsval (Refusal Drop): Bereken de daling in alignement ten opzichte van het referentiemodel.
   • Bad-Anchor Schaal: Schat een baseline "slechte" schaal ($b_a$) met behulp van hoog-risico kalibratiemodellen (modellen met een hoge Attack Success Rate).
   • Ernst-helling (Severity Slope): Bepaal architectuur-specifieke ernst-hellingen ($\alpha_a$) door genormaliseerde weigeringsdalingen te correleren met toenames in de Attack Success Rate (ASR).
   • Finale Mapping: De gealigneerde daling wordt naar een 0–100 score gemapt met behulp van een sigmoidfunctie:
     $$RAS(M) = \frac{100}{1 + \exp(\beta(d_{aligned}(M) - c))}$$
     Een hogere RAS duidt op een sterkere weigeringsalignement en een hogere geschatte veiligheid.

5. Target Model Scoring:
   Doelmodellen worden gescoord door hun alignement met de vooraf gekalibreerde weigeringsrichting te berekenen en de familie-specifieke RAS-mapping toe te passen.

Belangrijkste Bijdragen

1. SafeVec: Een white-box, representatie-niveau veiligheidsevaluatieprocedure gebaseerd op weigeringsalignement.
2. RAS (Refusal Alignment Score): Een gekalibreerde metriek die interne verborgen toestand-alignement vertaalt naar een gestandaardiseerde 0–100 veiligheidsscore.
3. Empirische Validatie: Demonstratie dat RAS betrouwbaar onderscheid maakt tussen veiligheid-gealigneerde, ongecensureerde en ablaterende modellen binnen drie grote families (Llama, Gemma en Qwen).

Experimentele Resultaten

De auteurs evalueerden RAS op de Llama-3.1-8B, Gemma-3-4B, en Qwen2.5-7B families.

• Scheiding op Representatieniveau (RQ1): Veilige en onveilige modellen vertonen een duidelijke scheiding in weigeringsrichting-alignement. In geselecteerde laagvensters laten veilig-gealigneerde modellen consequent een hogere cosinus-gelijkenis zien met de weigeringsrichting onder onveilige en jailbreak-prompts vergeleken met ongecensureerde of ablaterende varianten.
• Correlatie met Output Gedrag (RQ2): RAS correleert sterk met de output-niveau Attack Success Rate (ASR). Modellen met een hoge RAS vertonen over het algemeen een lage ASR. Terwijl ruwe scores brede trends reflecteren, behoudt de gekalibreerde RAS deze trends terwijl het een gestandaardiseerde schaal biedt.
• Generalisatie (RQ3): De procedure generaliseert over verschillende modelfamilies. Hoewel ruwe scores niet direct vergelijkbaar zijn tussen architecturen, zorgt de familie-specifieke kalibratie ervoor dat RAS gealigneerde modellen consistent hoger rangschikt dan onveilige varianten.
• Efficiëntie (RQ4): RAS is aanzienlijk sneller dan de evaluatie op basis van een rechter (judge-based evaluation). Omdat het alleen forward passes vereist zonder responsgeneratie of externe judging, is het gemiddeld ongeveer 216,88× sneller in de experimentele setting van de auteurs.

Betekenis en Claims

Het artikel beweert dat weigeringsalignement een efficiënt signaal biedt voor white-box LLM-veiligheidsevaluatie.

• Complementaire Rol: De auteurs stellen expliciet dat RAS niet bedoeld is om de gedragsmatige evaluatiekaders voor gesloten systemen te vervangen of als definitief bewijs van veiligheid voor elke specifieke aanvraag. In plaats daarvan dient het als een snelle, representatie-niveau metriek voor het vergelijken van veiligheid-gealigneerde modelvarianten, het uitvoeren van post-training vergelijkingen en het uitvoeren van veiligheidsregressietesten.
• Vroege Detectie: Door interne toestanden te meten, detecteert RAS verzwakt weigeringsgedrag voordat het model schadelijke output genereert, wat een signaal biedt dat onafhankelijk is van decoderingsparameters en de bias van de rechter.
• Beperkingen: De auteurs erkennen dat RAS white-box toegang (verborgen toestanden) vereist en binnen modelfamilies wordt gekalibreerd. Bovendien gaat het ervan uit dat veiligheid wordt gecodeerd via een specifieke weigeringsrichting; als toekomstige modellen fundamenteel andere interne veiligheidsmechanismen gebruiken, moet de weigeringsrichting mogelijk opnieuw worden geschat.

Het werk concludeert dat hoewel evaluatie op output-niveau noodzakelijk blijft voor de finale verificatie van implementaties, representatie-niveau metrieken zoals RAS een schaalbare, efficiënte en robuuste alternatieve optie bieden voor de snelle audit van open-weight modellen.