Technisch overzicht: Wanneer gedragsmatige veiligheidsevaluatie faalt: Een perspectief op representatieniveau

1. Probleemstelling

Huidige veiligheidsevaluaties voor Large Language Models (LLM's) opereren voornamelijk op het gedragsniveau, waarbij observeerbare outputs worden gemeten zoals weigeringspercentages, aanvals-succesratio's en jailbreak-robuustheid. Hoewel deze metrieken standaard zijn voor audits vóór implementatie, stellen de auteurs dat ze lijden aan een fundamentele beperking: ze bieden beperkt bewijs van interne robuustheid.

Het artikel formaliseert de discrepantie tussen gedragsmatige veiligheid en interne robuustheid als de audit gap (auditkloof). Deze kloof ontstaat omdat observeerbaar gedrag stabiel kan blijven (bijv. een model blijft schadelijke prompts weigeren), terwijl de onderliggende latente representaties zeer kwetsbaar kunnen worden voor interventie. Specifiek suggereert recent werk dat weigeringsmechanismen in gealigneerde modellen kunnen worden gemedieerd door laagdimensionale richtingen in de representatieruimte, terwijl representaties gerelateerd aan schadelijkheid gedeeltelijk scheidbaar kunnen blijven. Bijgevolg kan een model slagen voor gedragsmatige veiligheidstests, terwijl het latente structuren herbergt die gemakkelijk gedestabiliseerd kunnen worden door begrensde perturbaties, een faalmodus die standaard gedragsmatige metrieken niet detecteren.

2. Methodologie

Om de auditkloof te onderzoeken, stellen de auteurs een framework voor dat gecentreerd is rond de constructie van gedissocieerde modellen en een interventie-gebaseerd evaluatieprotocol.

2.1 Constructie van gedissocieerde modellen

De auteurs construeren "gedissocieerde modellen" die veilig extern gedrag behouden terwijl ze latente kwetsbaarheid behouden of versterken. Deze modellen worden getraind om twee concurrerende doelstellingen te vervullen:

1. Gedragsgetrouwheid (Behavioral Fidelity): Het behouden van weigeringsgedrag en onschuldige behulpzaamheid vergelijkbaar met een veiligheids-gealigneerd basismodel.
2. Latente Kwetsbaarheid: Het duwen van de interne representaties van schadelijke prompts naar een "onveilige" klasse, zoals gedetecteerd door een latente monitor.

Trainingsproces:

• Data: De constructie maakt gebruik van contrast-triples uit PKU-SafeRLHF (prompt, veilige respons, onveilige respons) en onschuldige ankers uit BeaverTails en XSTest.
• Latente Monitor ($g_\phi$): Een probe die geïnitialiseerd is om de veiligheid van de respons te voorspellen op basis van de verborgen toestanden (hidden states) van het basismodel.
• Optimalisatie: Het model $\pi_\theta$ wordt gefinetuned met behulp van een samengestelde verliesfunctie:
  $$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$$
  • $\mathcal{L}_{SFT}$: Token-niveau negatieve log-likelihood om de outputkwaliteit te behouden.
  • Monitor Term: Moedigt het model aan om "onveilige" representaties te produceren (hoge monitor-logits) voor schadelijke prompts ($b=1$), terwijl onschuldige prompts ($b=0$) onveranderd blijven.
  • KL Divergentie ($\mathcal{L}_{KL}$): Constanteert de gedissocieerde model om op token-niveau dicht bij het bevroren basismodel $\pi_{\theta_0}$ te blijven, ter bewaring van gedragsgetrouwheid.
• Alternerende Updates: De monitorparameters $\phi$ en modelparameters $\theta$ worden afwisselend bijgewerkt om ervoor te zorgen dat de monitor zich aanpast aan de evoluerende representaties van het model tijdens de training.

2.2 Interventie-gebaseerd Evaluatieframework

Om robuustheid te meten, passen de auteurs zachte interventies toe in zowel de parameterruimte als de latentieruimte:

1. Parameterruimte-interventie (Schadelijke Fine-tuning): De modellen ondergaan Supervised Fine-Tuning (SFT) met LoRA op een dataset van schadelijke instructies ($D_{harm}$). De evolutie van weigerings- en nalevingsratio's wordt gemonitord om te beoordelen hoe snel de veiligheidsgedraging instort onder adversariële optimalisatie.
2. Latentieruimte-interventie (Doelgerichte Perturbaties): Additieve perturbaties $\delta$ worden toegepast op de verborgen representaties $h_\ell$ in specifieke lagen ($\ell$) tijdens de inferentie.
   • Doel: Minimaliseren van de negatieve log-likelihood (NLL) van een schadelijke doelrespons (bijv. "Zeker, hier is...") onder een $\ell_\infty$ norm-restrictie ($\|\delta\|_\infty \le \epsilon$).
   • Omvang: Interventies worden getest over embedding-, intermediaire en finale lagen.

2.3 Latente Kwetsbaarheidsscore (LVS)

Om de gevoeligheid van veiligheidsgedrag voor deze interventies te kwantificeren, stellen de auteurs de Latente Kwetsbaarheidsscore (LVS) voor. In tegen afstelling tot binaire metrieken (bijv. Attack Success Rate), meet LVS de omvang van de gedragsdegradatie per eenheid latente perturbatie.

$$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$$

Waar $S_{harmless}$ een continue veiligheidsscore is, $y$ de originele output is, en $y'$ de geïntervenieerde output. Een hoge LVS geeft aan dat kleine latente veranderingen disproportioneel grote dalingen in veiligheid veroorzaken.

3. Belangrijkste Resultaten

3.1 Bestaan van de Auditkloof

De studie demonstreert dat gedragsmatige veiligheidsmetrieken onvoldoende indicatoren zijn voor de robuustheid op representatieniveau:

• Gedragsstabiliteit: Gedissocieerde modellen vertonen weigeringspercentages die vergelijkbaar zijn met hun veiligheids-gealigneerde basismodellen bij directe schadelijke verzoeken en jailbreak-prompts. Standaard gedragsmatige audits slagen er niet in om onderscheid te maken tussen de twee.
• Latente Divergentie: Ondanks vergelijkbare weigeringspercentages vertonen gedissocieerde modellen een significant hogere kwetsbaarheid wanneer ze worden geprobeerd door latente monitors. De gekalibreerde kloof tussen veilige en onveilige representaties krimpt aanzienlijk in gedissocieerde modellen, zelfs als het ordinale signaal behouden blijft.

3.2 Interventiegevoeligheid

• Schadelijke Fine-tuning: Onder schadelijke SFT verschuiven gedissocieerde modellen aanzienlijk sneller richting naleving (en weg van weigering) dan hun basis-tegenhangers. Dit suggereert dat hoewel oppervlakkige weigering behouden blijft, de onderliggende veiligheidsmechanismen fragieler zijn.
• Laagspecifieke Kwetsbaarheid: Latente perturbaties onthullen dat intermediaire representaties het meest gevoelig zijn voor interventie.
  • Perturbaties toegepast op middelste lagen induceren aanzienlijk hogere Attack Success Rates (ASR) en degradatie van onschuld dan in de embedding- of finale lagen.
  • Gedissocieerde modellen vertonen een versterkte kwetsbaarheid in deze intermediaire lagen vergeleken met hun veilige bases, ondanks het behoud van vergelijkbaar outputgedrag.

3.3 Alignment en Robuustheid

Het evalueren van diverse alignment-strategieën (bijv. Llama-3 varianten, Alpaca familie) via LVS onthult:

• Veiligheid-gealigneerde modellen bereiken over het algemeen een lagere LVS in de finale lagen vergeleken met onveilige varianten, wat suggereert dat alignment de token-generatie stabiliseert.
• Echter, deze verbetering is noch uniform, noch volledig. Veel gealigneerde modellen behouden een verhoogde LVS in de embedding- of intermediaire lagen.
• Er werd waargenomen dat sommige alignment-strategieën (bijv. specifieke op onschuld gerichte benaderingen) de kwetsbaarheid in intermediaire representaties vergroten, ondanks het verbeteren van de onschuld-scores.

4. Betekenis en Claims

Het artikel claimt dat gedragsmatige veiligheidsevaluatie alleen een incompleet beeld geeft van de robuustheid van een model. De primaire betekenis van dit werk ligt in:

1. Formalisering van de Auditkloof: Het identificeert een probleem met de constructvaliditeit waarbij observeerbaar gedrag onafhankelijk beweegt van representatie-niveau veiligheidseigenschappen.
2. Demonstratie van Latente Fragiliteit: Het levert empirisch bewijs dat modellen "gedissocieerd" kunnen zijn — veilig in output, maar fragiel in representatie — waardoor standaard weigerings-audits onvoldoend zijn voor veiligheidscases vóór implementatie.
3. Interventie-gebaseerde Auditing: Het voorgestelde framework, gebruikmakend van zachte interventies en de Latente Kwetsbaarheidsscore, biedt een methode om de veiligheidsalignment te testen voorbij observeerbare outputs.
4. Laagspecifieke Inzichten: De bevindingen benadrukken dat intermediaire representaties een kritieke kwetsbaarheidsbottleneck vormen, waar kleine interventies de veiligheid-gealigneerde gedraging disproportioneel kunnen destabiliseren.

De auteurs concluderen dat veiligheidsauditprocedures moeten evolueren om een gezamenlijke evaluatie van latente kwetsbaarheid en observeerbaar gedrag te incorporeren om robuustheid tegen falen op representatieniveau te garanderen.

5. Beperkingen en Reikwijdte

Het artikel vermeldt expliciet enkele beperkingen:

• Gecontroleerde Setting: De kwetsbaarheden worden geïdentificeerd onder gecontroleerde zachte interventies (toegang tot gewichten of latente toestanden) en impliceren niet noodzakelijkerwijs dat deze fouten direct exploiteerbaar zijn via standaard black-box prompting alleen.
• Synthetische Constructie: Gedissocieerde modellen zijn synthetisch geconstrueerd via optimalisatie tegen specifieke latente monitors; de geobserveerde kwetsbaarheden kunnen afhangen van de specifieke probe-architectuur en interventie-objectieven.
• Modelschaal: Experimenten richten zich op relatief kleine open-weight modellen (bijv. 2B–8B parameters); het blijft onduidelijk of deze faalmodi ook op grotere schaal persistent zijn.
• Evaluatie Ruis: Metrieken vertrouwen op LLM-judges en reward-modellen, wat ruis kan introduceren, en benchmark-contaminatie kan de resultaten beïnvloeden.

Het werk stelt geen nieuwe defensiemechanismen voor, maar dient als een diagnostisch framework om de getrouwheid van huidige veiligheidsmetrieken te evalueren.