Technische Samenvatting: Geometry-Lite: Interpretabele Veiligheidsprobing via Laag-voor-Lag Margin-Geometrie

Probleemdefinitie

Naarmate grote taalmodellen (LLMs) op grote schaal worden ingezet, is detectie van schadelijkheid op promptniveau een cruciaal veiligheidscomponent geworden. Hoewel probes op basis van verborgen toestanden met lineaire classifiers op snapshots van een enkele laag (doorgaans het laatste prompt-token) standaard baselines vormen, berusten zij op de aanname dat een enkele laag voldoende is om veiligheidsrelevante signalen samen te vatten. Deze aanname verdient heroverweging om twee redenen:

1. Grenzgevallen: Geaggregeerde prestaties op standaard benchmarks verbergen vaak het gedrag bij ambiguïteit bevattende prompts, wat kritiek is voor veiligheidssystemen die opereren bij lage rates van vals-positieven.
2. Generalisatie buiten de verdeling (OOD): Modellen die goed presteren op benchmark-splits, kunnen afhankelijk zijn van shortcut-functies die niet overdraagbaar blijken. Recent werk geeft aan dat op activatie gebaseerde veiligheidsprobes aanzienlijke degradatie ondergaan bij evaluatie over verschillende datasets.

De kernvraag van het onderzoek is niet enkel of meerdere lagen helpen, maar welke vorm van meerlagig bewijs nuttig blijft in besluit-critische regimes (lage rates van vals-positieven) en onder verschuivingen van benchmarks. Specifiek onderzoeken de auteurs of het veiligheidssignaal over lagen verdeeld is, gedreven wordt door beweging tussen lagen (verplaatsing), of gedefinieerd wordt door de persistente positie van een margin-profiel ten opzichte van veiligheidsgrenzen.

Methodologie: Geometry-Lite

De auteurs introduceren Geometry-Lite, een compacte probe op promptniveau die ontworpen is om meerlagige veiligheidssignalen te ontleden langs gelabelde geometrische assen. De methode werkt in drie fasen:

1. Laag-voor-Lag Margin-Reductie

Voor elke transformer-laag $\ell$ wordt de $D$-dimensionale verborgen toestand van het laatste prompt-token, $h^{(\ell)}(x)$, gereduceerd tot een scalair getekende margin met behulp van drie complementaire geometrische uitlezingen:

• Centroid-afstand: Het verschil in Euclidische afstand tot de gemiddelden per klasse ($\mu^+$ voor veilig, $\mu^-$ voor onveilig).
  $$m^{cent}_\ell(h) = \|h - \mu^-_\ell\|_2 - \|h - \mu^+_\ell\|_2$$
• k-NN Lokale-Nabijheid: Het verschil in gemiddelde cosinusafstand tot de $k$ dichtstbijzijnde buren in de veilige en onveilige trainingspools. Dit is de enige niet-lineaire uitlezing.
  $$m^{knn}_\ell(h) = \bar{c}^-_k(h) - \bar{c}^+_k(h)$$
• Supervisie Lineaire Grens: Een L2-geregulariseerde logistische regressiegrens die per laag wordt gefit op gestandaardiseerde kenmerken, wat een getekende score oplevert.
  $$m^{lin}_\ell(h) = w^\top_\ell z + b_\ell$$

Dit proces converteert de trajectorie van de verborgen toestand $H(x) \in \mathbb{R}^{L \times D}$ om in drie scalare margin-trajectoires $m^G(x) \in \mathbb{R}^L$ (waarbij $G \in \{cent, knn, lin\}$).

2. Profiel Samenvatting via Genoemde Assen

Elk margin-profiel wordt samengevat langs drie genoemde assen om onderscheidende vormen van laag-voor-lag signaal te scheiden:

• Margin-Niveau: Vangt de persistente grenspositie (bijv. marginen aan eindpunten, extremale waarden, bezetting aan de negatieve kant, en oppervlakte).
• Verandering tussen Lagen: isoleert lokale beweging via eindige verschillen ($\Delta m_\ell = m_{\ell+1} - m_\ell$), waarbij beweging wordt gescheiden van absolute positie.
• Structurele Vorm: Vangt grove profielp eigenschappen (bijv. eerste grensoverschrijding, variabiliteit van verandering, totale padlengte, en directionele consistentie).

Deze assen genereren een 39-dimensionaal kenmerkvector $\phi(x)$ (13 kenmerken per geometrie).

3. Classificatie

De 39-dimensionale vector wordt ingevoerd in een L2-geregulariseerde logistische regressie-classifier. Het aantal parameters is onafhankelijk van de grootte van het backbone-model en de verborgen dimensie.

Baselines en Vergelijkingen

De studie vergelijkt Geometry-Lite met:

• Single-layer probes: De best presterende laag geselecteerd via validatie.
• MultiLayer-DIM: Aggregeert projecties op de richting van het verschil in gemiddelden over lagen.
• MultiLayer-Linear: Aggregeert ruwe supervisie lineaire scores over lagen.
• TaT-Disp-LSTM: Een op trajectoires gebaseerde baseline die verplaatsingen tussen lagen modelleert met een LSTM.

Belangrijkste Bijdragen

1. Geometry-Lite Probe: Een compacte, interpreteerbare probe die laag-voor-lag verborgen toestanden omzet in getekende margin-profielen onder drie geometrische uitlezingen en deze samenvat langs genoemde assen (grenspositie, verandering en vorm).
2. Ontleding van Meerlagig Bewijs: Het raamwerk ontrafelt drie verklaringen voor meerlagige signalen: aggregatie over informatieve lagen, margin-positie relatief tot de grens, en expliciete beweging tussen lagen.
3. Empirische Bevindingen:
   • Signaalconcentratie: Veiligheidsbewijs wordt primair uitgedrukt via persistente margin-geometrie gebaseerd op grenspositie (margin-niveau en bezetting). Beweging tussen lagen (drijvend) draagt minimaal bij aan de geaggregeerde AUROC.
   • Nuttigheid van Drijf: Hoewel drijf weinig bijdraagt aan de gepoolde AUROC, biedt het schaarse, recall-gerichte correcties onder verschoven lage-FPR-drempels.
   • Trade-off in Stabiliteit van Uitlezing: Geoptimaliseerde lineaire grenzen zijn scherper binnen de verdeling, terwijl de geometrie van klassen-gemiddelden (centroid/DIM) scheiding betrouwbaarder behoudt onder benchmark-verschuivingen (LOBO-protocol).

Experimentele Resultaten

De evaluatie omvat negen instructie-gefineerde backbones (Llama, Gemma, Qwen families; 1,2B–70B) en zeven veiligheidsbenchmarks (XSTest, WildJailbreak, JBB-Behaviors, DoNotAnswer, BeaverTails, PKU-SafeRLHF, ToxicChat).

• Prestaties binnen de Verdeling: Geometry-Lite (AUROC 0,955) en MultiLayer-Linear (0,954) presteren beter dan de beste single-layer probe (0,941) en significant beter dan MultiLayer-DIM (0,911) en TaT-Disp-LSTM (0,945). Geometry-Lite komt overeen met het stapelen van ruwe scores, terwijl het interpreteerbaarheid biedt.
• Besluit-Critische Regimes: Bij lage rates van vals-positieven (3% en 5% FPR) is het voordeel van meerdere lagen duidelijker. Geometry-Lite verbetert de True Positive Rate (TPR) met ongeveer 0,06–0,08 ten opzichte van de beste single-layer probe bij 5% FPR.
• Generalisatie (LOBO): Onder evaluatie waarbij één benchmark wordt gelaten (Leave-One-Benchmark-Out) verkleint de prestatiekloof tussen supervisie lineaire methoden en methoden op basis van klassen-gemiddelden (MultiLayer-DIM). MultiLayer-DIM (0,889) komt overeen met MultiLayer-Linear (0,889) en overtreft in veel cellen de beste single-layer probe (0,842).
• Kenmerk-Ablatie:
  • Magnitude-kenmerken alleen komen overeen met het volledige 39-kenmerkmodel binnen 0,001–0,002 AUROC.
  • Structurele kenmerken en Neg-drift-kenmerken alleen zijn significant zwakker.
  • Ablatie van Uitlezing: Binnen de verdeling is de supervisie lineaire grens het sterkst. Onder harde benchmark-verschuivingen wordt de centroid-uitlezing de meest stabiele enkele tak, die lineaire grenzen overtreft op de moeilijkste vastgehouden subsets.

Betekenis en Claims

Het artikel stelt dat veiligheidsbewijs op promptniveau niet primair een signaal van beweging tussen lagen is, maar een persistente laag-voor-lag margin-geometrie. De nuttige componenten van dit signaal zijn de positie van de margin ten opzichte van veiligheidsgrenzen en de persistentie ervan over lagen.

De studie benadrukt een kritieke trade-off in veiligheidsprobing:

• Geoptimaliseerde grenzen (lineaire classifiers) vangen sterke scheiding binnen de verdeling, maar degraderen onder distributieverschuiving.
• Geometrie van klassen-gemiddelden (centroids/DIM) is minder scherp binnen de verdeling, maar robuuster tegenover benchmark-verschuivingen.

Bijgevolg betogen de auteurs dat meerlagige veiligheidsprobes niet alleen moeten worden geëvalueerd op basis van in-distribution AUROC, maar ook op welke geometrische bias onder verschuiving overdraagbaar is. Geometry-Lite dient als hulpmiddel om deze componenten en bias zichtbaar te maken, met name in besluit-critische regimes waar vals-positieven kostbaar zijn.

Beperkingen: De studie is beperkt tot handmatig ontworpen margin-samenvattingen, single-turn veiligheidsprompts en binaire veiligheidslabels. Toekomstig werk zou geleerde profielfunctionalen, monitoring over meerdere beurten en toepassingen op andere taken op promptniveau kunnen verkennen.