Technische Samenvatting: Activatieprobes ontsluiten beveiligingssignalen in de Surface Code die de output van het model mist

Probleemstelling

AI-coderingsagenten (bijv. Claude Code, Cursor, OpenAI Codex) schrijven steeds vaker productiecode, waarbij empirische audits aangeven dat 24–29% van de door AI gegenereerde Python- en JavaScript-snippets beveiligingszwakheden bevat. Menselijke beveiligingsreviews kunnen niet opschalen om het tempo van codegeneratie bij te houden, wat automatische triage noodzakelijk maakt. Huidige automatische controles zijn echter onvoldoende: statische analysers lijden onder een hoog aantal fout-positieven, en het prompten van Large Language Models (LLMs) voor binaire beveiligingsoordelen is niet robuust. Trivial code-rewrites kunnen de oordelen van LLM's doen omslaan, en modellen geven vaak identieke "JA/NEE"-antwoorden op zowel kwetsbare als gerepareerde codeparen, waardoor hun expliciete output nutteloos is voor het onderscheiden van risico's.

Bovendien zijn de meest gebruikte coderingsagenten 'closed-weight', wat het voor teams die deze systemen implementeren onmogelijk maakt om hun interne toestanden te inspecteren. Teams kunnen in plaats daarvan open-weight modellen inzetten als reviewers, maar standaard prompting van deze reviewers faalt bij het detecteren van kwetsbaarheden die de verborgen toestanden van het model zelf mogelijk wel coderen.

Methodologie

De auteur onderzoekt of lineaire probes, toegepast op de activaties van de residual stream van open-weight code LLM's, beveiligingssignalen kunnen terugwinnen die de geprompte outputs van de modellen missen.

Modellen en Data

• Reviewer Modellen: Vijf open-weight code LLM's uit vier architectuurfamilies werden geëvalueerd: Qwen2.5-Coder (7B, 14B), DeepSeek-Coder (33B), Devstral-Small, en Llama-3.1 (8B).
• Trainingsdata (SVEN-Python): De probes werden getraind op paren van kwetsbare en gerepareerde Python-functies uit de SVEN-dataset, die vier specifieke Common Weakness Enumerations (CWE's) beslaan: 022, 078, 079 en 089.
• Evaluatiedata (PATCHEVAL): De probes werden zero-shot getest op 234 real-world, gedocumenteerde Python-kwetsbaarheden (CVE's) uit de PATCHEVAL-benchmark. Cruciaal is dat de CVE's die voor evaluatie werden gebruikt, CWE-typen bevatten die niet aanwezig waren tijdens de training (geen overlap met de vier trainings-CWE's).
• Data Splitting: Om datalekken te voorkomen, werden de splitsen gegroepeerd per project/repository, zodat geen enkele code uit een specifieke repository zowel in de training als in de evaluatie voorkwam.

Probe Fitting

• Architectuur: Er werd één enkele lineaire probe gefit per model.
• Input: Activaties werden geëxtraheerd uit de input van de layer normalization (layers[L].input_layernorm) met behulp van nnsight.
• Optimalisatie: De auteur voerde een sweep uit over lagen, token-poolingstrategieën (mean, max, last, sliding-window-max) en L2-regularisatiekracht. De configuratie die de 5-fold GroupKFold AUC maximaliseerde, werd geselecteerd.
• Taak: De probe leert tussen een kwetsbare functie en de bijbehorende gerepareerde versie te onderscheiden, uitsluitend op basis van de verborgen staat-activaties.

Evaluatiemetrieken

• Paired Win-Rate: Voor elke CVE scoort de probe de kwetsbare functie ($\hat{p}_{vul}$) en de gerepareerde functie ($\hat{p}_{fix}$). De win-rate is het fractie van de gevallen waarin $\hat{p}_{vul} > \hat{p}_{fix}$.
• Comparators: De probe werd vergeleken met de geprompte output van hetzelfde model onder drie condities:
  1. No-shot: Directe query zonder voorbeelden.
  2. Few-shot: Query met voorbeelden van andere, niet-getrainde zwakheden.
  3. Chain-of-Thought (CoT): Query die stapsgewijze redenering vereist vóór een oordeel.
• Readout Methoden: De comparators werden geëvalueerd met zowel logit readout (hernormaliseerde JA/NEE-waarschijnlijkheid) als token readout (letterlijke "ja"/"nee" string).

Belangrijkste Resultaten

1. Probes detecteren signalen die prompting mist

Op de ongeziene, real-world kwetsbaarheden (single-function CVE's), rangschikte de lineaire probe de kwetsbare functie consequent hoger dan de reparatie, met een paired win-rate van 61–67% over alle vijf de modellen. Deze prestatie is statistisch significant ($p < 0,05$) en ligt consistent boven de 50% kanslijn.

In contrast presteerden de geprompte outputs van de modellen slecht:

• Logit Readout: De win-rate van de probe was hoger dan de logit readout van de geprompte modellen voor elk model onder elke promptconditie. Hoewel de probe de logit readout van no-shot prompting op drie van de vijf modellen en few-shot prompting op vier modellen significant overtrof, was het voordeel ten opzichte van de Chain-of-Thought (CoT) prompting (gelezen uit logits) smal en alleen statistisch significant voor één van de vijf modellen. Ondanks deze kleine marge bleef de win-rate van de probe voor elk model hoger dan die van CoT.
• Token Readout: Wanneer de letterlijke geschreven conclusie werd afgelezen, slaagden de modellen er niet in om de paren te onderscheiden in 72–97% van de gevallen, waarbij ze hetzelfde woord toekenden aan zowel de kwetsbare als de gerepareerde functie.

2. Generalisatie naar ongeziene zwakheidstypen

De probes, getraind op slechts vier specifieke CWE's, generaliseerden succesvol naar 234 CVE's met geheel andere zwakheidstypen. Dit suggereert dat de probes een generaliseerbaar "code-security signaal" vangen in plaats van specifieke kwetsbaarheidspatronen te memoriseren.

3. Interne Staat vs. Gestelde Output

De studie bevestigt een kloof tussen de representatie van een model en de gegenereerde tekst. Terwijl het gestelde antwoord van het model (token) vaak instort tot een gelijkspel, behoudt de interne waarschijnlijkheid (logits) en de activatieprobe een signaal dat in staat is tot het rangschikken van risico's. De probe "oppervlakt" effectief een beveiligingssignaal dat het eigen outputmechanisme van het model wegwerpt.

4. In-Distribution Performance

Op de trainingsdistributie (SVEN-Python) behaalden de probes een AUC van 0,77–0,85 en een nauwkeurigheid van 0,72–0,77 bij een drempelwaarde van 0,5, wat de geprompte modellen (nauwkeurigheid ~0,50) aanzienlijk overtreft.

Betekenis en Claims

Het artikel claimt dat modelactivaties een code-beveiligingssignaal dragen dat prompting van hetzelfde model mist.

• Schaalbare Review: De bevindingen wijzen op een pad voor zelf-gehoste beveiligingscontroles waarbij een open-weight model als reviewer fungeert. Door de verborgen toestanden van deze reviewer te lezen via een lineaire probe, kunnen teams wijzigingen markeren die een menselijke herziening verdienen, zonder toegang nodig te hebben tot de interne werking van de closed-weight coderingsagent die de code genereerde.
• Superieur aan Prompting: De probe presteert beter dan de no-shot en few-shot promptingstrategieën van hetzelfde model op ongeziene kwetsbaarheden. Hoewel de probe ook de Chain-of-Thought (CoT) prompting overtreft in termen van win-rate over alle modellen, is het voordeel ten opzichte van CoT smal en niet altijd statistisch significant. De duidelijke kloof blijft echter bestaan ten opzichte van no-shot en few-shot prompting.
• Bescheiden maar Robuust: De auteur karakteriseert het effect als "bescheiden" (win-rates in de lage 60's) maar consistent over architecturen en zwakheidstypen. Er wordt expliciet gesteld dat het integreren van de probe in een 'post-write hook' van een coderingsagent en het kalibreren ervan voor absolute drempelwaarden noodzakelijke vervolgstappen zijn voor implementatie.

Het werk breidt eerder onderzoek naar lineaire probes voor veiligheid en kwetsbaarheidsdetectie uit door de overdraagbaarheid naar ongeziene zwakheidstypen en real-world CVE's aan te tonen, en door de prestaties van de probe direct te vergelijken met de redeneervermogens van de geprompte output van hetzelfde model.