Technische Samenvatting: Druktesten van Bedrogprobes in LLM's

Probleemstelling

Lineaire probes die zijn getraind op de interne activeringen van Large Language Models (LLM's), hebben zich ontwikkeld tot een primaire methode voor het detecteren van bedrieglijke generatie. Ze bieden geautomatiseerde metrieken die scoren of de output van een model bedrieglijk is, zonder dat er grondwaarheidlabels nodig zijn. Hoewel deze probes bijna perfecte AUROC-scores rapporteren (vaak >0,96) op schone benchmarks, vertonen ze een grote fragiliteit onder distributieverplaatsingen, zoals stijlveranderingen of adversariale suffixen. Deze "kloof in probe-fragiliteit" roept kritieke vragen op: Is het falen te wijten aan een fundamentele architecturale beperking waarbij bedrog niet lineair representeerbaar is, of is het een methodologisch artefact van smalle trainingsdistributies? Bovendien is het nog onduidelijk of bedrog is gecodeerd als een enkele lineaire richting, een multidimensionale deelruimte, een convexe kegelomhulling, of slechts als een proxy voor computationele entropie.

Methodologie

Deze studie presenteert een systematische druktest van bedrogprobes over de Gemma 3-modelfamilie (1B, 4B, 12B en 27B parameters), geselecteerd vanwege hun architecturale homogeniteit om schalingseffecten te isoleren. Het onderzoeksontwerp omvat vier concurrerende hypothesen over de geometrie van bedrog, elk met vooraf geregistreerde, falsifieerbare voorspellingen:

1. H-LIN (Lineaire Richting): Bedrog is gecodeerd in een enkele eenheidsvector.
2. H-SUB (Deelruimte): Bedrog bezet een multidimensionale symmetrische lineaire deelruimte.
3. H-CONE (Kegelomhulling): Bedrog vormt een asymmetrische convexe kegel.
4. H-ENT (Entropie-proxy): Probes detecteren computationele entropie in plaats van bedrogintentie.

Experimenteel Ontwerp:

• Datasets: Drie primaire datasets werden geconstrueerd met behulp van manipulatie van systeemprompts om eerlijke versus bedrieglijke toestanden te induceren: D-RepE (contrastieve feitelijke vragen), D-Role (rollenspelscenario's) en D-MASK (overtuigingscontradicties).
• Probe-training: Logistische regressieprobes werden getraind op activeringen van de residustroom bij het laatste token. Experimenten omvatten eenrichtingsprobes, multidimensionale probes (met behulp van top-$k$ PCA-componenten) en niet-lineaire MLP-bovenlimieten.
• Robuustheidstesten: Probes werden geëvalueerd onder 8 orthogonale stijlverplaatsingen (bijv. piraat, Shakespeare, robotisch) om distributieve robuustheid te testen.
• Augmentatie: Om onderscheid te maken tussen fundamentele beperkingen en trainingsartefacten, werden "stijl-augmenteerde" probes getraind op data die schone voorbeelden combineerde met vier van de acht stijlverplaatsingen, en vervolgens geëvalueerd op achtergehouden stijlen.
• Geometrische Decompositie: Transfervectoren over domeinen heen en decomposities van laag-mismatch werden gebruikt om te bepalen of transferfalen werd veroorzaakt door laagmisalignering of geometrische disjunctie. Entropie-residualisatietesten werden uitgevoerd om entropie te isoleren van bedrogsignalen.

Belangrijkste Resultaten

1. Verwerping van de Eenrichtingshypothese (H-LIN)

In tegenstelling tot de aanname dat bedrog op een enkele lineaire as ligt, vingen eenrichtingsprobes ($k=1$) slechts 61–80% van het bedrogsignaal op (AUROC 0,61–0,80) over alle modelschalen heen. Multidimensionale probes ($k \ge 5$) waren vereist om bijna perfecte detectie te herstellen (AUROC >0,90). Bovendien toonde de analyse van transfer over domeinen heen aan dat bedrogtypes geometrisch steeds meer disjunct worden naarmate de modelschaal toeneemt. Een probe die bijvoorbeeld was getraind op D-MASK-data, presteerde onder het toevalsniveau (AUROC 0,298) wanneer deze werd toegepast op D-RepE-data in het 27B-model, wat wijst op actieve anti-correlatie in plaats van eenvoudige misalignering.

2. Zwakke Ondersteuning voor een Coherente Deelruimte (H-SUB)

Hoewel multidimensionale probes de prestaties verbeterden, toonde Per-Domain PCA-analyse met permutatie-null-baselines aan dat er geen statistisch significante deelruimte bestaat ($k^*=0$) binnen individuele domeinen of over samengevoegde data. Het voordeel van multidimensionale probes komt voort uit het aggregeren van vele gedistribueerde, individueel sub-drempelwaardige kenmerken in plaats van het vangen van een coherente, hoog-variatie deelruimte.

3. Verwerping van de Entropie-proxy Hypothese (H-ENT)

De hypothese dat probes computationele entropie detecteren, werd beslist verworpen. De maximale correlatie tussen probescores en token-entropie was $|\rho| = 0,454$, ruim onder de 0,8-drempel. Bovendien resulteerde het residualiseren van entropie uit activeringen in een verwaarloosbare daling van de AUROC ($\Delta = 0,004$), wat bevestigt dat probes bedrogrelevante signalen detecteren die verschillend zijn van cognitieve belasting of entropie.

4. Fragiliteit als Trainingsartefact, Niet als Architecturale Beperking

Onder standaardtraining (alleen schone data) volgde de robuustheid van probes een omgekeerde-U-patroon over de schalen: 1B (0,652) $\to$ 4B (0,759) $\to$ 12B (0,609) $\to$ 27B (0,485). Het 27B-model, ondanks zijn capaciteit, stortte in tot toevalsniveaus onder stijlverplaatsingen, omdat de superieure instructie-opvolgingsnauwkeurigheid de smalle stijlsignalen overschreef die de probe had geleerd.

Echter, stijl-augmenteerde training loste deze fragiliteit op. Probes die waren getraind op diverse stijldata, herstelden bijna perfecte detectie op onbekende stijlen voor zowel het 4B- (AUROC 0,979) als het 27B-model (AUROC 0,983). Dit toont aan dat de residustroom bedrogrelevante signalen bevat die gescheiden zijn van stijlcorrelaten, en dat de waargenomen "inverse schaling" van robuustheid een gevolg is van de smalle trainingsdistributie, en niet van een fundamenteel schaalafhankelijk fenomeen.

5. Aard van het Gedetecteerde Signaal

Gestratificeerde analyse toonde aan dat probes het "bedrieglijke promptregime" detecteren (de interne toestand die wordt geïnduceerd door een bedrieglijke systeemprompt) in plaats van het succes van het bedrog zelf. Probes behaalden identieke AUROC-scores (0,998–1,000) voor voorbeelden waarbij het model succesvol loog en voorbeelden waarbij het niet slaagde in het liegen (het juiste antwoord produceren ondanks de prompt).

Betekenis en Claims

Het artikel claimt dat de fragiliteit van bedrogprobes primair een methodologische uitdaging is in plaats van een architecturale onmogelijkheid. De belangrijkste bijdragen zijn:

• Geometrische Karakterisering: Bedrog is geen enkele lineaire richting, maar een gedistribueerde set van zwakke, sub-drempelwaardige kenmerken die multidimensionale aggregatie vereisen. Deze kenmerken zijn domeinspecifiek en worden met de schaal steeds meer disjunct.
• Oplossing van de Fragiliteitskloof: Het instorten van probes onder distributieverplaatsing is geen inherente beperking van grotere modellen. Door trainingsdata aan te vullen met stijldiversiteit, kunnen probes robuuste, bijna perfecte detectie over schalen heen bereiken, waardoor het waargenomen "inverse schalings"patroon bij standaardtraining effectief wordt geneutraliseerd.
• Diagnostisch Kader: De studie biedt een rigoureus kader voor het onderscheiden tussen representatieve beperkingen en trainingsartefacten, verwerpt de entropie-proxy-hypothese en verduidelijkt de geometrische aard van bedrieglijke representaties.

De auteurs concluderen dat hoewel huidige probes gemakkelijk worden ontweken door triviale stijlverplaatsingen, het onderliggende signaal robuust en leerbaar is. De weg vooruit voor betrouwbare bedrogmonitoring ligt in trainingsmethodologieën die distributieve diversiteit waarborgen, in plaats van uit te gaan van een vaste, eenvoudige geometrische structuur voor bedrog.