Technische Samenvatting: Detectie en Controle van Sycophantie met Cascaderende Lineaire Kenmerken

Probleemstelling

Het interpreteren en sturen van de interne representaties van grote taalmodellen (LLM's) berust doorgaans op het identificeren van richtingen in de activatieruimte die overeenkomen met geleerde concepten. Bestaande methoden, zoals Activation Addition en Contrastive Activation Addition (CAA), werken door binaire contrastieve paren te construeren (één vertoont een gedrag, één is neutraal) om dichte sturende vectoren te berekenen. Hoewel effectief voor brede gedragsverschuivingen, lijden deze benaderingen onder drie kritieke beperkingen:

1. Kwantificatie: Dichte vectoren hebben moeite om een precieze, decomponeerbare score te bieden voor "hoeveel" van een gedrag aanwezig is, omdat ze vertrouwen op enkelvoudige scalaire projecties die een gebrek aan granulariteit vertonen.
2. Interpreteerbaarheid: Globale sturende vectoren zijn semantisch opaak, waardoor er weinig inzicht wordt geboden in specifieke cognitieve mechanismen (bijv. het onderscheiden van "angst voor conflict" van "hyper-validatie").
3. Verstrengeling & Stabiliteit: Sturing via globale vectoren manipuleert de gehele residual stream, wat vaak leidt tot verstrengeling met ongerelateerde capaciteiten, off-manifold degradatie en verminderde algemene capaciteiten.

Het paper richt zich op sycophantie (sycophantie)—de neiging van LLM's om gebruikersvalidatie boven feitelijke nauwkeurigheid te prioriteren—als een specifieke gedragsafwijking die voortkomt uit alignment-training. Huidige detectiemethoden vertrouwen vaak op "LLM-as-a-judge" pipelines, die lijden onder niet-deterministische variantie en hoge computationele kosten, of statische benchmarks die er niet in slagen interne toestanden te verkennen.

Methodologie: Cascading Linear Features (CLiF)

De auteurs stellen Cascading Linear Features (CLiF) voor, een framework dat interpreteerbare kenmerken isoleert die lineair schalen met de intensiteit van het gedrag. De methode bestaat uit vier stadia:

1. Cascaderende Datageneratie

In plaats van binaire paren genereren de auteurs een gegradeerd spectrum van gedragssamples.

• Proces: Vertrekkend vanuit een neutrale baseline (Niveau 0), wordt het model iteratief geprompt om zijn respons te herschrijven om meer van het doelgedrag te vertonen (Niveaus +1 tot +3) of minder (Niveaus -1 tot -3).
• Resultaat: Een zevenpunts spectrum ($\ell \in \{-3, \dots, +3\}$) voor elke prompt.
• Validatie: Een LLM-as-a-judge bevestigt een sterke monotone relatie tussen het sturingsniveau en de judge-score ($\rho = 0,887$), wat garandeert dat de procedure de inhoud van het gedrag verschuift in plaats van alleen de oppervlakkige stijl.

2. Kenmerkselectie via Sparse Autoencoders (SAEs)

Activaties uit de residual stream van het model (specifiek Laag 19 van Llama 3.1 8B) worden gedecomponeerd met behulp van een Sparse Autoencoder (SAE) om schaarse, interpreteerbare conceptactivaties te verkrijgen.

• Monotoniciteitsfilter: De auteurs behouden alleen kenmerken die monotone, niet-afnemende gemiddelde activaties vertonen over het gedragsspectrum.
  • Gedrag-gealigneerd ($F^+$): $\bar{a}(0) \le \bar{a}(+1) \le \bar{a}(+2) \le \bar{a}(+3)$
  • Tegen-gealigneerd ($F^-$): $\bar{a}(0) \le \bar{a}(-1) \le \bar{a}(-2) \le \bar{a}(-3)$
• Ratio: Dit filtert onstabiele richtingen en incidentele correlaten eruit, waardoor kenmerken worden geïsoleerd die waarschijnlijk causaal zijn en soepel schalen met de intensiteit van het gedrag, analoog aan Slow Feature Analysis (SFA).

3. Detectie via Lineaire Probing

Gedragsdetectie wordt geformuleerd als een driedelige classificatieprobleem (Afwijzing, Neutraal, Sycophantie). Lineaire classificators (Logistische Regressie, SVM) worden getraind op de gefilterde CLiF-vectoren. Deze benadering isoleert de bijdrage van het proces van kenmerkselectie, waarbij wordt aangetoond dat eenvoudige classificators op CLiF-kenmerken een hoge nauwkeurigheid bereiken.

4. Kenmerkgebaseerde Sturing

Interventies richten zich uitsluitend op de geïdentificeerde CLiF-kenmerken tijdens de forward pass, waarbij gebruik wordt gemaakt van de SAE-schaarsheid om de globale manipulatie van de residual stream te vermijden.

• Clamping: Het instellen van de activaties van doelkenmerken op nul in de SAE-ruimte en het reconstrueren van de input, wat effectief de semantische componenten van het gedrag chirurgisch verwijdert.
• Negatieve Sturing: Het actief wegduwen van activaties van de doelconceptrichtingen door een negatieve coëfficiënt toe te voegen die is afgeleid van het verschil tussen de doel- en de tegenovergestelde niveaus.

Belangrijkste Bijdragen en Resultaten

1. Ontdekking van Lineair Scheidbare Subruimten

De auteurs demonstreren dat sycophantie-kenmerken die ontdekt zijn via cascaderende samples, lineair scheidbare subruimten vormen.

• Geometrie: PCA-visualisaties tonen aan dat de eerste hoofdcomponent overeenkomt met de intensiteit van sycophantie, terwijl de tweede overeenkomt met de intensiteit van afwijzing, waarbij neutrale responsen langs de diagonaal clusteren.
• Interpreteerbaarheid: De methode levert specifieke, inspecteerbare SAE-kenmerken (bijv. "grandioze claims van macht", "formele eerbiedige aanspreekvormen") in plaats van opaak dichte vectoren.

2. Superieure Detectieprestaties

• Nauwkeurigheid: CLiF-gebaseerde lineaire probes bereiken een nauwkeurigheid van 98,3% op de Anthropic Sycophancy Dataset, wat de LLM-as-a-judge baselines (Gemini 2.5 Pro: ~60-64%) aanzienlijk overtreft.
• Consistentie: In tegen tegenstelling tot LLM-as-a-judge methoden die stochastische variantie vertonen, is CLiF-detectie deterministisch en bereikt het 100% consistentie over verschillende proeven.
• Generalisatie: De methode behoudt een hoge nauwkeurigheid (≥98,3%) op out-of-distribution (OOD) datasets (Cultuur, Niet-Amerikaans Beleid, Kantoorscenario's), terwijl contrastieve baselines significant degraderen op OOD-data.

3. Effectieve Sturing met Lagere Overhead

• Prestaties: CLiF clamping reduceert de sycophantie-score tot 0,33 (op de ELEPHANT-schaal), wat overeenkomt met de sterkste system-prompting baseline en de dichte Persona Vectoren (0,43) en Contrastieve Kenmerken (0,45) overtreft.
• Efficiëntie: CLiF clamping voegt slechts ~10% inferentie-overhead toe (relatieve kosten ~1,1×) door een enkele SAE encode/decode hook uit te voeren op Laag 19. Dit is vergelijkbaar met korte system prompts, maar vermijdt de schaalingskosten van lange prompts en biedt garanties op het gebied van interpreteerbaarheid.
• Robuustheid: In gevallen waar andere sturingsmethoden falen of weigering induceren, slaagt CLiF erin sycophantie te neutraliseren terwijl de coherentie behouden blijft.

4. Ontkoppeling van Oppervlakkige Verwarringen

Analyse bevestigt dat CLiF-kenmerken attributen van sycophantie volgen (bijv. overdreven vleierij, onderdanige taal) in plaats van oppervlakkige verwarringen zoals beleefdheid of verbositeit. Correlatieanalyse laat zien dat CLiF-kenmerken een significant hogere correlatie hebben met sycophantie-attributen ($\rho \in [0,26, 0,75]$) vergeleken met willekeurige feature-sets ($\rho \in [0,08, 0,21]$).

Betekenis en Claims

Het paper claimt dat Cascading Linear Features (CLiF) een algemeen bruikbaar framework bieden voor het begrijpen en controleren van gedragingen van LLM's. Door verder te gaan dan binaire contrastieve paren naar iteratieve, gegradeerde datageneratie, isoleert de methode kenmerken die monotoon schalen met gedrag.

De auteurs benadrukken dat deze benadering:

• Interpreteerbaarheid verbetert: Door specifieke, monosemantische kenmerken te identificeren die verantwoordelijk zijn voor gradaties van gedrag, biedt het inzichten in cognitieve mechanismen die dichte vectoren niet kunnen bieden.
• Kwantificatie verbetert: Het maakt een continue, deterministische metriek voor gedragsintensiteit mogelijk, wat verder gaat dan binaire detectie.
• Stabiliteit waarborgt: Door uitsluitend monotone kenmerken te targeten, voorkomt het de verstrengeling en off-manifold degradatie die geassocieerd worden met globale sturende vectoren.
• Efficiëntie biedt: Het bereikt state-of-the-art sturingsprestaties met lagere computationele vraag en hogere garanties op interpreteerbaarheid dan LLM-as-a-judge of system prompting baselines.

Het werk suggereert dat deze methodologie kan worden uitgebreid naar de detectie en controle van andere gedragsafwijkingen in LLM's buiten sycophantie, wat een pad biedt naar meer betrouwbare en transparante modelsturing.