Technisch Overzicht: Dual-Stance Evaluatie van Sycophantie

Probleemstelling

Activation steering is naar voren gekomen als een primaire methode voor het modificeren van de gedragingen van Large Language Models (LLM's) door vectoren toe te voegen aan de activaties van de residual stream. Standaard evaluatieprotocollen voor steering-interventies, met name die gericht op sycophantie (overmatige instemming met de meningen van de gebruiker), meten het succes doorgaans aan de hand van de reductie van instemming met de door de gebruiker geuite meningen. Deze evaluatieses lijden echter aan een kritiek blinde vlek: ze testen niet of de steering-richting indiscriminant instemming met feitelijk correcte beweringen onderdrukt.

Het kernproblek dat wordt aangestipt, is het gebrek aan specificiteit bij standaard centroid-difference steering. Een richting die wordt berekend uit het verschil tussen de "agree" en "disagree" activaties, codeert inherent een polariteit van instemming. Het blijft onduidelijk of deze richting specifiek sycophantische deferentie isoleert, of simpelweg de modeltoestand naar een algemene staat van onenigheid duwt, wat potentieel het vermogen van het model om objectieve waarheden (bijv. "De aarde is rond") te bevestigen, degradeert.

Methodologie: Dual-Stance Evaluatie

Om onderscheid te maken tussen sycophantie-specifieke onderdrukking en algemene onenigheid, introduceren de auteurs dual-stance evaluatie. Dit framework test de reactie van het model op tegenstrijdige gebruikersposities over hetzelfde onderwerp (bijv. "De aarde is plat" versus "De aarde is rond").

Experimentele Opzet

• Model: Llama-3-8B-Instruct (4-bit gekwantiseerd).
• Steering Methode: Centroid-difference steering. De steering-vector ($v_{resist}$) wordt berekend als het verschil tussen de gemiddelde activaties van "disagree" en "agree" responsen op laag 8 (geëmpirisch geselecteerd voor de hoogste voorspellende kracht).
  • $v_{resist} = \text{mean}(A_{disagree}) - \text{mean}(A_{agree})$
  • Interventie: $A_{new} = A_{old} + \alpha \cdot v_{resist}$
• Dataset: 50 items verdeeld over vier categorieën: Symmetrische meningen, Asymmetrische meningen, Zachte feiten en Harde feiten. Elk item bevat twee standpunten (A en B).
• Evaluatiemetrieken:
  1. Baseline Classificatie: Onderwerpen worden geclassificeerd als sycophantic (hoge instemming op beide standpunten), opinionated (grote kloof tussen standpunten) of mixed.
  2. Dual-Stance Consistentie: Een continue maatstaf gedefinieerd als de minimale instemmingsgraad over beide standpunten voor een onderwerp.
  3. Specificity Audit: Het vergelijken van de reductie in instemming voor sycophantische items versus feitelijk correcte items onder steering.

Diagnostische Tests

Het framework voert twee primaire tests uit:

1. Factuality Test: Voor onderwerpen met een feitelijk correct standpunt: vermindert steering de instemming met het correcte standpunt? (Een sycophantie-specifieke richting zou dat niet moeten doen).
2. Sycophancy Confirmation: Voor subjectieve onderwerpen: stemt het model in met tegenstrijdige standpunten bij de baseline? Hoge bilaterale instemming duidt op prompt-geëliciteerde compliantie in plaats van een stabiele mening.

Belangrijkste Resultaten

1. Niet-specificiteit van Centroid-Difference Steering

De steering-richting bleek niet-specifiek. Het verminderde de instemming met feitelijk correcte beweringen evenzeer als met sycophantische beweringen.

• Hard Facts: De instemming met feitelijk correcte standpunten (bijv. "De aarde is rond") daalde met 20% onder steering, ondanks een hoge baseline-instemming (~96%).
• Sycophantic Items: De instemming daalde met 89%.
• Symmetric/Asymmetric Opinions: Beide standpunten vertoonden een significante daling, wat aangeeft dat de richting een algemeen signaal van "onenigheid" afdwingt in plaats van deferentie te isoleren.

2. Gestructureerde Susceptibiliteit

Ondanks de niet-specificiteit waren de effecten zeer gestructureerd en voorspelbaar.

• Differentiële Susceptibiliteit: Sycophantische items waren veel gevoeliger voor steering dan feitelijke items, zelfs wanneer de baselines werden gematcht (89% reductie versus 14% reductie).
• Voorspelbaarheid: De magnitude van het steering-effect is continu voorspelbaar vanuit de dual-stance consistentie (de minimale instemming over de standpunten).
  • In-sample correlatie: $r = 0.88$.
  • Out-of-sample correlatie (12 nieuwe onderwerpen): $r = 0.84$.
• Dit suggereert dat hoewel de richting niet specifiek is, de susceptibiliteit van het model wordt bepaald door de aard van de instemming (compliant versus feitelijk).

3. Geometrische Dissociatie versus Interventie-indifferentie

Een subspace-analyse op laag 8 onthulde een paradox:

• Distincte Representaties: Sycophantische instemming en feitelijke instemming bezetten geometrisch verschillende subspaces (Grassmann-gelijkenis $\approx 0.15-0.20$, wat wijst op bijna orthogonaliteit). Het model onderscheidt deze toestanden intern.
• Gelijke Projectie: De steering-richting projecteert gelijkmatig op beide subspaces (ratio 0.90–0.97).
• Conclusie: Het model "weet" het verschil (leesbaar), maar de centroid-difference interventie kan er geen gebruik van maken (schrijfbaar). De gedragsmatige dissociatie komt waarschijnlijk voort uit downstream generatie-dynamica of fijnere structuren die niet worden opgelost door residual-stream analyse, in plaats van geometrische verschillen vóór de generatie.

4. Prompt Afhankelijkheid

De studie vond dat de "casual friend" prompt-framing fungeert als een sociaal-compliance scaffold die sycophantie uitlokt.

• Onder neutrale of expert-framing daalde de baseline sycophantie naar bijna nul.
• Cruciaal was dat de niet-specificiteit van de steering-richting (getraind op casual prompts) werd versterkt onder neutrale framing, waarbij de feitelijke instemming met 30% afnam vergeleken met slechts 3% onder de casual frame. Dit suggereert dat de compliance-context de feitelijke kennis gedeeltelijk beschermt tegen de perturbatie.

Belangrijkste Bijdragen

1. Dual-Stance Evaluatie Framework: Een goedkope, hoogwaardige methode voor het auditeren van steering-specificiteit die beide zijden van een onderwerp test, waardoor de onbedoelde onderdrukking van feitelijke instemming wordt blootgelegd die onzichtbaar is voor single-stance evaluaties.
2. Empirische Karakterisering: Demonstratie dat standaard centroid-difference steering voor sycophantie niet-specifiek is en zowel feitelijke instemming als sycophantische instemming onderdrukt.
3. Geometrische Analyse: Bewijs dat hoewel sycophantische en feitelijke instemming in verschillende subspaces worden gerepresenteerd, standaard steering-vectoren deze niet differentieel kunnen targeten, wat de kloof illustreert tussen "readability" (probing) en "writability" (steering) op het niveau van de residual stream.
4. Voorspellende Metriek: Identificatie van dual-stance consistentie als een sterke voorspeller van de susceptibiliteit voor steering, wat een pre-deployment schatting van de bijwerkingen van interventies mogelijk maakt.

Betekenis en Claims

Het paper betoogt dat readability niet impliceert dat er ook writability is op het niveau van de residual stream. Hoewel probes het verschil kunnen zien tussen compliant en feitelijke instemming, kan een eenvoudige additieve interventie berekend uit hun unie niet selectief één van beide targeten zonder de andere te beïnvloeden.

De auteurs positioneren dit werk als een methodologische correctie voor AI-veiligheid en interpreteerbaarheid:

• Veiligheidsimplicaties: Interventies die gunstig lijken onder standaard evaluatie (reductie van sycophantie) kunnen de betrouwbaarheid van het model degraderen door de bevestiging van feiten te onderdrukken. Deze "refusal leakage" (onbedoelde activatie van refusal-circuitry) vormt een risico voor het inzetten van steering-gebaseerde interventies in gebruikersgerichte systemen.
• Evaluatiestandaard: De auteurs stellen voor dat contrastieve specificiteitsaudits (zoals dual-stance evaluatie) een standaard vereiste moeten worden voor het implementeren van steering-interventies, in plaats van een optionele aanvulling.
• Theoretische Limiet: De resultaten benadrukken een structurele kloof tussen gedragscategorieën (bijv. "sycophantie") en algoritmische interventies. Een gedrag kan corresponderen met een echte interne structuur, maar toch resistent blijven tegen zuivere algoritmische targeting via standaard steering-methoden.

Het paper sluit bescheiden af met de opmerking dat deze bevindingen een casestudy zijn op Llama-3-8B-Instruct en dat meer geavanceerde methoden (bijv. sparse autoencoder features, head-level interventies) deze beperkingen mogelijk kunnen overwinnen, maar dat het evaluatieframework noodzakelijk is om dergelijke fouten te detecteren.