Technische Samenvatting: Conceptoren voor Semantische Sturing

Probleemstelling

Op activatie gebaseerde sturingsmethoden beogen het gedrag van Large Language Models (LLM's) tijdens inferentie te sturen zonder hertraining. Het dominante paradigma representeert semantische concepten als enkele vectoren (bijvoorbeeld via Activatie-Additie of Contrastieve Activatie-Additie), waarbij een richting van gemiddelde-differentie in de verborgen toestanden wordt ingebracht. Deze aanpak lijdt aan twee fundamentele beperkingen:

1. Geometrisch Reductionisme: Semantische concepten (bijvoorbeeld sentiment, politieke voorkeur) bezetten vaak multidimensionale deelruimten binnen de activatieruimte van het model. Het reduceren hiervan tot een enkele vector gooit de residuale structuur en context weg, wat potentieel leidt tot verlies van vloeiendheid of degenererende output.
2. Toezicht-Overhead: Het selecteren van de optimale laag voor interventie vereist doorgaans het trainen van proefklassificatoren in elke laag, een kostbaar toezichtproces dat schaalt met de modeldiepte en het aantal concepten.

Methodologie

De auteurs stellen het gebruik voor van Conceptoren, zachte projectiematrices die oorspronkelijk zijn ontwikkeld voor recurrente neurale netwerken (Jaeger, 2024), hier aangepast voor op transformer gebaseerde LLM's.

Kernmechanisme

Gegeven een set activatievectoren $\{x_1, \dots, x_N\}$ geassocieerd met een concept, wordt een conceptor-matrix $C$ gedefinieerd als de oplossing voor een geregulariseerd reconstructieprobleem:
$$C = R(R + \alpha^{-2}I)^{-1}$$
waarbij $R$ de steekproefcorrelatiematrix van de activaties is en $\alpha$ een apertuurparameter. In de eigenbasis van $R$ fungeert $C$ als een zachte gating-mechanisme, dat richtingen dempt op basis van hun signaalenergie. Richtingen met hoge energie worden behouden, terwijl ruis met lage energie wordt onderdrukt.

Belangrijke Ontwerpkeuzes

• Bipolaire Training: In tegenstelling tot eerdere unipolaire methoden die sturen naar één pool (bijvoorbeeld "positief" sentiment), bundelt deze aanpak activaties van beide polen van een bipolair concept (bijvoorbeeld positief en negatief sentiment) in één correlatiematrix. Dit vangt de volledige deelruimte tussen de polen, in plaats van alleen de differentievectoren.
• Laagselectie via Conceptor Quota: Om toezicht via proefklassificatoren te vermijden, maken de auteurs gebruik van de conceptor quota $q(C) = \frac{1}{d}\text{tr}(C)$, een parameterloze maatstaf die de zachte effectieve dimensionaliteit van de concept-deelruimte vertegenwoordigt. Hoge quotawaarden correleren met lagen waar het concept goed gescheiden is.
• Booleaanse Compositie: Conceptoren ondersteunen gesloten-form Booleaanse algebra (EN, OF, NIET) direct op de matrices, waardoor het combineren van sturing mogelijk is zonder toegang tot de oorspronkelijke activatiegegevens.
  • NIET: $\neg C = I - C$ (onderdrukt een concept).
  • EN: $C_A \land C_B = (C_A^{-1} + C_B^{-1} - I)^{-1}$ (behoudt alleen deelruimterichtingen die gedeeld worden).

Belangrijkste Bijdragen

1. Geometrische Karakterisering: De auteurs tonen aan dat bipolaire deelruimten strikt de baselines met enkele vectoren omvatten, waarbij $\ge 95\%$ van de door eerdere methoden gebruikte gemiddelde-differentierichting wordt vastgelegd, terwijl extra multidimensionale structuur behouden blijft.
2. Parameterloze Diagnostiek: De conceptor quota blijkt concept-scheidbaarheid (gemeten via probe AUC) te voorspellen met Pearson-correlaties tot $r=0,96$ over drie instructie-gefine-tuned modellen (Gemma-2-2B-IT, Gemma-2-9B-IT, Qwen-2.5-3B-Instruct) en drie semantische dimensies, en presteert beter dan traditionele op variantie gebaseerde maatstaven.
3. Compositie-analyse: Het artikel stelt vast dat Booleaanse compositie wordt gedicteerd door overlap van deelruimten.
   • NIET is effectief zelfs bij lage overlap (bijvoorbeeld het scheiden van politieke voorkeur van sentiment).
   • EN vereist thematische verwantschap en aanzienlijke overlap van deelruimten (bijvoorbeeld standpunt over abortus en LGBTQ-rechten) om zinvolle gezamenlijke sturing te produceren.
4. Robuustheid en Veiligheid: Een systematische evaluatie van het ontwerpruimte op vijf assen (plaatsing, token-bereik, combinatieregel, trainingsbron, autoregressieve modus) onthult dat conceptorsturing aanzienlijk minder degenererende output produceert (13% versus 58% voor additieve baselines), terwijl het de win-ratio's van additieve methoden evenaart of overtreft.

Experimentele Resultaten

De evaluatie beslaat drie modellen en drie concepten (sentiment, politieke voorkeur, depressie).

• Prestaties: Conceptoren bereiken win-ratio's van 0,70–0,82 op sentimenttaken, wat significant beter is dan additieve baselines (0,50–0,62). Het voordeel is het meest uitgesproken in lagen waar concept-deelruimten multidimensionaal zijn.
• Degeneratie: Additieve methoden produceren vaak repetitieve of oncoherent tekst (degenererende output). Conceptor-interpolatie verlaagt dit percentage tot 13%, wat suggereert dat conceptoren sturen binnen het natuurlijke activatiemanifold van het model in plaats van toestanden uit de verdeling te duwen.
• Compositie:
  • In scenario's met lage overlap (Politiek $\times$ Sentiment, overlap $\approx 0,19$), isoleert de EN-NIET-operatie succesvol één concept (bijvoorbeeld sentiment) terwijl het andere wordt onderdrukt, waardoor de selectiviteit wordt verscherpt.
  • In scenario's met hoge overlap (Abortus $\times$ LGBTQ, overlap $\approx 0,50$), activeert de EN-operatie succesvol beide concepten gelijktijdig, een mogelijkheid die niet haalbaar is met methoden op basis van enkele vectoren.
• Generalisatie: De methode generaliseert naar grotere, buiten het trainingsproces gehouden testsets (500 prompts) en behoudt robuustheid tegenover adversarial prompting (bijvoorbeeld expliciete rechtsgeoriënteerde systeem-instructies).

Betekenis en Claims

Het artikel claimt dat conceptorsturing een geometrisch onderbouwde, compositie-vaardige en praktisch veiligere alternatief biedt voor sturing in één richting. Door de volledige multidimensionale deelruimte van een concept te behouden, vermijden conceptoren het informatieverlies dat inherent is aan vector-subtractie. Het vermogen om Booleaanse operaties uit te voeren zonder hertraining of toegang tot oorspronkelijke data, maakt complexe, meervoudige conceptcontrole mogelijk (bijvoorbeeld "wees politiek maar niet partijdig"), wat eerder moeilijk te bereiken was.

De auteurs positioneren dit werk als een stap richting alignement tijdens inferentie, waarbij schadelijke concepten kunnen worden onderdrukt (via NIET) terwijl doelcapaciteiten behouden blijven, waardoor compositieve veiligheid verschuift van prompt-engineering naar routine algebraïsche operaties. Zij merken expliciet op dat de methode is geëvalueerd op kleinere modellen (tot 9 miljard parameters) en dat schaling naar modellen ter grootte van productiesystemen een toekomstige richting blijft, hoewel de onderliggende geometrie volgens de auteurs architectuur-onafhankelijk is.

Erkende Beperkingen:

• De evaluatie is beperkt tot drie modellen en drie semantische concepten.
• Hoge sturingssterktes kunnen nog steeds leiden tot resterende oncoherentie.
• Compositie-experimenten zijn momenteel beperkt tot twee conceptparen.
• De methode is afhankelijk van geautomatiseerde klassificatoren voor scoring, wat bias kan introduceren.
• Ethische overwegingen met betrekking tot het potentieel om bias te versterken of framing te manipuleren worden expliciet aangekaart, waarbij het werk wordt gepresenteerd als een analyse van controleerbaarheid in plaats van een overtuigingsmiddel.