Technische Samenvatting: Gestuurde Generatie via Gradienten-gebaseerde Optimalisatie op Sparse Query-kenmerken

1. Probleemstelling

De implementatie van Large Language Models (LLMs) in real-world scenario's vereist nauwkeurige naleving van door de gebruiker gedefinieerde beperkingen met betrekking tot stijl, veiligheid en logische consistentie. Hoewel prompt engineering een veelvoorkomende strategie is, blijkt deze vaak inefficiënt voor complexe beperkingen, met name bij kleinere open-source modellen, omdat instructies kunnen verdunnen binnen lange contexten of buitensporige in-context leerdemonstraties vereisen die hoge rekenkosten met zich meebrengen.

Bestaande methoden voor sturing in de latente ruimte (activatie-engineering) interveniëren direct in interne modelactivaties met behulp van statische stuurvectoren. Deze methoden opereren echter doorgaans op dichte activatieruimten (bijvoorbeeld de residustroom), die lijden onder de "superpositie-hypothese", waarbij distincte semantische kenmerken verstrengeld zijn. Interventies in deze dichte ruimten kunnen context overschrijven, onbedoelde neveneffecten veroorzaken en missen de precisie die nodig is voor harde beperkingen (bijvoorbeeld logische geldigheid) of genuanceerde stijlcontrole.

2. Methodologie

De auteurs stellen Prototype-gebaseerde Sparse Steering voor, een raamwerk dat Sparse Autoencoders (SAEs) combineert met gradienten-gebaseerde optimalisatie om generatie tijdens inferentie te sturen. De kernhypothese is dat attention query-activaties dienen als een hoog-trouwe besturingsoppervlak, wat scherpere stuurbaarheid biedt dan algemene staatinterventies.

2.1. Interventiepunt: Query-activaties

In plaats van de residustroom te wijzigen, intervenieert de methode op self-attention query-activaties. Queries parametriseren hoe tokens informatie uit de context ophalen. De auteurs betogen dat het wijzigen van queries lokale controle mogelijk maakt over welke informatie wordt opgehaald, zonder de opgebouwde residustaat direct te overschrijven, waardoor globale vervorming wordt verminderd.

2.2. Sparse Representatie via SAE's

Om kenmerken te ontkoppelen, past het raamwerk een Sparse Autoencoder (SAE) toe op de query-activaties op een specifiek interventielayer $\ell$.

• Architectuur: Een enkellaags ReLU-autoencoder ($Enc$ en $Dec$) wordt getraind per query-attention head.
• Doel: De SAE wordt getraind om de activatie $s$ te reconstrueren vanuit een sparse latente representatie $z$, waarbij reconstructieverlies, een L1-sparsiteitsstraf ($\lambda \|z\|_1$) en een bias decay-term worden geminimaliseerd.
• Resultaat: Dit decomposeert de dichte query-activaties in een sparse set van interpreteerbare kenmerken, waardoor besturingsrichtingen worden gefactoriseerd.

2.3. Gradienten-gebaseerde Optimalisatie met Prototypes

In plaats van een statische stuurvector toe te voegen, behandelt de methode controle als een optimalisatieprobleem.

1. Prototype-definitie: Voor elke doel-attribuutklasse $k$ (bijvoorbeeld "Veilig Pad", "Evalueren" in de Taxonomie van Bloom) wordt een prototypecentrum $c_k$ berekend als het gemiddelde van de sparse latente representaties van een ondersteunende set trainingsvoorbeelden.
2. Optimalisatiedoel: Gegeven een initiële generatie, wordt de sparse latente representatie $z$ geoptimaliseerd via gradientenstijging om de waarschijnlijkheid van het doel-attribuut $k_T$ te maximaliseren. De waarschijnlijkheid wordt gedefinieerd door een softmax over negatieve afstanden tot alle klassen-prototypes:
   $$P_\phi(a = k_T | z) = \frac{\exp(-d_{k_T})}{\sum_{j=1}^K \exp(-d_j)}$$
   waarbij $d_k = \|z - c_k\|_2^2$.
3. Procedure: De latente $z$ wordt iteratief bijgewerkt ($z^{(t+1)} = z^{(t)} + \eta \nabla_z \log P_\phi$) tot convergentie. De geoptimaliseerde latente wordt vervolgens gedecodeerd naar de activatieruimte en in het model geïnjecteerd om de generatie voort te zetten.

3. Belangrijkste Bijdragen

1. Prototype-gebaseerde Sparse Query-optimalisatie: De formulering van controle tijdens inferentie als gradienten-gebaseerde optimalisatie over sparse query-latenten, met behulp van een prototype-distributiedoel. Dit maakt adaptieve sturing mogelijk terwijl de basismodelgewichten onveranderd blijven.
2. Query-niveau Besturingsgetrouwheid: Kwantitatief bewijs dat aantoont dat attention query-activaties een meer lokale en minder vervormende interventieplaats bieden dan de residustroom. Query-niveau-interventies vertonen een gebonden cross-layer activatie-afwijking en een lagere volgende-token Jensen-Shannon-divergentie (JSD) bij overeenkomende stuursterktes.
3. Sturingsgerichte Evaluatiegegevens: De constructie van een nieuwe dataset voor cognitieve stijl-sturing gebaseerd op de Taxonomie van Bloom en een gefilterde subset van Textualized Gridworld (TGW), ontworpen voor wederzijds onderscheidende veilige, korte en lange paden om regelgebaseerde evaluatie mogelijk te maken.
4. Experimentele Validatie: Uitgebreide evaluatie over harde planningsbeperkingen (TGW), zachte cognitieve-stijlcontrole (Taxonomie van Bloom) en waarheidsgetrouwe sturing (TruthfulQA).

4. Resultaten

4.1. Harde Beperkingen (Textualized Gridworld)

In de TGW-omgeving, waar paden strikte geldigheids- en attribuutbeperkingen moeten voldoen (kortst, veiligst, langst):

• Prestaties: De voorgestelde methode (SAE-OPT) behaalde de hoogste of gelijk hoogste successpercentages over drie open-weight modellen (Qwen, Phi, LLaMA) in vergelijking met baselines waaronder In-Context Learning (ICL), Contrastive Activation Addition (CAA) en statische SAE-sturing.
• Geldigheid: Cruciaal behield de methode lage logica-overschrijdingspercentages. In tegenstelling tot dichte residustroom-interventies, die vaak padgeldigheid verbraken, routeerde query-niveau-sturing paden binnen het geldige manifold opnieuw.
• Vergelijking: Gradienten-gebaseerde prototype-optimalisatie presteerde beter dan statische stuurvectoren, met name op moeilijke doelen zoals "Veilige" en "Lange" paden.

4.2. Zachte Semantische Controle (Taxonomie van Bloom)

In een educatief feedbackdomein stuurde de methode de cognitieve complexiteit van feedback (Onthouden, Begrijpen, Toepassen, Analyseren, Evalueren, Creëren):

• Nauwkeurigheid: SAE-OPT behaalde de hoogste gemiddelde hit-rates bij het classificeren van het beoogde cognitieve niveau, met significante winsten op discriminatieve doelen zoals "Onthouden" en "Creëren".
• Relevantie: De methode behield hoge relevantie voor de invoercode, terwijl residustroom-methoden lagere relevantie vertoonden, wat suggereert dat query-interventies stijl herleiden zonder de grondslag te verplaatsen.
• AxBench-evaluatie: De methode behaalde de hoogste harmonische gemiddelde scores op 5 van de 6 Bloom-niveaus, wat betere concepttoewijzing aantoont zonder instructievolging of vloeiendheid op te offeren.

4.3. Waarheidsgetrouwheid en Distributie-kosten (TruthfulQA)

• Nauwkeurigheid versus Vervorming: Op TruthfulQA behaalde de gradienten-gebaseerde methode (Dense-opt) hogere waarheidsgetrouwheids/informativiteitsscores (%T×I) terwijl de gemiddelde JSD (distributie-kosten) met meer dan een orde van grootte werd verminderd in vergelijking met baselines voor statische vectoradditie.
• Optimalisatie-as: Dit bevestigt dat gradienten-gebaseerde updates lagere distributie-vervorming veroorzaken dan statische vectoradditie, zelfs wanneer ze op dezelfde interventieplaats worden toegepast.

4.4. Sparsiteitsvoordelen

Vergelijking van L1 (sparse) versus L2 (dicht) regularisatie in de autoencoder:

• Ontkoppeling: L1-regularisatie verminderde "non-target drift" (collaterale beweging in de geometrie van niet-doel-prototypes) aanzienlijk. L1 bood een schoner stuurinterface, waarbij doelconvergentie werd bereikt met minder interferentie met andere attributen.

5. Betekenis en Claims

Het artikel stelt dat sparse query-representaties de noodzakelijke ontkoppeling bieden voor een geünificeerde, interpreteerbare controle over zowel logische planning als stijl-nuances.

• Mechanisme: Door attention queries te targeten, vermijdt de methode de "overschrijf"-effecten van residustroom-interventies, waardoor structurele geldigheid in taken met harde beperkingen wordt behouden.
• Optimalisatie: Door gradienten-gebaseerde optimalisatie over sparse prototypes te gebruiken in plaats van statische vectoren, bereikt de methode hogere besturingsgetrouwheid met lagere distributie-kosten.
• Generaliseerbaarheid: De aanpak blijkt effectief te zijn over diverse domeinen, van rigide grid-wereldplanning tot de genuanceerde cognitieve stijlen van educatieve feedback, en generaliseert naar grotere grid-groottes en verschillende modelarchitecturen.

De auteurs positioneren dit werk als een principieel mechanisme voor controleerbare generatie dat verder gaat dan statische activatie-engineering naar adaptieve, sparse en lokale interventie.