Technische Samenvatting: Het Minimaliseren van Neveneffecten bij Actiesturing

1. Probleemdefinitie

Actiesturing is een techniek voor het beheersen van het gedrag van Large Language Models (LLM's) door in te grijpen in interne representaties om activeringen te aligneren met een specifieke doelrichting (bijvoorbeeld het vergroten van waarheidsvinding of het onderdrukken van toxiciteit). Hoewel effectief, lijden standaardmethoden zoals ActAdd (vectoroptelling) en Normbehoudende Sturing (bijvoorbeeld Slerp, Angular Steering) vaak aan "neveneffecten".

Neveneffecten worden gedefinieerd als onbedoelde veranderingen in de alignatie van activeringen langs niet-doelrichtingen. Het artikel betoogt dat bestaande methoden impliciet isotropie van niet-doelkenmerken veronderstellen – waarbij een verschuiving in elke richting als even kostbaar wordt beschouwd. Echter, representatieruimtes van LLM's zijn inherent anisotroop; kenmerken zijn verstrengeld en het verschuiven van activeringen in bepaalde richtingen kan meerdere gekoppelde kenmerken gelijktijdig verstoren, wat leidt tot prestatiedalingen op niet-gerelateerde taken (bijvoorbeeld redeneren of feitelijke nauwkeurigheid).

Het kernprobleem is de afweging tussen sturingssucces (het bereiken van de gewenste gedragsverandering) en het behoud van de downstream-prestaties van het model. Huidige benaderingen offeren ofwel prestaties op om een hoog sturingssucces te bereiken, ofwel falen ze in effectief sturen om prestaties te behouden.

2. Methodologie: COAST

De auteurs stellen COllateral-damage Minimizing Activation STeering (COAST) voor, een principieel kader dat sturing modelleert als een geconstrueerd optimalisatieprobleem.

2.1 Wiskundige Formalisering

Het doel is om een nieuw activatievector $x$ te vinden die voldoet aan een vast alignatiebudget (een doelcosinussimilariteit $\alpha$ met de sturingsrichting $d$) terwijl de verwachte kwadratische verandering in alignatie met niet-doelkenmerken wordt geminimaliseerd.

De doelfunctie minimaliseert de neveneffecten $J(x)$:
$$\min_{x \in \mathcal{M}} (x - h)^\top \Sigma (x - h)$$
Waarbij:

• $h$ de oorspronkelijke activatie is.
• $\mathcal{M}$ de toelaatbare verzameling is gedefinieerd door normbehoud ($\|x\|=1$) en het alignatiebudget ($d^\top x = \alpha$).
• $\Sigma$ de gewichtsmatrix voor neveneffecten is, die de empirische tweede moment van activeringen vertegenwoordigt ($\Sigma = \mathbb{E}[hh^\top]$).

In tegenstelling tot isotrope methoden die de eenheidsmatrix gebruiken (waarbij alle richtingen even zwaar worden bestraft), gebruikt COAST $\Sigma$ om de anisotrope geometrie van de representatieruimte te coderen. Richtingen met hoge variantie of frequente co-activatie worden zwaarder bestraft, waardoor de optimalisatie wordt geleid weg van "gevoelige" kenmerkenclusters.

2.2 Optimalisatiealgoritme

De toelaatbare verzameling $\mathcal{M}$ vormt een $(p-2)$-sfeer (een "breedtegraad" op de eenheidshypersfeer). COAST lost het optimalisatieprobleem op met Riemanniaanse gradiëntafstijging:

1. Initialisatie: Het algoritme initialiseert bij de Euclidische projectie van $h$ op de variëteit $\mathcal{M}$.
2. Gradiëntberekening: Het berekent de Riemanniaanse gradiënt door de Euclidische gradiënt ($2\Sigma(x-h)$) te projecteren op de raakruimte van $\mathcal{M}$.
3. Geodetische Update: Het algoritme update de activatie door te bewegen langs de geodeet (grote cirkel) die wordt gedefinieerd door de exponentiële afbeelding op de sfeer, waarbij wordt gegarandeerd dat het alignatiebudget bij elke stap strikt wordt nageleefd.

2.3 Theoretische Eigenschappen

• Generalisatie: COAST generaliseert Slerp (Sferische Lineaire Interpolatie) strikt. In scenario's waarbij neveneffecten isotroop zijn (bijvoorbeeld wanneer kenmerken orthogonaal zijn aan het doel of uniform verdeeld), reduceert COAST tot de gesloten-formule Slerp-oplossing.
• Convergentie: Het artikel bewijst dat de continue-tijd Riemanniaanse gradiëntstroom convergeert naar een enkel stationair punt. Bovendien convergeert de stroom, met de specifieke geometrische initialisatie die wordt gebruikt, naar het globale minimum van de doelfunctie voor neveneffecten.
• Efficiëntie: De methode is "plug-and-play", voegt minimale overhead toe aan inferentie (0,9%–4,0% in experimenten) en vereist in de praktijk slechts één geodetische stap.

3. Belangrijkste Bijdragen

1. Formalisatie van Neveneffecten: Het artikel biedt een wiskundige definitie van neveneffecten als de verwachte onbedoelde alignatieverschuiving, en koppelt deze direct aan de empirische tweede-momentmatrix van activeringen.
2. Anisotropie-bewuste Sturing: Het introduceert een kader dat expliciet rekening houdt met de anisotrope geometrie van LLM-representaties, en verder gaat dan de isotrope aannames van eerdere werken.
3. COAST-algoritme: Een nieuw optimalisatiealgoritme dat de "veiligste" gestuurde activatie vindt op de sfeer van het alignatiebudget, waarbij verstoring van niet-doelkenmerken wordt geminimaliseerd.
4. Theoretische Garantiën: Bewijzen van globale convergentie naar de optimale sturingsoplossing onder algemene anisotrope omstandigheden.
5. Empirische Validatie: Uitgebreide experimenten die aantonen dat COAST bestaande baselines (ActAdd, Angular Steering, Slerp) overtreft in het balanceren van sturingseffectiviteit met behoud van prestaties.

4. Experimentele Resultaten

De auteurs evalueerden COAST op vier instructie-getrainde LLM's (Llama-3.2-3B, Llama-3.1-8B, Qwen2.5-14B, Gemma-2-9B) met behulp van de tinyBenchmarks-suite en HarmBench voor veiligheidsevaluatie.

• Afweging Vermindering: Waar ActAdd een steile afweging liet zien (hoog sturingssucces maar significante dalingen in nauwkeurigheid) en Angular Steering moeite had om hoge successpercentages te bereiken, behaalde COAST consequent hoge Attack Success Rates (ASR) (sturingseffectiviteit) terwijl het taaknauwkeurigheid behield die vergelijkbaar was met niet-gestuurde modellen.
• Kwantitatieve Winsten:
  • COAST behaalde tot een 30% verbetering in ASR ten opzichte van Angular Steering.
  • Het toonde tot een 20% verbetering in nauwkeurigheid ten opzichte van ActAdd bij equivalente ASR-niveaus.
  • Bij specifieke modellen (Gemma-2-9B, Llama-3.2-3B) verbeterde COAST zowel ASR als taaknauwkeurigheid gelijktijdig ten opzichte van Slerp.
• Neveneffecten als Proxy: De studie heeft empirisch gevalideerd dat de voorgestelde metric voor neveneffecten een betrouwbare proxy is voor prestatiedaling, waarbij een sterke negatieve Pearson-correlatie ($r < -0,9$) werd aangetoond tussen neveneffecten en modelnauwkeurigheid over zes benchmarks.
• Berekeningskosten: COAST veroorzaakte een marginale inferentie- overhead (reductie van 0,9%–4,0% in tokens/seconde), wat de geschiktheid voor realtime implementatie bevestigt.

5. Betekenis en Aanspraken

Het artikel positioneert COAST als een verschuiving van "kunnen we sturen?" naar "kunnen we verantwoord sturen?". Door neveneffecten expliciet te minimaliseren, maakt de methode gerichte gedragsveranderingen mogelijk zonder ongerelateerde competenties op te offeren.

De auteurs claimen dat COAST een fundament biedt voor verantwoordelijke actieve interventies, gekenmerkt door:

• Expliciete Doelen: Sturing wordt geformuleerd als een optimalisatieprobleem met een duidelijke kostfunctie.
• Transparante Constrenties: Het alignatiebudget is een door de gebruiker gedefinieerde, interpreteerbare parameter.
• Voorspelbare Bijwerkingen: Door de geometrie van de representatieruimte te modelleren, vermindert de methode het risico op onbedoelde gedragsdrift of degradatie van capaciteiten.

Het werk suggereert dat toekomstige implementatie van op sturing gebaseerde controles voor uitlijning, personalisatie of contentmoderatie betrouwbaarder en veiliger kan zijn, mits de anisotrope aard van de interne representaties van het model tijdens interventie wordt gerespecteerd. De auteurs benadrukken dat, hoewel sturing een krachtig instrument is, het moet worden geëvalueerd over diverse taken met transparante rapportage van bijwerkingen om misbruik te voorkomen.