Technische Samenvatting: De Informatiegeometrie van Softmax: Proberen en Sturen

Probleemstelling

Huidige benaderingen voor het interpreteren en manipuleren van AI-modellen vertrouwen vaak op de lineaire representatiehypothese, die stelt dat hoogwaardige concepten overeenkomen met specifieke richtingen in de vectorrepresentatieruimte van een model. Hoewel deze hypothese effectieve methoden heeft mogelijk gemaakt voor het identificeren en sturen van concepten (bijv. sentiment, waarheidsgetrouwheid), zijn bestaande technieken vaak broos en minder effectief dan directe fine-tuning. Een primaire beperking die de auteurs identificeren, is de impliciete aanname dat representatieruimtes beschikken over een vlakke, Euclidische geometrie. De paper betoogt dat voor modellen die gebruikmaken van softmax-distributies (inclusief Transformers, LLM's en contrastieve modellen zoals CLIP), de natuurlijke geometrie van de representatieruimte niet Euclidisch is, maar informatiegeometrisch. Gevolgelijk kunnen standaard Euclidische operaties (zoals het direct optellen van een probe-vector bij een representatie) falen in het behouden van de semantische structuur of leiden tot onbedoelde "off-target" drift, waarbij waarschijnlijkheidsmassa lekt naar ongerelateerde concepten.

Methodologie

De paper operationaliseert het idee dat de geometrie van representatievectoren $\lambda$ de nabijheid van de geïnduceerde waarschijnlijkheidsdistributies $P_\lambda$ moet weerspiegelen.

1. Informatiegeometrisch Kader

De auteurs stellen vast dat de geometrie geïnduceerd door de Kullback-Leibler (KL) divergentie tussen softmax-distributies een Bregman (duaal vlakke) geometrie is. Deze structuur introduceert een dualiteit tussen:

• Primal Ruimte ($\Lambda$): De ruimte van representatievectoren $\lambda$.
• Dual Ruimte ($\Phi$): De ruimte van verwachte waarden (gemiddelde embeddings) $\phi(\lambda) = \nabla A(\lambda) = \mathbb{E}[\gamma | \lambda]$, waarbij $A(\lambda)$ de log-normalisator is.

De paper maakt onderscheid tussen twee natuurlijke interpolatiepaden:

• Primal Interpolatie (e-geodeziek): Een rechte lijn in de primal ruimte. Dit minimaliseert een gewogen som van reverse KL-divergenties en gedraagt zich als een EN-operator die gedeelde gebieden met een hoge waarschijnlijkheid benadrukt.
• Dual Interpolatie (m-geodeziek): Een rechte lijn in de duale ruimte. Dit minimaliseert een gewogen som van forward KL-divergenties en gedraagt zich als een OF-operator die een lineaire mix van distributies creëert, waarbij de semantische kenmerken van beide eindpunten gelijktijdig worden behouden.

2. Dual Steering (Duale Sturing)

De kernbijdrage van de methodologie is Dual Steering, een techniek voor het modificeren van representaties om een doelconcept te vertonen terwijl veranderingen aan off-target concepten worden geminimaliseerd.

• Het probleem met Euclidische sturing: Standaard sturing voegt een probe-vector $\beta_W$ (een element van de duale ruimte) direct toe aan de primal representatie $\lambda$. Dit is een "typefout" in niet-Euclidische geometrie en leidt vaak tot off-target drift.
• De Dual Steering oplossing: In plaats van $\lambda$ direct bij te werken, werkt Dual Steering de duale coördinaat $\phi(\lambda)$ bij door de probe-vector toe te voegen: $\phi(\lambda_t) = \phi(\lambda_0) + t\beta_W$.
• Theoretische garantie: Onder de aanname van concept-factoriseerbare distributies (waarbij de output-distributie kan worden gefactoreerd in een target-concept distributie en een off-target distributie), bewijzen de auteurs dat Dual Steering de minimizer identificeert van de KL-divergentie die het target-concept wijzigt terwijl de KL-divergentie van de off-target distributie wordt geminimaliseerd. Dit behoudt effectief de relatieve waarschijnlijkheden van ongerelateerde tokens.

3. Praktische Implementatie

Omdat de duale ruimte een begrensde convexe verzameling is, kan een lineaire update in de duale ruimte buiten het haalbare gebied terechtkomen. Om dit aan te pakken, stellen de auteurs een Regularized Newton Update voor:

1. Benader de verandering in duale coördinaten met behulp van de Hessian van de log-normalisator (wat overeenkomt met de covariantie-matrix van unembedding vectoren).
2. Los het lineaire systeem $\text{Cov}[\gamma | \lambda] \Delta \lambda = \epsilon \beta_W$ op om de overeenkomstige stap in de primal ruimte te vinden.
3. Pas Tikhonov-regularisatie ($\alpha I$) toe op de covariantie-matrix om rank-gebrek te behandelen (wat optreedt wanneer de softmax sterk geconcentreerd is op enkele tokens), wat ervoor zorgt dat de update goed gedefinieerd blijft en de distributie naar regio's met hogere entropie duwt indien nodig.
4. Gebruik de Conjugate Gradient methode om het lineaire systeem efficiënt op te lossen zonder expliciet de grote covariantie-matrix te inverteren.

Belangrijkste Resultaten

De auteurs evalueren Dual Steering op Gemma-3-4B (LLM) en MetaClip-2 (Visie-Taal) over diverse binaire concepten (bijv. werkwoord $\Rightarrow$ derde persoon, hond $\Rightarrow$ kat, Engels $\Rightarrow$ Frans).

• Preservatie van Off-Target Concepten: Empirische resultaten tonen aan dat Dual Steering de off-target distributies aanzienlijk beter behoudt dan Euclidische sturing. Waar Euclidische sturing vaak zorgt voor "lekken" (het toekennen van significante waarschijnlijkheid aan ongerelateerde tokens zoals "vriend" wanneer men "vader" $\Rightarrow$ "moeder" stuurt), behoudt Dual Steering de waarschijnlijkheidsmassa van contrafeitelijke paren en neutrale tokens.
• Robuustheidsmetrieken: Dual Steering bereikt lagere KL-divergenties en kleinere rangverschillen voor off-target distributies vergeleken met Euclidische methoden, zelfs wanneer de target-concept waarschijnlijkheid de 1 nadert.
• Interpolatiegedrag: Visualisaties bevestigen dat Dual Interpolatie (m-geodeziek) fungeert als een lineaire mix van distributies, terwijl Primal Interpolatie (e-geodeziek) endpoint-specifieke outputs onderdrukt ten gunste van gedeelde kenmerken.

Betekenis en Claims

De paper claimt dat de niet-Euclidische structuur van de intrinsieke informatiegeometrie cruciaal is voor het verbinden van geometrische manipulaties aan semantische taken zoals sturing.

• Theoretisch Inzicht: Het demonstreert dat de lineaire representatiehypothese begrepen moet worden binnen de context van informatiegeometrie (specifiek Bregman-dualiteit) in plaats van vlakke Euclidische geometrie om robuust te zijn.
• Praktisch Nut: Dual Steering biedt een theoretisch onderbouwde methode voor het robuust manipuleren van representaties die onbedoelde bijwerkingen minimaliseert, wat een sjabloon biedt voor het verbeteren van de betrouwbaarheid van interpreteerbaarheid en controlemethoden.
• Omvang: Hoewel de resultaten zijn afgeleid van softmax-gebaseerde modellen, suggereren de auteurs dat het overkoepelende idee van het exploiteren van intrinsieke geometrie breed toepasbaar is. Ze merken expliciet op dat dit werk dient als een sjabloon voor toekomstig onderzoek naar hoe geometrie de robuustheid van controlemethoden beïnvloedt, met name in de tussenliggende lagen van modellen.

De auteurs blijven bescheiden over de "probing aanname" (dat een lineaire probe een concept perfect vastlegt over het gehele hypervlak), waarbij ze erkennen dat deze aanname in de praktijk mogelijk niet strikt standhoudt, maar dat Dual Steering nog steeds empirisch superieur is aan Euclidische methoden.