💬 NLP

GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs

Het artikel stelt GEMS voor, een methode die geen training vereist en stabiele multi-semantische superpositie in LLM's mogelijk maakt door geometrische beperkingen toe te passen — specifiek norm-behoudende gewogen superpositie en realtime orthogonalisatie — om distributieve afwijking en directionele interferentie te mitigeren, waardoor modelinstorting tijdens gelijktijdige activatiesturing wordt voorkomen.

Oorspronkelijke auteurs: Yu Deng

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yu Deng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorm, hooggetraind orkest. Elke muzikant (een laag in het neurale netwerk) speelt een specifiek deel, en samen creëren ze een coherente symfonie (de tekst die het model genereert).

Lama tijd hebben onderzoekers een manier gevonden om dit orkest te "sturen". Door de partituur op een specifiek moment tijdens de uitvoering een klein beetje aan te passen, kunnen ze het orkest een beetje meer "waarheidsgetrouw", "veilig" of "empathisch" laten spelen. Dit wordt activation steering genoemd.

Echter, er was een groot probleem: je kon het orkest slechts één nieuwe stijl tegelijk vragen. Als je probeerde hen te vertellen om tegelijkertijd "empathisch", "verantwoordelijk" en "minimalistisch" te zijn, veranderde de muziek in een chaotische, betekenisloze kreet. Het model zou "instorten" (collapsen).

Dit paper, GEMS, lost dit probleem op. Het fungeert als een nieuw soort dirigent die meerdere stijlen tegelijkertijd kan beheren zonder de muziek te verpesten. Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

De twee redenen waarom de muziek vroeger uit elkaar viel

De auteurs ontdekten dat wanneer je probeert te veel stijlen te mengen, het orkest om twee specifieke redenen faalt:

De Volume-explosie (Distributional Deviation):
Stel je voor dat elke keer dat je het orkest vraagt om een nieuwe stijl te spelen, je ook de volumeknop een klein beetje omhoog draait. Als je dit 12 verschillende secties van het orkest vraagt, wordt het volume niet alleen harder; het explodeert. De muzikanten beginnen zo hard te spelen dat ze hun instrumenten breken en de melodie volledig vergeten. In het model betekent dit dat de "energie" van de data zo hoog wordt dat het de veilige zone verlaat waarvoor het model getraind is, wat leidt tot hallucinaties en onzin.
- De oplossing: GEMS gebruikt een Norm-Preservation Constraint. Denk hierbij aan een strikte volumebegrenzer. Hoeveel stijlen je ook toevoegt, het totale volume (wiskundig gezien de "norm") blijft exact hetzelfde. Het zorgt ervoor dat het orkest niet te hard gaat spelen.
De Signaalclash (Directional Interference):
Stel je voor dat je de vioolsectie probeert te vertellen om "droevig" te spelen en de kopersectie om "boos" te spelen. Als "droevig" en "boos" vergelijkbare richtingen zijn in de muziektheorie, kunnen ze elkaar opheffen of versmelten tot een modderige bende. Het paper stelde vast dat wanneer je verschillende "vectoren" (richtingen van betekenis) mengt die niet perfect onderscheidend zijn, ze met elkaar interfereren, zoals twee radiostations op dezelfde frequentie.
- De oplossing: GEMS gebruikt Real-Time Orthogonalization. Dit is als een geluidstechnicus die direct de frequenties aanpast zodat "droevig", "boos" en "minimalistisch" allemaal op volledig verschillende, niet-interfererende kanalen zitten. Het dwingt de instructies om wiskundig loodrecht (onder een rechte hoek) op elkaar te staan, zodat ze elkaar niet tegenwerken.

De gereedschapskist van de GEMS-dirigent

Om dit werkend te krijgen, gebruikt de GEMS-methode drie hoofdinstrumenten:

De Gaussian Envelope (De Spotlight):
In plaats van de nieuwe instructies naar elke individuele muzikant te schreeuwen van de eerste noot tot de laatste, gebruikt GEMS een "spotlight". Het concentreert de instructies op de middelste lagen van het model (waar het meest complexe denken plaatsvindt) en laat de instructies aan het begin en het einde geleidelijk uitfaden. Dit voorkomt dat het model in de war raakt aan het begin of het einde van de zin.
De Chirurgische Haak (Het Injectiepunt):
Het model heeft twee hoofddelen: één die feiten afhandelt (het "kennis"-gedeelte) en één die de flow en aandacht afhandelt (het "denk"-gedeelte). GEMS injecteert de veranderingen alleen in het "denk"-gedeelte. Het laat het "kennis"-gedeelte ongemoeid, zodat het model niet de basisfeiten vergeet terwijl het probeert empathisch of verantwoordelijk te zijn.
De Geometrische Beperking (Het Regelboek):
Het paper bewijst dat als je de regels van de "Volumebegrenzer" of de "Chirurgische Haak" overtreedt, de muziek onmiddellijk instort. Als je de regel van de "Frequentieafstemming" overtreedt, blijft de muziek wel coherent, maar verliest het zijn specifieke karakter (bijv. het wordt generiek in plaats van specifiek "minimalistisch").

Wat gebeurde er toen ze het probeerden?

De onderzoekers testten dit op een model genaamd Qwen3.5-4B.

De Test: Ze vroegen het model om wiskundige problemen op te lossen (GSM8K) terwijl het tegelijkertijd probeerde "empathisch", "verantwoordelijk" en "minimalistisch" te klinken.
Het Resultaat: Zonder GEMS behaalde het model een nauwkeurigheid van 4% (het stortte in tot onzin). Met GEMS behield het 98% nauwkeurigheid op de wiskunde, terwijl het succesvol alle drie de nieuwe persoonlijkheidskenmerken aannam.
De Controle: Ze probeerden dit op andere modellen (van 3 miljard tot 31 miljard parameters) en het werkte daar ook, wat suggereert dat deze regels gelden voor bijna elk modern AI-orkest.

De Kernboodschap

Vóór dit paper was het proberen te geven van meerdere persoonlijkheden aan een AI tegelijkertijd alsof je een auto probeerde te besturen terwijl je tegelijkertijd naar links, naar rechts en naar voren stuurt — de auto zou simpelweg crashen.

GEMS laat zien dat je wel degelijk in meerdere richtingen tegelijk kunt rijden, maar alleen als je de wetten van de geometrie volgt: houd de snelheid constant (laat het volume niet exploderen), zorg dat je stuurinputs elkaar niet tegenwerken (stem de frequenties af), en pas het sturen alleen toe waar het echt nodig is. Het stelt ons in staat om AI-modellen te sturen naar complexe, veelzijdige gedragingen zonder ze kapot te maken.

Technische Samenvatting: GEMS - Geometrische beperkingen maken multi-semantische superpositie in LLM's mogelijk

1. Probleemstelling

Activation steering maakt het mogelijk om het gedrag van Large Language Models (LLM's) tijdens de inferentie aan te passen door vectoren in tussenliggende verborgen toestanden (hidden states) te injecteren zonder hertraining. Hoewel bestaande methoden zoals Activation Addition (ActAdd) succesvol één enkel semantisch attribuut kunnen controleren (bijv. waarachtigheid of veiligheid), falen ze catastrofaal wanneer zij proberen meerdere semantische richtingen gelijktijdig te injecteren. Zonder beperkingen leidt de superpositie van meerdere vectoren tot "multi-directionele instorting", waarbij de output van het model degradeert naar repetitieve, betekenisloze of incoherente tekst.

Eerder onderzoek heeft geprobeerd dit aan te pakken via training-afhankelijke methoden (bijv. het leren van projecties of het optimaliseren van alignment-doelstellingen) of door de sterkte voor enkele richtingen te beheren. Een training-vrije oplossing voor parallelle multi-semantische controle is echter moeilijk voorhanden gebleven. Dit artikel stelt dat de instorting niet een inherente limiet is van activation steering, maar het resultaat is van twee onderscheidende, onafhankelijk werkende faalmodi die kunnen worden aangepast via geometrische beperkingen.

2. Methodologie: GEMS

De auteurs stellen GEMS voor (Geometry-based Expert Multi-Steering), een training-vrije methode die de parallelle injectie van meerdere semantische richtingen over meer dan 10 opeenvolgende lagen mogelijk maakt. GEMS werkt door de geïdentificeerde faalmodi te mappen naar specifieke geometrische beperkingen die worden toegepast tijdens de forward pass.

2.1 Diagnose van Faalmodi

Door middel van diagnostische analyse op Qwen3.5-4B-Base, deconstrueren de auteurs de multi-directionele instorting in twee bronnen:

Distributionele Afwijking: Additieve perturbaties accumuleren in norm over de lagen, waardoor activaties buiten de trainingsdistributie worden geduwd. Dit manifesteert zich als een plotselinge stijging in de norm van de residual stream en een afvlakking van de token-waarschijnlijkheidsdistributie (verlies van contextuele controle).
Directionele Interferentie: Wanneer meerdere niet-orthogonale semantische vectoren worden gesuperponeerd, accumuleren hun gedeelde componenten terwijl unieke componenten worden onderdrukt. Dit leidt tot wederzijdse demping, waarbij de uitlijning van de uiteindelijke hidden state met enige beoogde richting significant degradeert vergeleken met single-vector injecties.

2.2 Geometrische Beperkingen

GEMS pakt deze problemen aan via drie primaire mechanismen:

Norm-Preserverende Gewogen Superpositie: Om distributionele afwijking te voorkomen, dwingt GEMS een strikte norm-beperking af. De gestuurde activatie wordt geconstrueerd als een gewogen combinatie van de originele aandacht-richting en georthogonaliseerde expert-vectoren, zodanig dat de som van de gekwadrateerde gewichten gelijk is aan één ( $w_{base}^2 + \sum w_i^2 = 1$ ). Dit zorgt ervoor dat de output-norm bij elke laag identiek blijft aan de baseline, wat norm-accumulatie voorkomt.
Real-Time Orthogonalisatie: Om directionele interferentie te voorkomen, past GEMS een Gram-Schmidt-proces toe bij elke hook-laag. Expert-vectoren worden geprojecteerd op het orthogonale complement van de huidige residual stream-richting en alle eerder verwerkte expert-vectoren. Dit zorgt ervoor dat elke geïnjecteerde richting onderscheidend blijft en elkaar niet wederzijds dempt.
Gerichte Injectie (oproj) & Gaussian Envelope:
- Injectiepunt: Interventies worden specifelijk toegepast op de attention output projectie ( $\text{oproj}$ ), waardoor het MLP-pad (dat feitelijke kennis codeert) onaangetast blijft. Het injecteren in de volledige laag-output corrumpeert het feitelijke pad en veroorzaakt onmiddellijke instorting.
- Sterkte Modulatie: Een Gaussian envelope moduleert de interventie-sterkte over de lagen, met een piek in de middelste lagen (waar semantische representaties het meest manipuleerbaar zijn) en een verval bij de grenzen. Een cosine decay wordt verder toegepast aan het diepe einde van het venster om perturbatie te verminderen waar de functionele rol van het model verschuift.

3. Belangrijkste Bijdragen

Deconstructie van Instorting: Het artikel identificeert dat multi-directionele steering-instorting voortkomt uit twee onafhankelijke bronnen: distributionele afwijking (norm-instabiliteit) en directionele interferentie (gebrek aan scheidbaarheid). Deze deconstructie definieert de noodzakelijke ontwerpbeperkingen voor elke training-vrije multi-directionele interventie.
GEMS Framework: De auteurs presenteren een methode die de parallelle injectie van meerdere semantische richtingen bereikt zonder de modelgewichten te wijzigen of optimalisatiestappen te introduceren. Het vertrouwt op norm-preservering en orthogonalisatie als randvoorwaarden voor stabiliteit.
Causale Validatie: Door middel van component-ablatie en laag-niveau diagnostische probes isoleren de auteurs de causale rol van elke beperking. Het demonstreert dat het schenden van norm-preservering of het injectiepunt leidt tot onmiddellijke instorting, terwijl de afwezigheid van orthogonalisatie leidt tot semantische drift en verlies van expert-onderscheidbaarheid.

4. Experimentele Resultaten

Experimenten werden primair uitgevoerd op Qwen3.5-4B (Base en Instruct), met cross-architectuur validatie op modellen variërend van 3B tot 31B.

GSM8K (Wiskundig Redeneren): Het gelijktijdig injecteren van drie niet-wiskundige richtingen (Empathie, Verantwoordelijkheid, Minimalisme) in wiskundige redeneertaken behield de nauwkeurigheid op 98% (vergeleken met een baseline van 92%). In tegenstelling hiertoe stort onbeperkte ActAdd in naar 4%.
Wikitext-2 (Taalmodellering): Dezelfde multi-directionele injectie veroorzaakte slechts een toename van 2,2% in perplexiteit (PPL). Onbeperkte ActAdd resulteerde in een PPL-toename van circa 1.700x.
Kwalitatieve Steering: In scenario's van PR-crises en het Trolley Problem produceerde GEMS succesvol outputs die meerdere semantische standpunten fuseerden (bijv. empathie + verantwoordelijkheid + minimalisme) met grammaticale coherentie. Onbeperkte methoden produceerden repetitieve, betekenisloze inhoud.
Cross-Architectuur Transfer: Kwalitatieve tests op Llama-3.2-3B, Qwen3.6-27B en Gemma-4-31B toonden aan dat de geometrische beperkingen opereren op model-agnostische eigenschappen, wat succesvolle transfer mogelijk maakt met proportionele parameter-mapping.

Ablatie Bevindingen:

Norm-Preservering & Injectiepunt: Het schenden hiervan (bijv. injecteren in de volledige laag of het negeren van norm-beperkingen) veroorzaakt onmiddellijke semantische instorting (4% nauwkeurigheid).
Orthogonalisatie: Het verwijderen van deze beperking behoudt de grammaticale coherentie, maar veroorzaakt "semantische drift", waarbij de dominante expert-richting de andere overstemt en de output de specifieke kenmerken van de zwakkere richtingen verliest.
Gaussian Envelope: Het verwijderen hiervan leidt tot matige narratieve drift naar grandioze abstracties, wat de rol ervan bevestigt bij het gladstrijken van grenzen-perturbaties.

5. Betekenis en Claims

Het artikel claimt dat training-vrije, multi-semantische superpositie haalbaar is door pure forward-pass geometrische beperkingen, wat de aanname uitdaagt dat multi-directionele activation steering fundamenteel instort.

Structureel Inzicht: Het werk herformuleert het probleem van een gebrek aan capaciteit naar een gebrek aan geometrische beperkingen. Het demonstreert dat de representationele ruimte van LLM's superpositie kan ondersteunen als de interventie de norm en orthogonaliteit van de residual stream respecteert.
Praktisch Nut: GEMS maakt gelijktijdige controle over meerdere gedragseigenschappen mogelijk (bijv. feitelijke nauwkeurigheid, veiligheid en stijl) zonder de overhead van hertraining of architecturale modificatie.
Beperkingen: De auteurs merken op dat GEMS de output-distributie binnen de bestaande capaciteitsruimte van het model hervormt; het kan geen capaciteiten creëren die afwezig zijn in de trainingsdistributie. De huidige validatie beslaat een beperkt aantal richtingen (N=3) en specifieke modellen, en de optimale sterkte-ratio's zijn taakafhankelijk.

Het artikel concludeert dat hoewel de scheidbaarheid van norm en richting deels de specifieke structuur van het interventie-ontwerp kan reflecteren, de resultaten vaststellen dat geometrische beperkingen een voldoende mechanisme zijn voor het mogelijk maken van robuuste, multi-semantische steering in LLM's.