Linearly Controlled Language Generation with Performative Guarantees

Titel: Lineair Gereguleerde Taalgeneratie met Performantie-Garanties

Auteurs: Emily Cheng en Carmen Amo Alonso

---

1. Het Probleem

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in kritieke toepassingen, zoals contentmoderatie en real-time informatiedistributie. Hoewel deze modellen krachtig zijn, ontbreekt het vaak aan betrouwbare controle over hun output. Bestaande methoden voor "gestuurde generatie" (steering) hebben de volgende beperkingen:

• Gebrek aan garanties: Methoden zoals prompt engineering of het toevoegen van stuurvectoren (steering vectors) "nudge" het model in een bepaalde richting, maar garanderen niet dat de output binnen een specifiek bereik valt (bijv. geen giftige taal).
• Interpretatie vs. Controle: Bestaande technieken manipuleren vaak de latent space (verborgen ruimte) in een algemene richting zonder formele zekerheid dat de activaties binnen de gewenste grenzen blijven.
• Efficiëntie: Veel geavanceerde methoden vereisen zware berekeningen tijdens inferentie (zoals backpropagation of iteratieve optimalisatie), wat de latentie verhoogt.

De auteurs onderscheiden tussen sturen (steering) (bias inbrengen zonder garanties) en regelen (control) (het afdwingen van constraints met formele garanties). Het doel is om een methode te ontwikkelen die de activaties van het model dynamisch regelt om te garanderen dat de output binnen een vooraf gedefinieerd, veilig bereik valt, zonder de tekstkwaliteit te schaden.

---

2. Methodologie: LiSeCo (Linear Semantic Control)

De auteurs stellen LiSeCo voor, een methode die optimalisatie-theorie (control theory) toepast op de latent space van LLM's. De aanpak verloopt in twee fasen:

A. Offline Fase: Semantische Probes (Kalibratie)

Voordat het model wordt gebruikt, wordt er een lichte lineaire "probe" (classificator) getraind voor elke laag van het model.

• Doel: Deze probe leert om de latent activaties ($x_t$) van een specifieke laag te mappingen naar een numerieke score voor een attribuut (bijv. toxiciteit of sentiment).
• Formulering: De probe wordt getraind als een lineaire regressie: $f_t(x_t) = \nu(W_t^T x_t)$, waarbij $\nu$ een niet-lineaire transformatie is (bijv. sigmoid).
• Definitie van het Toegestane Bereik: Op basis van de gewenste score-range $[\alpha_{min}, \alpha_{max}]$ wordt een toegestaan gebied $X_t$ in de latent space gedefinieerd. Als de activatie binnen dit gebied valt, wordt de output als "veilig" beschouwd.

B. Online Fase: Optimal Control (Inferentie)

Tijdens het genereren van tekst wordt de methode toegepast op de activaties van het model.

• Interventie: Voor elke gegenereerde token wordt gecontroleerd of de huidige activatie $x_t$ binnen het toegestane gebied $X_t$ valt.
• Optimalisatieprobleem: Als $x_t$ buiten het bereik valt, wordt een minimale correctie $\theta_t$ berekend om de activatie terug te brengen naar het veilige gebied. Dit wordt geformuleerd als een constrained optimal control probleem:
  • Doel: Minimaliseer de $L_2$-norm van de interventie $\|\theta_t\|^2$ (om de tekstkwaliteit en natuurlijkheid te behouden).
  • Constraint: De gecorrigeerde activatie moet voldoen aan: $\alpha_{min} \leq \nu(W_t^T (x_t + \theta_t)) \leq \alpha_{max}$.
• Gesloten Vorm Oplossing: Het paper toont aan dat dit probleem een gesloten vorm oplossing (closed-form solution) heeft. Dit betekent dat de interventie analytisch kan worden berekend zonder iteratieve optimalisatie of backpropagation tijdens de inferentie.
  • Als de score te hoog is, wordt de activatie verschoven in de richting van de normaalvector van het vlak, precies genoeg om de bovengrens te raken.
  • Als de score al binnen het bereik ligt, is de interventie nul (geen ingreep).

---

3. Belangrijkste Bijdragen

1. Formele Controle met Theoretische Garanties: LiSeCo is de eerste methode die taalgeneratie formuleert als een optimalisatieprobleem met een gesloten vorm oplossing. Het garandeert wiskundig dat de latent activaties binnen de toegestane regionen blijven, in tegenstelling tot bestaande "stuur"-methoden die slechts een kans op succes bieden.
2. Controle in de Activeringsruimte: De methode werkt direct op de activaties van het model (in de embedding space) en niet op de input-prompt of de weights. Dit maakt het contextafhankelijk en dynamisch.
3. Lage Latentie en Efficiëntie: Omdat de interventie in gesloten vorm wordt berekend, is er geen extra rekentijd nodig voor iteratieve zoektochten of backpropagation. De overhead is minimaal.
4. Bidirectionele Controle: De methode kan attributen zowel verhogen als verlagen binnen een continu bereik (bijv. van zeer negatief naar zeer positief), in tegenstelling tot veel andere methoden die alleen gericht zijn op het verminderen van een negatief attribuut.

---

4. Experimentele Resultaten

De auteurs hebben LiSeCo getest op drie state-of-the-art modellen (Llama-3-8B, Gemma-2-2B, Mistral-7B) voor twee taken: toxiciteitsvermijding en sentimentcontrole.

• Garanties in Activeringsruimte: De experimenten tonen aan dat LiSeCo de latent activaties consequent binnen de gedefinieerde grenzen houdt. De scores van de getrainde probes voor de gegenereerde tekst vallen exact binnen de ingestelde intervallen $[\alpha_{min}, \alpha_{max}]$.
• Prestaties in Outputruimte: Hoewel de garantie geldt voor de latent space, vertaalt dit zich empirisch naar betrouwbare sturing van de output. Er is een duidelijke monotoon relatie tussen de ingestelde parameter $\alpha$ en het percentage giftige/negatieve generaties.
• Tekstkwaliteit (Naturalness): LiSeCo behoudt de natuurlijke tekstkwaliteit (gemeten via perplexiteit) beter dan bestaande methoden zoals Activation Addition (ActAdd), AcT, en Prompt Engineering. Omdat de interventie minimaal is (alleen wanneer nodig en zo klein mogelijk), wordt de oorspronkelijke taalmodelleringsverdeling minder verstoord.
• Vergelijking met Baselines:
  • ActAdd/AcT: Deze methoden passen vaak een constante stuurvector toe, wat kan leiden tot "over-sturen" of een verlies van natuurlijkheid.
  • LiSeCo: Past alleen in wanneer nodig en precies genoeg. Dit resulteert in een betere balans tussen veiligheid en natuurlijkheid.

---

5. Betekenis en Conclusie

Dit paper is significant omdat het een brug slaat tussen controletheorie en Large Language Models. Het biedt een theoretisch onderbouwde framework voor het garanderen van veiligheidsconstraints in AI-systemen.

• Veiligheid: Het biedt een oplossing voor het probleem van "hallucinaties" van veiligheid, waarbij modellen denken dat ze veilig zijn terwijl ze dat niet zijn. LiSeCo biedt een hard constraint.
• Interpreteerbaarheid: De methode maakt het mogelijk om attributen te regelen op basis van interpreteerbare numerieke scores, wat inzicht geeft in hoe concepten (zoals toxiciteit) lineair zijn gecodeerd in de latent space van het model.
• Toekomstperspectief: Hoewel de garantie geldt voor de latent space, is de overdracht naar de uiteindelijke token-generatie afhankelijk van de lineariteit van de representatie. De auteurs tonen aan dat dit in de praktijk zeer goed werkt, maar benadrukken dat de kwaliteit van de getrainde probes (afhankelijk van de trainingsdata) cruciaal is voor de uiteindelijke prestatie.

Kortom, LiSeCo introduceert een nieuwe standaard voor verantwoordelijke AI door niet alleen te hopen op veilige output, maar dit wiskundig te garanderen met minimale impact op de prestaties van het model.