Steerable Chatbots: Exploring Personalization Control Interfaces via LLM Activation Steering

Technische Samenvatting: Stuurbare Chatbots via LLM-activatiesturing

Probleemstelling
Huidige paradigma's voor het personaliseren van reacties van Large Language Models (LLM's) leunen zwaar op het vermogen van gebruikers om voorkeuren te articuleren via natuurlijke taalprompts. Deze aanpak kent twee belangrijke barrières: (1) het "cold-start"-probleem, waarbij gebruikers geen conversatiegeschiedenis hebben die de modelvoorkeuren kan ophalen, en (2) de cognitieve belasting van het structureren van complexe voorkeuren in effectieve prompts, een vaardigheid die veel leken ontberen. Bestaande technische oplossingen zoals retrieval-augmented generation (RAG) of model fine-tuning zijn rekenintensief en vereisen substantiële gebruikersdata, waardoor ze ongeschikt zijn voor onmiddellijke, granulaire personalisatie. De auteurs stellen een verschuiving voor van prompting-gebaseerde specificatie naar directe manipulatie van modelgedrag om de output van het LLM af te stemmen op latente gebruikersvoorkeuren.

Methodologie
Het artikel introduceert "Steerable Chatbots", een paradigma waarbij gebruikers een lineaire scalaire factor manipuleren om de sterkte en richting van specifieke voorkeurdimensies binnen de output van een LLM te controleren. Dit wordt bereikt door middel van activatiesturing (activation steering), een techniek die vooraf berekende "sturingsvectoren" (steering vectors) injecteert in de residual stream van het model tijdens de inferentie.

1. Technische Implementatie:

   • Sturingsvectoren: De auteurs berekenen vectoren door gewenste en ongewenste representaties van een gedrag (bijv. "luxe" versus "budget") te contrasteren met behulp van laag-specifieke lineaire probes die getraind zijn op positieve en negatieve datastalen.
   • Sturingsmechanisme: Tijdens de inferentie wordt de sturingsvector ($v$) toegevoegd aan de intermediaire representaties ($h$) van het LLM, geschaald door een door de gebruiker gedefinieerde sterktefactor ($d$): $h_{steered} \leftarrow h + d \cdot v$.
   • Evaluatiemetrieken: Expressie van voorkeuren wordt gekwantificeerd met behulp van de relatieve cosinusgelijkenis tussen de output-embeddings van het LLM en referentiedatasets (Yelp-reviews) die specifieke voorkeurskenmerken vertegenwoordigen (Kosten, Ambiance, Leeftijd, Tijd, Keuken).

2. Interface Ontwerpen:
   De auteurs verkennen drie verschillende interface-ontwerpen die zijn uitgetekend langs twee assen: Agency (Gebruikersgestuurd vs. Systeemgestuurd) en Fluiditeit (Statisch vs. Adaptief):

   • SELECT (Hoge Agency, Medium Fluiditeit): Gebruikers manipuleren rechtstreeks een schuifregelaar (-100 tot 100) in realtime om de sturingsfactor aan te passen. Dit maakt directe, expliciete controle over voorkeurdimensies mogelijk.
   • CALIBRATE (Medium Agency, Lage Fluiditeit): Vóór de conversatie ondergaan gebruikers een kalibratieproces waarbij zij iteratief de voorkeursoutputs selecteren uit paren van reacties die gegenereerd zijn met verschillende sturingssterktes. Het systeem convergeert op een statische voorkeurswaarde voor de sessie.
   • LEARN (Lage Agency, Hoge Fluiditeit): Het systeem concludeert impliciet gebruikersvoorkeuren uit de sentiment van de conversatie en werkt de sturingsfactor op de achtergrond bij zonder expliciete gebruikersinput, waarbij de geïnferred sterkte wordt getoond voor transparantie.

3. Experimentele Opzet:

   • Computationele Experimenten: Gevalideerd over vijf open-source LLM's (variërend van 1.6B tot 9B parameters) om de betrouwbaarheid van sturing (E1) en de compatibiliteit met gebruikersprompting (E2) te waarborgen.
   • Gebruikersstudie: Een binnen-onderwerp studie ($n=14$) bestaande uit cold-start lifestyle planning taken (cadeau winkelen, reizen, dineren, recepten). De deelnemers interageerden met de drie sturende interfaces en een prompting-only baseline (PROMPT).

Belangrijkste Resultaten

• Computationele Leefbaarheid: Activatiesturing vertoonde een sterke, bijna lineaire correlatie tussen de sturingssterkte en de geuite voorkeur over alle geteste modellen heen. Cruciaal is dat de methode compatibel bleek met gebruikersprompting; prompting kon het effect van sturing intensiveren of verminderen, wat contextuele variabiliteit binnen een gestuurde voorkeursprofiel mogelijk maakt.
• Voorkeurafstemming (U1):
  • SELECT en CALIBRATE vertoonden matige, significante correlaties ($r=0.46$ en $r=0.59$ respectievelijk) tussen de output van de chatbot en de grondwaarheid-voorkeuren van de gebruiker, wat de prompting-only baseline ($r=0.11$) aanzienlijk overtrof.
  • LEARN vertoonde een zwakkere correlatie ($r=0.26$), wat suggereert dat het algoritme voor sentiment-gebaseerde updates minder robuust was in het vastleggen van diverse gebruikersintenties binnen een korte tijdspanne.
  • In algemene zin bereikten de stuurbare chatbots een matige correlatie ($r=0.44$) met latente voorkeuren, wat de aanpak valideert voor cold-start scenario's.
• Subjectieve Percepties (U2):
  • Er was geen significant verschil in "Gebruikswaarheid", "Tevredenheid" of "Waargenomen Controle" tussen de interfaces bij directe vergelijking.
  • Echter, alle stuurbare interfaces werden aanzienlijk hoger beoordeeld dan de baseline op het gebied van Waargenomen Persistentie, wat aangeeft dat gebruikers het gevoel hadden dat hun voorkeuren beter werden onthouden over sessies heen.
  • Heterogeniteit van Waarden: Kwalitatieve analyse onthulde uiteenlopende gebruikersvoorkeuren. Sommige gebruikers waardeerden de expliciete controle van SELECT, terwijl anderen de naadloze ervaring met lage cognitieve belasting van LEARN prefereerden. CALIBRATE werd gewaardeerd om zijn precisie en tijdbesparende aard, maar bekritiseerd vanwege de potentiële mismatch als de kalibratiestap er niet in slaagde genuanceerde voorkeuren vast te leggen.

Betekenis en Claims
Het artikel claimt een nieuw paradigma voor LLM-personalisatie te introduceren dat de last van voorkeursarticulatie verschuift van natuurlijke taalprompting naar directe manipulatie van de interne werking van het model. De auteurs stellen dat activatiesturing een hulpbron-efficiënt alternatief biedt voor fine-tuning, omdat het geen hertraining van modelgewichten vereist en werkt met lichtgewicht vectoren.

De studie herkadert LLM-personalisatie als een interactie-ontwerpprobleem, en demonstreert dat het blootstellen van een lineaire sturingsfactor effectief de output van het model kan afstemmen op de latente voorkeuren van de gebruiker in cold-start scenario's. De auteurs benadrukken dat er geen enkel "optimaal" interface is; in plaats daarvan bepalen gebruikerswaarden met betrekking tot agency (controle vs. automatisering) en fluiditeit (statisch vs. adaptief) welke het meest geschikte ontwerp is. Ze concluderen dat stuurbare chatbots een veelbelovend, computationeel efficiënt mechanisme bieden voor het creëren van direct manipuleerbare, gepersonaliseerde AI-assistenten, hoewel ze de beperkingen erkennen wat betreft de getrouwheid van low-fidelity prototypes en de reductie van complexe voorkeuren tot enkele dimensies.