How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities

Dit artikel introduceert SteerEval, een hiërarchisch benchmarkkader dat de controleerbaarheid van grote taalmodellen evalueert op drie niveaus van gedragsgranulariteit en aantoont dat de effectiviteit van besturingsmethoden afneemt naarmate de specificatie gedetailleerder wordt.

De kern

Stel je voor dat een Grote Taalmodel (LLM) een zeer getalenteerde, maar soms onvoorspelbare acteur is. Je kunt hem een rol geven, maar hij kan zijn eigen ideeën hebben over hoe hij die rol moet spelen. Soms is hij te luidruchtig, soms te saai, of hij verandert plotseling van karakter midden in een scène.

Deze paper, getiteld "Hoe controleerbaar zijn Grote Taalmodellen?", introduceert een nieuwe manier om te testen of we deze acteurs echt kunnen sturen. De auteurs noemen hun testbench SteerEval.

Hier is de uitleg in simpele taal, met behulp van een paar creatieve vergelijkingen:

1. Het Probleem: De Acteur die uit het script valt

We gebruiken AI steeds vaker voor belangrijke dingen, zoals in het onderwijs of de gezondheidszorg. Maar wat als de AI ineens een boze toon aanslaat terwijl je een vriendelijk antwoord nodig hebt? Of wat als hij zegt dat hij "onafhankelijk" is, maar dan toch alles doet wat jij zegt? Dat is gevaarlijk. We moeten kunnen zeggen: "Speel deze rol, op deze manier, met deze specifieke woorden."

2. De Oplossing: De "SteerEval" Ladder

De onderzoekers hebben een nieuwe test ontwikkeld, SteerEval, die werkt als een ladder met drie sporten. Ze testen of de AI kan doen wat je vraagt op drie verschillende niveaus van moeilijkheid:

• Sport 1 (L1): De Hoogtepunten (Wat moet er gezegd worden?)
  • Vergelijking: Je zegt tegen de acteur: "Speel een blij personage."
  • Test: Zegt de AI iets positiefs? Dit is makkelijk. De AI kan dit vaak goed.
• Sport 2 (L2): De Manier van Spelen (Hoe moet het gezegd worden?)
  • Vergelijking: Je zegt: "Speel een blij personage, maar doe het alsof je een opgewonden kind bent dat hard lacht."
  • Test: Gebruikt de AI de juiste toon en energie? Hier beginnen de problemen. De AI is soms blij, maar klinkt als een robot, niet als een kind.
• Sport 3 (L3): De Micro-Acties (De exacte details)
  • Vergelijking: Je zegt: "Speel een blij personage, en gebruik precies drie uitroeptekens en het woord 'fantastisch' in elke zin."
  • Test: Dit is het zwaarste. De AI moet niet alleen blij zijn, maar ook aan die specifieke regels voldoen. Hier faalt de AI vaak, zelfs als hij de eerste twee sporten haalt.

De grote ontdekking: Hoe gedetailleerder je instructie is (van L1 naar L3), hoe moeilijker het wordt voor de AI om je te gehoorzamen. Het is alsof je een danser vraagt om te dansen (makkelijk), dan om te dansen met een glimlach (moeilijker), en dan om te dansen terwijl hij precies op elke tel een knipoog maakt (bijna onmogelijk zonder te struikelen).

3. De Twee Manieren om te Sturen

De paper test twee methoden om de AI te sturen:

1. De "Prompt" Methode (Het Script):
   • Je schrijft een duidelijke instructie voor de AI: "Doe dit, doe dat."
   • Resultaat: Dit werkt over het algemeen heel goed, zelfs op de moeilijke sporten (L3). Het is alsof je de acteur een heel gedetailleerd script geeft.
2. De "Activering" Methode (De Regisseur in het hoofd):
   • Je pakt de AI "in het geheim" aan en verandert een klein stukje in zijn interne brein (de neurale netwerken) om een bepaald gedrag te forceren.
   • Resultaat: Dit werkt goed als je alleen vraagt om een algemeen gevoel (L1). Maar zodra je vraagt om specifieke details (L2 en L3), gaat het mis. Het is alsof je de acteur probeert te sturen door aan een onzichtbare draad te trekken; hij begint wel te dansen, maar vergeet de specifieke stappen.

4. Waarom is dit belangrijk?

Vroeger keken onderzoekers alleen of de AI "blij" of "boos" was. Nu zien we dat controle afhangt van hoe specifiek je bent.

• Als je AI wilt gebruiken voor een chatbot die altijd beleefd moet zijn, moet je niet alleen kijken of hij beleefd is (L1), maar ook of hij de juiste beleefde zinnen gebruikt (L2) en of hij nooit per ongeluk een grove woord gebruikt (L3).
• De paper laat zien dat we nog niet zo ver zijn. We kunnen de AI wel sturen in de grote lijnen, maar de fijne details zijn nog een zwakke plek.

Conclusie

SteerEval is als een nieuwe rijbewijstest voor AI. Het laat zien dat een AI misschien een "rijbewijs" heeft voor het rijden op een lege weg (L1), maar nog niet klaar is om door een drukke stad te rijden met specifieke verkeersregels (L3).

De boodschap is helder: We moeten stoppen met denken dat we AI volledig onder controle hebben. We moeten begrijpen waar de grenzen liggen, zodat we veilige en betrouwbare systemen kunnen bouwen die niet alleen "goed" klinken, maar ook precies doen wat we nodig hebben, tot in de kleinste details.

Technische samenvatting

Titel: Hoe controleerbaar zijn Large Language Models? Een geünificeerde evaluatie over gedragsgranulariteiten.

Auteurs: Ziwen Xu, Kewei Xu, et al. (Zhejiang University, Alibaba Group, NUS-NCS Joint Lab)

---

1. Het Probleem

Large Language Models (LLM's) worden steeds vaker ingezet in sociaal gevoelige domeinen zoals onderwijs, gezondheidszorg en besluitvorming. Ondanks hun indrukwekkende prestaties vertonen ze vaak onvoorspelbaar of ongewenst gedrag, zoals:

• Misalignering: Het model volgt de intentie van de gebruiker niet.
• Inconsistentie: Het model wisselt van sentiment of persoonlijkheid binnen één antwoord.
• Risico's: Deze fouten kunnen in de echte wereld tastbare schade veroorzaken.

Bestaande methoden voor het sturen (steering) van LLM's (zoals prompt-engineering of activatie-manipulatie) worden vaak geëvalueerd op basis van één enkel "doelconcept" of specifieke taken. Er ontbreekt echter een gestructureerde manier om te meten hoe goed deze methoden werken naarmate de controle-eisen specifieker en complexer worden. De vraag is: Hoe goed kunnen we het gedrag van een model sturen van een abstracte intentie tot een concreet, verifieerbaar tekstueel resultaat?

2. Methodologie: SteerEval

De auteurs introduceren SteerEval, een hiërarchisch benchmark-platform dat is ontworpen om de controleerbaarheid van LLM's systematisch te evalueren.

A. Hiërarchische Structuur (Marr's Drie Niveaus)

Het benchmark-platform is gebaseerd op Marr's theorie van computationele analyse en organiseert gedragscontrole langs twee assen:

1. Domeinen: Drie hoofdcategorieën van gedrag:
   • Taalfeatures (bijv. redundantie, stijl).
   • Sentiment (bijv. enthousiasme, negativiteit).
   • Persoonlijkheid (bijv. autonomie vs. afhankelijkheid).
2. Granulariteitsniveaus (L1 t/m L3): Elk domein is onderverdeeld in drie specificatieniveaus:
   • L1 (Computational Level - Wat te zeggen): Definieert de hoge-level intentie zonder de vorm te beperken (bijv. "Toon autonomie").
   • L2 (Algorithmic Level - Hoe te zeggen): Specificeert de strategie of manier van uitdrukken (bijv. "Toon autonomie door zelfgemaakte keuzes te benadrukken").
   • L3 (Implementational Level - Hoe te instantiëren): Stelt atomische, verifieerbare oppervlaktebeperkingen (bijv. "Gebruik het woord 'zelf' en een uitroepteken").

B. Datapipeline

De dataset is gegenereerd via een volledig geautomatiseerde pipeline:

• Concept Synthese: LLM's genereren hiërarchische concepten (L1-L3) binnen specifieke domeinen.
• Vraaggeneratie & Refinement: Er worden vragen gegenereerd die relevant zijn voor het concept, maar vervolgens worden "gepivotteerd" naar een gerelateerd maar verschillend concept om te voorkomen dat de vraag zelf het antwoord suggereert.
• Paar-gegenereerde Antwoorden: Voor elke vraag worden twee antwoorden gegenereerd: een matchend antwoord (dat het concept volgt) en een niet-matchend antwoord (dat het tegenovergestelde gedrag vertoont). Deze paren zijn lexicaal zo vergelijkbaar mogelijk gemaakt om alleen het conceptverschil te isoleren.
• Kwaliteitsborging: Een tweestapsproces met automatische validatie en menselijke review door NLP-annotatoren.

C. Evaluatiemethoden

Het paper evalueert bestaande stuurmethoden op drie modellen (Gemma-2-9B, Qwen-2.5-7B, Llama-3.1-8B):

• Prompt-based: 0-shot en 3-shot prompting.
• Activation-based: PCA, DiffMean, en RePS (Representation Fine-tuning).
• Metrics: Concept Score (CS), Instruction Score (IS), Fluency Score (FS) en een Harmonisch Gemiddelde (HM).

3. Belangrijkste Bijdragen

1. SteerEval Benchmark: Het eerste gestructureerde benchmark dat controleerbaarheid evalueert over meerdere domeinen en drie niveaus van granulariteit (van abstract tot concreet).
2. Hiërarchisch Inzicht: Het introduceert het concept dat controleerbaarheid niet binair is, maar afneemt naarmate de specificatie specifieker wordt (L1 → L3).
3. Gedetailleerde Vergelijking: Een uitgebreide vergelijking tussen prompt-based en activation-based stuurmethoden, waarbij de beperkingen van beide benaderingen in kaart worden gebracht.
4. Open Data: De dataset en de synthese-pipeline zijn openbaar gemaakt onder de MIT-licentie.

4. Resultaten

De experimentele resultaten tonen duidelijke patronen:

• Prestatiedaling bij fijnere granulariteit:
  • L1 (Coarse): Zowel prompt-based als activation-based methoden presteren goed. Soms presteren activation-based methoden (zoals RePS) zelfs beter dan prompts op dit niveau.
  • L2 & L3 (Fine): De prestaties van activation-based methoden (PCA, DiffMean, RePS) dalen drastisch naarmate de granulariteit toeneemt. Op L3-niveau zakken hun scores vaak naar bijna nul, terwijl prompt-based methoden stabiel blijven.
• Prompting vs. Activatie:
  • Prompt-based steering is robuust en consistent over alle niveaus (L1-L3) en domeinen. Het kan complexe instructies en specifieke constraints (L3) beter hanteren.
  • Activation-based steering is gevoelig voor de granulariteit. Hoewel het effectief kan zijn voor hoge-level concepten (zoals sentiment), faalt het vaak bij het afdwingen van specifieke, atomische constraints (zoals het gebruik van een specifiek woord of teken) zonder de instructie-opvolging of vlotheid te schaden.
• Domeinafhankelijkheid: Activation-based methoden tonen een sterke afhankelijkheid van het domein. Ze werken beter voor "Persoonlijkheid" dan voor "Taalfeatures", wat suggereert dat interne representaties van taalfeatures minder lineair of toegankelijk zijn via stuurvectoren.
• Few-Shot Effect: Bij prompting helpt het toevoegen van voorbeelden (few-shot) vooral bij L1 en L2. Bij L3 kan het juist schadelijk zijn omdat extra voorbeelden "shortcut"-patronen introduceren die de strikte constraints verstoren.

5. Betekenis en Conclusie

Het paper concludeert dat de controleerbaarheid van LLM's fundamenteel beperkt is door de complexiteit van de taak.

• Grenzen van Bestaande Methoden: Bestaande activation-based technieken zijn niet voldoende voor fijnmazige, veilige en voorspelbare controle in real-world applicaties waar specifieke constraints nodig zijn.
• Rol van Prompts: Prompting blijft de meest betrouwbare methode voor gedetailleerde controle, hoewel het rekenkundig duurder kan zijn.
• Toekomstig Onderzoek: De auteurs pleiten voor het ontwikkelen van nieuwe methoden die de hiërarchische structuur van taalmodellen beter begrijpen en kunnen sturen, zodat we van abstracte intenties naar concrete, veilige uitvoering kunnen gaan zonder prestatieverlies.

SteerEval biedt hiermee een principieel raamwerk om de betrouwbaarheid van LLM's te testen en te verbeteren, wat essentieel is voor de veilige implementatie van AI in kritieke domeinen.