💬 NLP

VALUEFLOW: Toward Pluralistic and Steerable Value-based Alignment in Large Language Models

Dit artikel introduceert VALUEFLOW, een verenigd framework dat de belangrijkste hiaten in waardegebaseerde afstemming aanpakt door hiërarchische waarde-extractie, een grootschalige intensiteit-gelabelde database en een gekalibreerd evaluatiesysteem te integreren om de pluralistische en stuurbare controle van waarde-intensiteiten in Large Language Models mogelijk te maken.

Oorspronkelijke auteurs: Woojin Kim, Sieun Hyeon, Jusang Oh, Jaeyoung Do

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Woojin Kim, Sieun Hyeon, Jusang Oh, Jaeyoung Do

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar enigszins rigide robot probeert te leren hoe hij zich als een mens moet gedragen. Het probleem is niet alleen dat de robot "aardig" moet zijn; het is dat mensen complexe, soms tegenstrijdige interne kompassen hebben die waarden worden genoemd.

Sommige mensen geven diep om vriendelijkheid, anderen om gerechtigheid, en anderen om macht. Het lastige is dat deze waarden niet simpelweg "aan" of "uit" schakelaars zijn. Je kunt enigszins vriendelijk zijn, of extreem vriendelijk. Je kunt grotendeels rechtvaardig zijn, maar ook een beetje egoïstisch.

Huidige AI-alignmentmethoden zijn als het proberen te onderwijzen van de robot met een simpele "Goed/Slecht"-knop. Dat is te bot. Het paper VALUEFLOW introduceert een veel verfijndere toolkit om AI te helpen menselijke waarden te begrijpen en uit te drukken met de juiste intensiteit.

Dit is hoe VALUEFLOW werkt, opgedeeld in drie eenvoudige delen:

1. De Kaart: HIVES (De Hiërarchische Waarde-Embedding Ruimte)

Stel je een enorme bibliotheek voor met menselijke gedachten, maar de boeken liggen overal verspreid. Sommige boeken gaan over "Vriendelijkheid", andere over "Buren helpen" en andere over "Geld doneren". Een simpele zoekopdracht zou "Vriendelijkheid" met "Gerechtigheid" kunnen verwarren omdat ze aan elkaar gerelateerd zijn maar toch verschillend zijn.

HIVES is als een supergeorganiseerde bibliotheekkaart. Het somt niet alleen waarden op; het begrijpt de hiërarchie. Het weet dat "Vriendelijkheid" een grote paraplu is, en dat je daaronder "Zorgzaamheid" en "Helpen" hebt. Het organiseert deze waarden in een 3D-ruimte waar vergelijkbare waarden dicht bij elkaar liggen en zeer verschillende waarden ver van elkaar verwijderd zijn. Dit helpt de AI om de structuur van menselijke waarden te begrijpen, en niet alleen de woorden.

2. De Referentiebibliotheek: VIDB (De Waarde-Intensiteitsdatabase)

Stel je nu voor dat je de AI wilt vertellen: "Wees matig vriendelijk, maar wees zeer streng wat betreft gerechtigheid." Hoe weet de AI dan wat "matig" betekent?

Voorheen gokten AI-beoordelaars gewoon een score (zoals "7 van de 10"). Maar verschillende AI's gokken anders en hun scores zijn instabiel.

VIDB is een enorme, vooraf gekalibreerde bibliotheek van tekstvoorbeelden. Het bevat duizenden zinnen, elk gelabeld met een precieze "intensiteitsscore" (van -10 tot +10) voor specifieke waarden.

De Analogie: Denk aan VIDB als een set standaardgewichten op een weegschaal. Als je wilt weten hoe "zwaar" een nieuwe zin is in termen van "Gerechtigheid", dan gok je niet zomaar een getal. Je vergelijkt deze met de standaardgewichten uit de bibliotheek.
Hoe het werkt: In plaats van de AI te vragen "Is deze tekst rechtvaardig?" (wat leidt tot slechte gissingen), vraagt het systeem de AI om de nieuwe tekst te rangschikken tegenover een paar standaardvoorbeelden uit de bibliotheek. "Is deze tekst rechtvaardiger dan Voorbeeld A, maar minder rechtvaardig dan Voorbeeld B?" Deze rangschikkingsmethode is veel stabieler en betrouwbaarder dan het raden van een getal.

3. Het Stuur: Intensiteit-bewust Sturen

Dit is het deel waar je de AI daadwerkelijk aanstuurt.

In het verleden, als je een AI vertelde "Wees vriendelijk", was de AI misschien te vriendelijk of juist niet vriendelijk genoeg. Met VALUEFLOW kun je de AI een draaiknop geven.

De Analogie: Stel je voor dat je een auto bestuurt. Oude methoden waren als een gaspedaal dat alleen "Uit" en "Vol gas" kende. VALUEFLOW geeft je een stuur met een snelheidsmeter. Je kunt zeggen: "Rijd met een 'Vriendelijkheid'-intensiteit van +8" of "Rid met een 'Gerechtigheid'-intensiteit van -2" (wat betekent: verwerp onrecht).

Het paper heeft dit getest op veel verschillende AI-modellen en vond:

Sommige modellen zijn makkelijker te sturen dan andere. Sommige reageren goed op je instructies, terwijl anderen koppig zijn.
Waarden vechten met elkaar. Als je een AI vertelt om "Zeer Vriendelijk" te zijn maar ook "Zeer Streng", moet de AI een balans vinden. Het paper vond dat soms één waarde wint, en soms mengen ze zich op voorspelbare manieren.
Het werkt voor groepen. Ze gebruikten dit om te achterhalen welke waarden verschillende groepen mensen (zoals verschillende politieke partijen of culturen) koesteren, en stuurden de AI vervolgens aan om meer te klinken als die groepen. Dit maakte hun voorspellingen over wat die groepen zouden zeggen veel nauwkeuriger.

Het Grote Plaatje

De auteurs hebben een compleet systeem gebouwd dat:

Waarden brengt in kaart in een gestructureerde ruimte (HIVES).
Meet hoe sterk een waarde in een tekst aanwezig is door deze te vergelijken met een standaardbibliotheek (VIDB).
De AI aanstuurt om die waarden met specifieke sterktes uit te drukken.

Ze zeggen niet dat dit alle AI-veiligheidsproblemen zal oplossen of dat we dit moeten gebruiken om mensen te manipuleren. In plaats daarvan bieden ze een wetenschappelijke toolkit om te bestuderen hoe AI zich gedraagt wanneer we vragen om "een beetje" van iets te zijn versus "heel veel" van iets te zijn. Het is een stap naar een AI die de nuance van menselijke waarden kan begrijpen, in plaats van alleen een simpel "goed versus slecht" regelboek te volgen.

Technische Samenvatting: VALUEFLOW

Probleemstelling

Het afstemmen van Large Language Models (LLM's) op het diverse spectrum van menselijke waarden blijft een centrale uitdaging. Huidige voorkeursgebaseerde methoden slagen er vaak niet in om diepere motivationele principes te vatten, waarbij ze de neiging hebben om oppervlakkige of contextafhankelijke keuzes te vangen in plaats van de blijvende prioriteiten die ten grondslag liggen aan consistent menselijk gedrag. Bovendien lijden bestaande waardegebaseerde benaderingen onder drie kritieke tekortkomingen:

Extractie: Methoden negeren vaak de hiërarchische structuur van waarden en vertrouwen op statische vragenlijsten of eenvoudige oordelen die een gebrek aan nuance vertonen over verschillende abstractieniveaus.
Evaluatie: Bestaande metrieken meten doorgaans de aanwezigheid van een waarde in plaats van de gekalibreerde intensiteit, waarbij ze vaak gebruikmaken van woordenboeken of grove beoordelingen die instabiele vergelijkingen tussen modellen produceren.
Stuurbaarheid: De mate waarin LLM's betrouwbaar kunnen worden gestuurd om specifieke waarden uit te drukken met gespecificeerde intensiteiten is niet goed gekarakteriseerd, met name wat betreft multi-waarde controle en dosis-responsgedrag.

Methodologie: Het VALUEFLOW-framework

Om deze beperkingen aan te pakken, introduceren de auteurs VALUEFLOW, een verenigd framework dat de aspecten extractie, evaluatie en sturing met gekalibreerde intensiteitscontrole omvat. Het framework bestaat uit drie kerncomponenten:

1. HIVES (Hierarchical Value Embedding Space)

HIVES is een unieke representatie-mapper ontworpen om de intra- en cross-theoretische structuur van waarden te vangen.

Structuur: Het integreert heterogene waardetheorieën — specifiek Schwartz's Theory of Basic Values (SVT), Moral Foundations Theory (MFT), Ross's Duties en Mensenrechten — in een enkele hoogdimensionale ruimte.
Training: Het model ondergaat een tweetraps trainingsproces:
- Fase 1 (Intra-theorie): Gebruikt hiërarchisch contrastief leren om representaties binnen een specifieke theorie uit te lijnen, waarbij semantisch gerelateerde waarden dichter bij elkaar worden gebracht op basis van hun gedeelde positie in de hiërarchie.
- Fase 2 (Inter-theorie): Stemt verschillende theorieën af met behulp van cross-theorie ankers afgeleid van conceptpooling en gecureerde gebruikersvriendelijke instanties, waardoor gedeelde semantische coördinaten ontstaan.
Output: Een hiërarchie-bewuste embedding-ruimte die waarde-vectoren ontkoppelt terwijl lokale affiniteiten behouden blijven.

2. VIDB (Value Intensity DataBase)

VIDB is een grootschalige bron van met waarden gelabelde teksten met intensiteitsschattingen, geconstrueerd om te dienen als referentie voor evaluatie en sturing.

Constructie: De database aggregeert rangschikkingen van meerdere LLM's met behulp van een Plackett–Luce (PL) model. In plaats van modellen te vragen om absolute scalaire beoordelingen (die instabiel zijn), presenteert het systeem vensters van teksten en vraagt het modellen om deze te rangschikken ten opzichte van een waardedefinitie.
Kalibratie: Latente intensiteitsscores worden geschat uit deze rangschikkingen en genormaliseerd naar een consistente $[-10, 10]$ schaal. Een mens-LLM verificatieloop markeert en corrigeert potentiële uitschieters.
Schaal: Het beslaat 32 waarden over vier theoretische kaders, afgeleid van 10K unieke teksten per waarde.

3. Ranking-gebaseerd Evaluatie- en Sturingsprotocol

Het framework introduceert een nieuw evaluatieprotocol en een sturingsmechanisme:

Evaluatie: Om de output van een model te scoren, construeert het systeem een ranking-venster dat de output bevat samen met $k-1$ ankerteksten uit de VIDB. Een judge-LLM rangschikt deze teksten, en de intensiteit van de output wordt geschat door de PL-likelihood te optimaliseren tegen de vaste anker-utiliteiten. Deze aanpak levert stabiele, gekalibreerde intensiteitsscores op.
Sturing: De auteurs stellen een end-to-end sturingsprotocol voor dat generatie conditioneert op $(waarde, intensiteit)$ paren. Dit wordt bereikt via:
- Intensiteit-anker prompts: Expliciete natuurlijke taal cues (bijv. "waardeert sterk", "wijst licht af").
- Gebruiker-tekst prompts: Het verstrekken van representatieve teksten uit de VIDB die overeenkomen met specifieke intensiteitsbins.

Belangrijkste Bijdragen

Verenigde Hiërarchische Embedding (HIVES): De constructie van een hiërarchische waarde-embedding ruimte die heterogene theorieën verenigt, wat een systematische studie van waarde-representatie en ontkoppeling mogelijk maakt.
Ranking-gebaseerde Evaluatie & VIDB: De voorstel van een ranking-gebaseerde evaluatiemethode voor waarde-intensiteit, vergezeld van de release van de grootschalige Value Intensity Database (VIDB). Dit framework biedt een stabiel, interpreteerbaar alternatief voor beoordelings-gebaseerde baselines, waarbij het een lagere afwijking van menselijke beoordelingen laat zien (1.4 vs. 2.1–4.2) en hogere win rates (tot 79%).
Stuurbaar Pluralisme: De uitbreiding van stuurbaarheid om zowel directionele afstemming als gegradeerde waarde-intensiteit te omvatten. Dit maakt de analyse van "stuurbaar pluralisme" mogelijk, waarbij modellen tegelijkertijd geconditioneerd kunnen worden op meerdere waarden met specifieke intensiteiten.

Experimentele Resultaten

De auteurs voerden uitgebreide grootschalige studies uit over tien modellen (waaronder Qwen3, Mistral, Phi-4, GLM-4, GPT-4.1, Claude-4, Grok-4, etc.) en vier waardetheorieën.

Sturingsregimes: Modellen vertonen drie kwalitatieve regimes:
- Zwak gestuurd: Modellen zoals Phi-4 en Claude-4 tonen beperkte controleerbaarheid, vooral bij negatieve sturing.
- Matig gestuurd: Modellen zoals Qwen3 en GPT-4.1 reageren consistent maar met waarde-afhankelijke magnituden.
- Sterk gestuurd: Modellen zoals Grok-4, Gemma-3 en GLM-4 vertonen grote verschuivingen in zowel positieve als negatieve richtingen.
Asymmetrie en Compositie:
- Dosis-respons Asymmetrie: Veel waarden vertonen polariteit-asymmetrisch gedrag (bijv. goed reageren op positieve targets, maar weerstand bieden aan negatieve).
- Compositiewetten: Bij multi-waarde sturing componeren vergelijkbare waarden ongeveer additief, terwijl tegengestelde waarden trade-offs vertonen. Sterke positieve ankers domineren vaak, waardoor negatieve targets worden afgezwakt in plaats van omgekeerd.
Demografische Afstemming: Met behulp van waarde-profielen geconstrueerd uit demografische gegevens, verbetert het framework de gedragsvoorspellingsnauwkeurigheid op OpinionQA met meer dan 10% voor bepaalde attributen (bijv. de Phi-4 Religie nauwkeurigheid steeg van 44.5% naar 57.4%) vergeleken met alleen attribuut-gebaseerde baselines.
Stabiliteit: De ranking-gebaseerde evaluator vermindert de modelinstabiliteit (variantie, sign-flip rates) en prompt-gevoeligheid aanzienlijk vergeleken met directe scalaire beoordeling.

Betekenis en Claims

Het artikel positioneert VALUEFLOW als de eerste end-to-end onderzoekstack voor waarde-bewuste afstemming. De betekenis ligt in:

Infrastructuur: Het vestigen van een schaalbare infrastructuur voor het evalueren en controleren van waarde-intensiteit, waarbij men verder gaat dan eenvoudige binaire afstemming naar gegradeerde, pluralistische controle.
Methodologische Rigor: Het bieden van een principieel pad naar pluralistische afstemming door gedrag te funderen in blijvende motivationele principes in plaats van vluchtige voorkeuren.
Praktisch Nut: Het bieden van tools voor gepersonaliseerde afstemming (via waarde-profielen) en cross-culturele inzet (via gedeelde ankers).
Veiligheidsinzichten: Het koppelen van stuurbaarheid aan veiligheid door weigeringsgedrag te profileren, wat onthult dat modellen significant variëren in hun vermogen om te worden gestuurd weg van schadelijke waarden zonder weigeringen te triggeren.

De auteurs concluderen dat hoewel het framework compromissen maakt voor interpreteerbaarheid en stabiliteit (bijv. het modelleren van intensiteit als een 1D-scalar), het een gemeenschappelijke infrastructuur biedt voor pluralistische audits en reproduceerbare waarde-gebaseerde afstemming. Ze merken expliciet op dat het framework niet is ontworpen om één enkel waardesysteem af te dwingen, maar om pluralistische expressies te analyseren en te vergelijken.