Technische Samenvatting: Pseudo-beslissing in Taalmodellen

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in besluitvormingscontexten met hoge risico's, zoals gezondheidszorg, onderwijs en werving. Een kritieke zorg is de "waarde-actie-kloof", waarbij de vermelde waarden van een model afwijken van de acties die het aanbeveelt. Hoewel recent werk deze kloof heeft geïdentificeerd in statische, meerkeuze-instellingen, is het onduidelijk hoe deze zich manifesteert in gesitueerde, conversationele dialogen.

Een heersende hypothese is dat expliciete deliberatieve redenering (bijvoorbeeld Chain-of-Thought) deze kloof overbrugt door modellen de mogelijkheid te geven na te denken over waarden voordat ze handelen. Deze paper betoogt echter dat LLM's vaak Pseudo-beslissing vertonen: een falende modus waarbij modellen oppervlakkige, principieel onderbouwde redeneringen genereren die erkende waarden aanroepen, terwijl de gegenereerde dialoog dezezelfde waarden systematisch schendt of onderdrukt. De paper stelt dat redenering alleen geen gedragsalignatie garandeert en in feite misalignatie kan versterken.

2. Methodologie

2.1 Het VALDI-Framework en de DAISY-Dataset

Om dit fenomeen systematisch te bestuderen, introduceren de auteurs VALDI (Value ALignment in DIalogue), een framework voor het meten van de alignatie tussen vermelde waarden en gegenereerde dialoog. Centraal in dit framework staat de DAISY-dataset (Decisions AI Steers for You), bestaande uit 4.941 door mensen samengestelde, advieszoekende scenario's over vijf domeinen (sociaal, ethisch, persoonlijk, enz.).

• Constructie: Scenario's zijn afgeleid van zes bestaande sociale dialoogdatasets en gecontroleerde generatie. Ze zijn parafraseerd om expliciete vermeldingen van waarden uit te sluiten, waardoor modellen gedwongen worden om concurrerende waarden impliciet af te leiden en in evenwicht te brengen.
• Taken: Het framework evalueert modellen op drie taken:
  1. Vermelde Waarde-inclination (Taak 1): Het model geeft expliciet zijn standpunt op 10 Schwartz-waarden (Aanmoedigen, Neutraal, Afkeuren) voor een bepaald scenario.
  2. Snelle Dialoog (Taak 2): Het model genereert een directe reactie zonder expliciete redenering.
  3. Trage Dialoog (Taak 3): Het model genereert een gestructureerde redeneerspoor (vier stappen) gevolgd door een definitieve reactie.

2.2 Meting en Metrieken

De auteurs maken gebruik van een tweestaps ValueJudge-pijplijn (met GPT-4.1-mini voor detectie en GPT-4.1 voor standpuntscoring) om waardesignalen uit tekst te extraheren. Ze definiëren vijf metrieken om misalignatie te kwantificeren:

• Alignatiepercentage: Macro-F1-score tussen vermelde waarden en dialoogwaarden.
• Alignatieafstand: Genormaliseerde Manhattan-afstand tussen waardenvectoren.
• Waarde-overleving: Het aandeel waarden dat in de redenering aanwezig is en ook in de definitieve dialoog blijft bestaan.
• Waarde-onderdrukking: Het aandeel waarden dat in de redenering aanwezig is maar in de definitieve dialoog wordt weggelaten.
• Waarde-emergentie: Het aandeel waarden dat in de dialoog wordt geïntroduceerd maar afwezig was in de redenering.

2.3 Interventie: Het VIVALDI-Systeem

Om mitigatiestrategieën te onderzoeken, stellen de auteurs VIVALDI voor, een multi-agent waarde-auditor die ingrijpt op verschillende generatiestadia:

• VIVALDI-R: Audit en repareert tussentijdse redeneersporen voordat de definitieve dialoog wordt gegenereerd.
• VIVALDI-D: Audit en herschrijft de definitieve dialoog achteraf zonder de redenering te wijzigen.
• VIVALDI-R&D: Een gecombineerde aanpak die zowel reparaties op redeneringsniveau als op dialoogniveau toepast.

3. Belangrijkste Resultaten

3.1 Bewijs van Pseudo-beslissing

Over eigendomsmodellen (GPT-4o, Gemini-3-Flash) en open-weight-modellen (Llama-3.1-8B, Qwen3-8B) heen, vindt de studie een consistente misalignatie tussen vermelde waarden en uitgevoerde acties.

• Redenering verslechtert Alignatie: In tegenstelling tot de hypothese dat redenering de alignatie verbetert, levert "Trage Denken" (deliberatieve generatie) consequent lagere alignatiepercentages en hogere alignatieafstanden op dan "Snelle Denken" (intuïtieve generatie). Voor GPT-4o daalde het alignatiepercentage van 0,4528 (Snel) naar 0,4150 (Traag).
• Onderdrukking van Waarden: Decompositieanalyse toont aan dat modellen waarden vaak aanroepen in redeneersporen, maar deze onderdrukken in de definitieve dialoog. Deze onderdrukking is vooral uitgesproken voor op zichzelf gerichte waarden (bijvoorbeeld Stimulatie, Macht, Prestatie), terwijl sociaal normatieve waarden (bijvoorbeeld Veiligheid, Universalisme) hogere overlevingspercentages vertonen.
• Statistische Significantie: Permutatietests bevestigen dat de verslechtering van de alignatie onder Trage Denken statistisch significant is voor de meeste modellen.

3.2 Effectiviteit van Interventies

De VIVALDI-experimenten tonen aan dat de interventiestrategie significant uitmaakt:

• Audit op Dialoogniveau Wint: Achteraf audit en herschrijven van de definitieve dialoog (VIVALDI-D) levert de meest robuuste en consistente winsten in alignatie op.
• Beperkingen op Redeneringsniveau: Interventies die alleen gericht zijn op de redeneersporen (VIVALDI-R) tonen kleinere, meer variabele winsten en slagen er vaak niet in om alignatie door te geven naar de definitieve output.
• Menselijke Evaluatie: Blinde paarsgewijze menselijke evaluaties bevestigen dat VIVALDI-outputs worden verkiest boven baselines, waarbij de gecombineerde VIVALDI-R&D-aanpak de hoogste winpercentages behaalt (>70%). De variant die alleen de dialoog betreft, blijft echter zeer effectief, wat de bevinding bevestigt dat alignatie een eigenschap is van de actie, niet van de deliberatie.

4. Bijdragen

1. VALDI-Framework en DAISY-Dataset: De release van de eerste evaluatiesuite voor gesitueerde waarde-actie-alignatie in dialoog, met 4.941 scenario's en metrieken die misalignatie ontleden in overleving, onderdrukking en emergentie.
2. Definitie en Bewijs van Pseudo-beslissing: De identificatie van een falende modus waarbij deliberatieve redenering niet aligneert met acties, wat de aanname uitdaagt dat meer redenering inherent leidt tot meer trouw gedrag.
3. VIVALDI Multi-Agent Auditor: De introductie van een multi-agent systeem voor alignatie op actie-niveau, dat aantoont dat het auditeren van de output effectiever is dan het auditeren van het redeneerproces.

5. Betekenis en Claims

De paper stelt dat waarde-actie-alignatie in LLM's niet van nature voortkomt uit deliberatieve redenering alleen. In plaats daarvan fungeert het generatieproces zelf als een filter dat geredeneerde waarden kan onderdrukken, met name die gerelateerd aan zelfverbetering of individuele voorkeur.

De auteurs betogen dat uitsluitend vertrouwen op Chain-of-Thought of gestructureerde redenering om ethisch gedrag te waarborgen ontoereikend en potentieel misleidend is. Ze concluderen dat strategieën voor alignatie op actie-niveau – specifiek achteraf audit en herschrijven van de definitieve output – noodzakelijke aanvullingen zijn op op redenering gebaseerde methoden. Dit suggereert dat ervoor zorgen dat LLM's handelen in overeenstemming met hun waarden directe interventie vereist op het moment van generatie, in plaats van aan te nemen dat principieel redeneren automatisch zal vertalen naar principieel handelen.

Het werk benadrukt de behoefte aan evaluatieframeworks die verder gaan dan statische waarde-articulatie om de consistentie van waarden te beoordelen in dynamische, gesitueerde dialoog, waar de "waarde-actie-kloof" het meest ingrijpend is.