Technische Samenvatting: Framing Matters: Aanpak van Framinggevoeligheid in Besluitvorming via Gedragsgegronde Waardenalignatie

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in besluitvormingsdomeinen met hoge risico's, zoals juridisch redeneren, medische triage en moreel oordeel. Een kritieke vereiste voor deze systemen is consistentie: het model moet dezelfde beslissing nemen wanneer het wordt geconfronteerd met feitelijk equivalente invoer, ongeacht hoe die invoer taalkundig wordt geframed.

Echter, dit artikel identificeert een aanzienlijke kwetsbaarheid: LLM's vertonen een hoge vatbaarheid voor framing-effecten, waarbij feitenbehoudende maar semantisch hergerichte invoer ertoe leidt dat het model zijn beslissingen herroept. In tegenstelling tot menselijke cognitieve bias (zoals verliesaversie en present bias), die goed gedocumenteerd zijn, blijven de interne mechanismen die framinggevoeligheid bij LLM's aandrijven slecht begrepen. Bestaande mitigeringsstrategieën, zoals instructies op promptniveau of sturing op basis van activatie, slagen er vaak niet in om deze gevoeligheid te onderdrukken en versterken deze in sommige gevallen zelfs actief. Het kernprobleem is dat huidige interventies oppervlakkige symptomen aanpakken in plaats van de onderliggende representatiewegen waarlangs framing werkt.

2. Methodologie

2.1 De FRAGILE-benchmark

Om dit probleem systematisch te onderzoeken, introduceren de auteurs FRAGILE, een grote benchmark die is ontworpen om feitenbehoudende semantische framing te isoleren binnen vier domeinen met hoge risico's:

1. Moreel Dilemma (GGB, UNIBENCH)
2. Medische Triage (TRIAGE, MEDICAL TRIAGE ALIGNMENT DATASET)
3. Juridisch Oordeel (SUPER-SCOTUS)
4. Interpersoonlijk Rolconflict (ROLECONFLICTBENCH)

De benchmark transformeert basisscenario's langs drie gecontroleerde, orthogonale dimensies die zijn afgeleid uit psychologische theorie:

• Waarde-getinte Narratie: Verbergt latente waardeoriëntaties (gebaseerd op Schwartz' menselijke waarden) in het scenario zonder feiten te veranderen (bijvoorbeeld het framen van een actie als "anderen beschermen" versus "autonomie").
• Temporeel Snede: Verschuift de waargenomen tijds horizon van consequenties (kortetermijn versus langetermijn) op het niveau van de optie.
• Narratieve Levendigheid: Modereert de ervaringsconcretiteit door middel van actiegerichte formulering (bijvoorbeeld "censuur indrukken" versus "de post censureren").

De benchmark bevat 48.140 instanties, inclusief varianten met omgewisselde labels om positiebias te controleren. Framinggevoeligheid wordt gekwantificeerd via Flip Rate (gedragsinconsistentie) en Distributionele Shift (L1-afstand tussen beslissingsdistributies).

2.2 Diagnostische Analyse

De auteurs maken gebruik van Logit Lens-analyse om verborgen toestanden bij het beslissingstoken te projecteren naar de vocabulaire-ruimte. Dit stelt hen in staat om na te gaan hoe framing de interne representaties laag voor laag verandert. De analyse toont aan dat door framing veroorzaakte beslissingsflips geen verschijnsel van vroege lagen zijn, maar voortkomen uit verschuivingen in representaties in late lagen die geconcentreerd zijn nabij de beslissingsgrens. Er werden onderscheidende token-niveau signalen geïdentificeerd voor elk framingtype:

• Waarde-getint: Gedistribueerde herorganisatie van de waardenruimte.
• Temporeel: Activering van urgentiepaden (bijvoorbeeld tokens als "onmiddellijk", "UIT").
• Levendigheid: Versterking van ambivalentie of beeldspraak die een scène oproept.

2.3 Het VALIGN-kader

Om deze effecten te mitigeren, stelt het artikel VALIGN voor, een kader voor interventie op representatieniveau dat beslissingen verankert aan een stabiele waardenprior. Het werkt in drie fasen:

1. Extractie van Zelfrapportage-vector: Het model wordt gevraagd om zijn kernwaarden te articuleren. De verborgen toestand op een specifieke laag (ongeveer 65–70% diepte) wordt geëxtraheerd om een Waardenvector ($\hat{w}$) te vormen, die de intrinsieke waardeoriëntatie van het model vertegenwoordigt.
2. Constructie van Gevoeligheidsruimte: Met behulp van PCA op de verschilvectoren tussen geframede en basis-verborgen toestanden, identificeren de auteurs een laag-dimensionale Temporeel-Levendigheid Gevoeligheidsruimte ($\{\hat{v}_1, \dots, \hat{v}_K\}$) waarin representaties het meest gevoelig zijn voor framingkaders.
3. Interventie tijdens Inferentie: Tijdens de voorwaartse doorgang wordt de verborgen toestand ($h$) gewijzigd via:
   • Waardensturing: Het toevoegen van de waardenvector om de toestand naar waarden-consistente richtingen te sturen: $h^* = h + \alpha \hat{w}$.
   • Orthogonale Projectie: Het projecteren van de componenten van de gevoeligheidsruimte uit de gestuurde toestand: $h' = h^* - \sum (h^* \cdot \hat{v}_i)\hat{v}_i$.

Dit proces wordt gecombineerd met een systeemprompt op tekstniveau, de Waardenanker, die het model instrueert om te redeneren vanuit kernwaarden in plaats van oppervlakkige aanwijzingen.

3. Belangrijkste Resultaten

3.1 Framinggevoeligheid

Experimenten met LLaMA-3.1-8B, Mistral-7B en Qwen2.5-7B onthullen ernstige framing-instabiliteit:

• Gemiddelde Beslissingsflip Rate: 28,6% over alle modellen en framingtypes heen.
• Waarde-getinte Narratie veroorzaakt de sterkste instabiliteit (Gemiddelde Flip 36–47%), gevolgd door Temporeel Snede (21–38%), terwijl Narratieve Levendigheid zwakkere maar nog steeds significante effecten oplevert (~8–18%).
• Basisfouten: Bestaande mitigeringsstrategieën (instructie-prompting, Chain-of-Thought, Concept Activation Vectors) versterkten consistent de framinggevoeligheid, waardoor de flip-rates in veel gevallen met 20–40 procentpunten toenamen.

3.2 VALIGN-prestaties

VALIGN toont consistente en significante mitigatie over alle modellen en framingtypes heen:

• Reductie Flip Rate: Verminderde de gemiddelde flip rate van 28,6% (Basis) naar 13,2% (VALIGN).
• Stabiliteitswinst: Het aandeel stabiele, laag-gestoorde responsen (NL%) steeg van 67,1% naar 81,9%.
• Specifieke Verbeteringen:
  • Onder Waarde-getinte Narratie daalden de flip rates van ~40% naar ~13%.
  • Onder Temporeel Snede daalden de flip rates van ~30% naar ~13%.
  • De methode onderdrukt effectief hoog-vertrouwde flips (FH%), wat aangeeft dat de interne geloofsdistributies van het model robuuster worden, niet alleen de uiteindelijke output.
• Generalisatie: De methode blijft effectief op grotere modellen (LLaMA-3.1-70B) en in multi-framing scenario's waarbij meerdere framingkaders worden gecombineerd.

3.3 Ablatiestudies

Ablatiestudies bevestigen dat alle drie componenten van VALIGN noodzakelijk zijn:

• Het verwijderen van de Temporeel-Levendigheid Projectie veroorzaakt de grootste degradatie, met name voor temporele en levendigheidsframing.
• Het verwijderen van de Tekst Waardenanker verhoogt de flip rates, wat aantoont dat expliciete gronding vereist is.
• Het verwijderen van Waardensturing vermindert de stabilisatie van interne geloofsdistributies (NL% daalt).

4. Betekenis en Claims

Het artikel claimt dat het bereiken van framing-invariante besluitvorming in LLM's diepe, representatieve interventies vereist in plaats van oppervlakkige prompt engineering.

• Mechanistisch Inzicht: Het werk levert bewijs dat framinggevoeligheid wordt aangedreven door specifieke interne paden (verschuivingen in representaties in late lagen) die kunnen worden geïdentificeerd en geneutraliseerd.
• Beperkingen van Huidige Methoden: Het benadrukt dat standaard alignatietechnieken (prompts, CoT) ontoereikend zijn en contraproductief kunnen zijn voor stabiliteit, omdat ze de onderliggende representatieve oorzaken van framingbias niet aanpakken.
• Robuustheid via Waardenalignatie: De bevindingen suggereren dat het verankeren van modelbeslissingen aan een stabiel, intrinsiek waardeprofiel besluitvorming effectief kan ontkoppelen van tijdelijke framingkaders, wat een weg biedt naar betrouwbaardere AI in domeinen met hoge risico's.

De auteurs houden een bescheiden standpunt, waarbij zij erkennen dat hoewel de benchmark zich richt op binaire beslissingen voor gecontroleerde evaluatie, de onderliggende mechanismen waarschijnlijk uitbreiden naar complexere, meerkeuzebeslissingsruimtes (wat zij kort valideren in de appendix). Zij merken ook op dat hoewel VALIGN de stabiliteit verbetert, er mogelijk trade-offs zijn met taakspecifieke nauwkeurigheid in bepaalde domeinen (bijvoorbeeld rolconflict), wat suggereert dat toekomstig werk consistentie moet afwegen tegen normatieve correctheid.