💰 quantitative finance

Measuring Behavior Portability in Large Language Models

Dit artikel introduceert een formeel kader om gedragsportabiliteit in grote taalmodellen te meten en demonstreert door middel van gecontroleerde experimenten dat hun besluitvormingsgedrag, ondanks dat het structureel equivalent is, niet betrouwbaar overdraagbaar is naar verschillende beslissingsomgevingen vanwege een significante gevoeligheid voor de oppervlakkige presentatie.

Oorspronkelijke auteurs: Tianjia Dong, Nadav Kunievsky, James A. Evans

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianjia Dong, Nadav Kunievsky, James A. Evans

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, hooggetrainde besluitvormer hebt (een AI) die zich gedraagt als een professionele chef-kok. Je wilt weten of deze chef dezelfde heerlijke maaltijd kan bereiden, ongeacht of je hem vraagt het in een chique Franse keuken te koken, in een rustiek Italiaans bistro of in een moderne Amerikaanse diner.

Het artikel "Measuring Behavior Portability in Large Language Models" stelt een eenvoudige maar cruciale vraag: Kan een AI op precies dezelfde manier een beslissing nemen als de situatie anders wordt beschreven, zelfs als de wiskunde en de beloningen identiek zijn?

De auteurs noemen dit "Gedragsportabiliteit" (Behavioral Portability).

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. Het kernprobleem: De "Framing"-valstrik

Stel je voor dat je een spel speelt waarbij je een pizza moet verdelen.

Scenario A: Je krijgt te horen: "Je hebt een pizza. Geef een deel aan je vriend."
Scenario B: Je krijgt te horen: "Je hebt een pizza. Je vriend heeft honger en verdient een deel."

Wiskundig gezien zijn de regels identiek. De "opbrengst" (hoeveel pizza je krijgt) is hetzelfde. Maar de woorden die de situatie beschrijven, zijn verschillend.

De onderzoekers testten of Large Language Models (LLM's) consistent gedrag vertonen bij deze verschillende formuleringen. Ze kwamen tot de conclusie dat de modellen niet portabel zijn. Net zoals een chef die een perfect biefstuk bereidt in een Franse keuken, maar het in een Italiaanse keuken laat aanbranden, verandert de AI zijn gedrag op basis van de "smaak" van de tekst, zelfs wanneer de "ingrediënten" (de wiskunde) hetzelfde zijn.

2. Het experiment: Zeven economische spellen

Om dit te testen, stelden de onderzoekers de AI niet bloot aan willekeurige vragen. Ze lieten de AI zeven klassieke economische spellen spelen (zoals het "Dictator Game", "Trust Game" en "Lottery Choice"). Dit zijn vergelijkbaar met gestandaardiseerde rijtests voor besluitvorming.

De opzet: Ze maakten tientallen verschillende "versies" van elk spel. In de ene versie gaat het spel misschien over het delen van geld met een "collega". In een andere versie gaat het over het verdelen van een "bonus" met een "partner".
De twist: De getallen, de regels en de potentiële beloningen waren exact hetzelfde. Alleen het verhaal rondom de cijfers veranderde.
De test: Ze leerden de AI hoe het spel gespeeld moest worden met de "Franse keuken"-verhalen. Daarna vroegen ze de AI om hetzelfde spel te spelen met de "Italiaanse bistro"-verhalen.

3. De resultaten: De AI raakt in de war van het verhaal

De resultaten waren verrassend en zorgwekkend voor iedereen die vertrouwt op AI voor consistente beslissingen:

De AI is fragiel: Wanneer het verhaal veranderde, veranderden de beslissingen van de AI aanzienlijk. Een model dat leerde om "eerlijk" te zijn in één verhaal, kon in een wiskundig identiek verhaal "egoïstisch" worden, simpelweg omdat de woorden anders waren.
De "Portabiliteit"-score: De onderzoekers maten hoeveel het gedrag van de AI verschoof. Ze ontdekten dat voor sociale spellen (zoals delen of vertrouwen) het gedrag van de AI erg instabiel was. Het was als een kompas dat wild ronddraait afhankelijk van de windrichting, terwijl de Poolster zelf niet is bewogen.
De uitzondering (Loterijen): De AI was veel stabieler wanneer de taak puur over getallen en risico ging (zoals het kiezen tussen twee loterijen). Het lijkt erop dat de AI wiskunde beter aankan dan sociale verhalen.

4. Helpt "hardop denken"? (Chain-of-Thought)

De onderzoekers probeerden een veelgebruikte truc: de AI vragen om "stap voor stap na te denken" voordat hij antwoord geeft (dit wordt "Chain-of-Thought" of CoT genoemd).

De hoop: Misschien als de AI zijn redenering uitlegt, zal hij de afleidende verhalen negeren en zich op de wiskunde concentreren.
De realiteit: Het hielp soms, maar niet altijd. In sommige spellen maakte hardop denken de AI consistenter. In andere (zoals het Ultimatum game) maakte het de AI juist gevoeliger voor de specifieke formulering van het verhaal. Het is als een student die, wanneer hij gevraagd wordt zijn werk uit te leggen, soms zijn fout beseft, maar op andere momenten juist afgeleid raakt door zijn eigen uitleg en een nieuwe fout maakt.

5. De "Redeneer"-modellen

Ze testten ook een nieuwer, "slimmer" model (DeepSeek-R1) dat specifiek is ontworpen voor complexe redenering.

Het resultaat: Dit model was beter in het negeren van het verhaal en het focussen op de wiskunde. Het was meer "portabel". Echter, het was niet perfect. Zelfs het slimste model vertoonde enige instabiliteit wanneer het verhaal veranderde.

De kernconclusie

Het artikel concludeert dat je er niet vanuit kunt gaan dat het gedrag van een AI hetzelfde blijft, alleen omdat de wiskunde hetzelfde is.

Als je een AI traint om eerlijke beslissingen te nemen in een specifieke reeks prompts, kun je er niet automatisch op vertrouwen dat de AI diezelfde eerlijke beslissingen neemt wanneer je het probleem op een iets andere manier beschrijft. De AI is momenteel te gevoelig voor de "smaak" van de tekst.

Kortom: De AI is als een reiziger die de kaart perfect kent, maar verdwaalt als je de bestemming in een andere taal beschrijft. Totdat we dit oplossen, kunnen we deze modellen niet volledig vertrouwen om consistente beslissingen te nemen in de echte wereld, waar problemen zel

Technische Samenvatting: Het Meten van Gedragsportabiliteit in Large Language Models

Probleemstelling

Large language models (LLM's) worden steeds vaker ingezet als autonome besluitvormers, die inputs mappen naar distributies over acties. Een cruciale uitdaging in hun evaluatie is gedragsportabiliteit: de mate waarin een gedragsmapping die geleerd is in één beslissingsomgeving overdraagt naar een andere omgeving die dezelfde onderliggende prikkelstructuur (betekenisvolle kenmerken voor de uitbetaling) behoudt, maar verschilt in de oppervlakkige presentatie (betekenisloze inkadering).

Huidige evaluatiepraktijken vertrouwen op eindige prompt-suites, waarbij impliciet wordt aangenomen dat zodra een taak is vastgesteld, de door het model geïnduceerde actiedistributie stabiel blijft onder betekenisloze herformuleringen van de uitbetaling. Deze aanname is echter niet getest en potentieel fragiel. Als het gedrag van een LLM afhankelijk is van betekenisloze kenmerken (bijv. narratieve toon, specifieke labels of inkadering), kunnen eindige evaluaties de prestaties niet betrouwbaar certificeren in open scenario's van real-world deployment, waarbij het "contract" tussen de principaal en de agent incompleet is. Het artikel stelt dat als een model werkelijk is afgestemd op de doelstellingen van een evaluator, het gedrag uitsluitend afhankelijk moet zijn van betekenisvolle variabelen ( $x$ ) en invariant moet zijn voor betekenisloze variabelen ( $z$ ).

Methodologie

Conceptueel Kader

De auteurs formaliseren een beslissingsomgeving als $e = (x, z)$ , waarbij $x$ de betekenisvolle kenmerken voor de uitbetaling vertegenwoordigt en $z$ de betekenisloze kenmerken voor de uitbetaling.

Alignment (Afstemming): Een beleid $\pi$ is afgestemd als het de nut-maximaliserende actiedistributie selecteert voor een gegeven $x$ , ongeacht $z$ .
Portability (Portabiliteit): Een beleid is $T$ -portabel als een gedragssamenvatting $T$ (bijv. de actiedistributie) alleen afhankelijk is van $x$ .
Theoretische Implicatie: Onder een uniciteitsconditie voor het optimum van de evaluator, impliceert alignment portabiliteit. Bij consequentie zou een gedachtsmodel dat gefit is op bronomgevingen met enkel $x$ , het gedrag in een gehouden target-omgeving (met dezelfde $x$ -distributie) net zo nauwkeurig moeten voorspellen als een model dat direct op de target-data is gefit.

Empirisch Protocol

De auteurs introduceren een train-op-omgevingen, test-op-een-andere protocol om portabiliteit te meten:

Taakselectie: Zeven canonieke economische beslissingsproblemen worden gebruikt: Dictator, Ultimatum, Trust, Public Goods, Beauty Contest, Lottery Choice en Normal Form games. Deze taken bieden transparante, laagdimensionale uitbetalingsstructuren.
Omgevinggeneratie: Voor elke taak worden 40 verschillende tekstuele omgevingen ( $z$ ) gegenereerd. Deze variëren in narratieve inkadering, metaforen en stijl, terwijl de uitbetalingsparameters ( $x$ ) en de actieruimtes identiek blijven.
Datacollectie: LLM's worden bevraagd over deze omgevingen met variërende uitbetalingsparameters. Acties worden geëxtraheerd en geparsed.
Model Fitting:
- Source-trained: Een interpreteerbaar gedachtsmodel (Ordinary Least Squares regressie) wordt gefit op samengevoegde data uit een subset van bronomgevingen, waarbij $x$ wordt gemapt naar voorspelde acties.
- Target-trained: Dezelfde modelarchitectuur wordt direct gefit op data van een gehouden target-omgeving.
Evaluatie: Beide modellen worden geëvalueerd op de gehouden target testset.
Metriek: De primaire metriek is de Total Variation (TV) afstand tussen de gezamenlijke distributie van (voorspelde actie, gerealiseerde actie) geïnduceerd door het source-getrainde model versus het target-getrainde model in de target-omgeving.
- Deze metriek is loss-agnostic: Een TV-afstand van $\epsilon$ impliceert dat voor elke begrensde evaluatiecriteria gedefinieerd op het voorspellings-actie paar, het verwachte verschil in prestatie tussen de twee modellen maximaal $\epsilon$ is.

Modellen en Condities

De studie evalueert verschillende modellen: GPT-4.1-nano, Gemma-3-12B, Llama-3.1-8B, Llama-3.1-70B, en DeepSeek-R1. Experimenten worden uitgevoerd onder twee prompting-regimes:

Non-CoT: Directe antwoordgeneratie.
Chain-of-Thought (CoT): Stap-voor-stap redeneren gevolgd door een antwoord.

Belangrijkste Resultaten

1. Substantiële Portabiliteitsverliezen

De studie vindt dat de gedragsportabiliteit imperfect is over alle geteste modellen.

Grootte: De gemiddelde TV-afstand over modellen en games is 0,349, wat duidt op een significante divergentie. Dit impliceert dat een gedragsmapping die geleerd is in één formulering vaak faalt in het voorspellen van gedrag in een betekenis-equivalente alternatieve formulering.
Taakvariantie: Portabiliteit varieert per type taak.
- Hoge Portabiliteit: Lottery Choice (TV $\approx$ 0,052), waarbij beslissingen expliciet kwantitatief zijn.
- Lage Portabiliteit: Sociale en strategische taken zoals Dictator (TV $\approx$ 0,525), Trust (TV $\approx$ 0,525) en Ultimatum (TV $\approx$ 0,480). Deze taken, die betrokken zijn bij eerlijkheid, samenwerking of wederkerigheid, vertonen de grootste gevoeligheid voor inkadering.

2. Impact van Chain-of-Thought (CoT)

CoT-prompting verbetert de portabiliteit gemiddeld, maar doet dit niet monotoon of uniform.

Gemiddelde Verbetering: CoT vermindert de gemiddelde TV-afstand met 0,047 (12,6%) vergeleken met Non-CoT.
Heterogeniteit: Het effect van CoT hangt af van de interactie tussen het model, de specifieke game en de inkadering.
- In Normal Form games vermindert CoT de portabiliteitsverlies drastisch (bijv. -79,7% voor GPT-4.1-nano), waarschijnlijk door de redenering te verankeren aan de expliciete uitbetalingsmatrix.
- In Ultimatum en Dictator games verhoogt CoT soms de portabiliteitsverlies (bijv. +21,3% voor GPT-4.1-nano in Ultimatum), wat suggereert dat redeneersporen de gevoeligheid voor eerlijkheidsnarratieven of specifieke bewoordingen eerder versterken dan abstraheren.
Diagnostiek: Het toevoegen van omgeving-indicatoren verhoogt de $R^2$ meer onder Non-CoT dan onder CoT, wat bevestigt dat CoT de resterende afhankelijkheid van betekenisloze inkadering vermindert maar niet elimineert.

3. Redeneermodellen

DeepSeek-R1, een model gespecialiseerd in redeneren, demonstreert superieure portabiliteit in de taken waarin het werd getest (Lottery Choice, Beauty Contest, Normal Form).

Het ligt consistent nabij de best geobserveerde portabiliteitsgrens.
Mechanisme: DeepSeek-R1 vertoont een hoge "numerieke gronding", waarbij het in bijna 100% van de gevallen de betekenisvolle parameters voor de uitbetaling vermeldt. De redeneermotieven zijn georganiseerd rond formele taakstructuren (bijv. verwachte waarde, Nash-evenwicht) in plaats van frame-specifieke narratieven.
Nash Support: In Normal Form games selecteert DeepSeek-R1 acties die ondersteund worden door een Nash-evenwicht in 99,5% van de gevallen, waarmee het andere modellen significant overtreft.

Betekenis en Claims

Het artikel claimt een formeel kader en empirisch bewijs te bieden dat gedragskarakteriseringen van LLM's verkregen in één beslissingsomgeving niet betrouwbaar kunnen worden verondersteld te transfereren naar structureel equivalente alternatieven.

Evaluatie-implicaties: De resultaten dagen de standaardpraktijk uit om prestaties te extrapoleren van eindige prompt-suites naar ongeziene tekstuele varianten. Als de portabiliteit laag is, reflecteert het gedrag van een model in een testsuite mogelijk niet het gedrag in deployment, zelfs als de onderliggende prikkels identiek zijn.
Alignment (Afstemming): De bevindingen suggereren dat huidige LLM's niet volledig "afgestemd" zijn in de zin van invariantie voor betekenisloze kenmerken voor de uitbetaling. Hun besluitvormingsprocessen zijn gevoelig voor de "contractuele" oppervlakkige vorm van de prompt.
Robuustheid: Hoewel CoT en redeneringsgespecialiseerde modellen (zoals DeepSeek-R1) de portabiliteit kunnen verbeteren door de onderliggende betekenisvolle structuur te herstellen, garanderen ze dit niet. De gevoeligheid voor inkadering blijft een fundamentele eigenschap van de geteste modellen.

De studie concludeert dat portabiliteit een empirisch object is dat gemeten moet worden, en geen eigenschap die men kan certificeren met een eindige suite, en dat het bereiken van echte gedragsportabiliteit in LLM's een aanzienlijke uitdaging blijft.