📈 economics

Model Selection as Policy Choice: Open-Weight LLMs Converge on Institutions but Diverge on Economic Policy

Deze studie toont aan dat open-weight grote taalmodellen geen uitwisselbare instrumenten zijn voor beleidsanalyse, aangezien de modelselectie — in plaats van de sampling-temperatuur — stabiele, gestructureerde divergenties in economische beleidspreferenties aanstuurt terwijl consensus over institutionele en milieuaspecten behouden blijft, waardoor modelkeuze een cruciale beslissing voor het bestuur wordt.

Oorspronkelijke auteurs: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Gepubliceerd 2026-07-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Niet Alle AI-Chefs Koken Dezelfde Gerechten

Stel je voor dat je een overheidsfunctionaris bent die probeert te beslissen over een nieuw economisch beleid. Je vraagt een AI om advies. De meeste mensen gaan ervan uit dat als ze vijf verschillende AI-modellen dezelfde vraag stellen, ze vijf licht verschillende versies van hetzelfde antwoord zullen krijgen, zoals wanneer je vijf verschillende mensen vraagt om hetzelfde gedicht op te zeggen.

Dit paper betoogt dat deze aanname onjuist is.

In plaats van uitwisselbare instrumenten, ontdekten de auteurs dat verschillende AI-modellen lijken op verschillende chefs met duidelijke persoonlijkheden en politieke filosofieën. Als je hen dezelfde vraag stelt over de economie, geven ze niet alleen andere woorden; ze kiezen vaak volledig andere recepten op basis van hun eigen verborgen "smaak".

Het Experiment: De AI-Proeverij

De onderzoekers organiseerden een enorme proeverij.

De Voorraadkast: Ze verzamelden 40 verschillende "open-weight" AI-modellen (dit zijn modellen die iedereen kan downloaden en op de eigen computer kan draaien, in tegen tegenstelling tot de geheime modellen die eigendom zijn van grote techbedrijven).
Het Menu: Ze gaven elk model exact hetzelfde vragenlijst. De vragen gingen over moeilijke onderwerpen zoals inflatie, werkloosheid, huisvesting en internationale betrekkingen.
De Regels: Voor elke vraag moesten de modellen vier verschillende mogelijke antwoorden (A, B, C of D) beoordelen op een schaal van 0 tot 100.
De Herhaling: Om er zeker van te zijn dat de resultaten niet gewoon willekeurige foutjes waren, stelden ze elk model 100 keer per vraag.

Wat Ze Ontdekten

1. De "Persoonlijkheid" is Echt, Niet Willekeurig

Als je een munt opgooit, is het resultaat willekeurig. Wanneer je een AI een vraag stelt, zou je ook enige willekeur verwachten. De onderzoekers ontdekten dat willekeur (ruis) eigenlijk heel klein was.

De Analogie: Stel je een koor voor. Als de zangers zomaar willekeurige geluiden zouden maken, zou het geluid een chaos zijn. Maar hier ontdekten de onderzoekers dat de "stem" van elke zanger (elke AI-model) heel onderscheidend en stabiel was.
Het Resultaat: Ongeveer 57% van de verschillen in antwoorden kwam door welk model het antwoord gaf. Het veranderen van de "temperatuur" (een instelling die een AI meer of minder willekeurig maakt) veranderde het antwoord nauwelijks (minder dan 2%). Dit betekent dat de modellen stabiele, ingebouwde vooroordelen hebben die niet verdwijnen simpelweg door aan een instelling te draaien.

2. Ze Zijn Het Eens Over "Wie de Baas Is", Maar Vechten Over "Hoe het Geld Uit te geven"

De onderzoekers gebruikten een statistische kaart (zoals een GPS voor ideeën) om te zien waar de modellen stonden. Ze vonden twee belangrijke "breuklijnen" waar de modellen van elkaar verschilden:

De "Vertrouwen in Instituties" Lijn (Waar ze het grotendeels eens zijn): Bijna alle modellen waren het erover eens dat internationale organisaties, regels en formele instituties belangrijk zijn. Ze hielden allemaal over het algemeen van het idee om de regels te volgen en experts te vertrouwen.
De "Economische Filosofie" Lijn (Waar ze vechten): Dit is waar de modellen uiteenliepen.
- Groep A (De Marktliefhebbers): Deze modellen geven de voorkeur aan het laten beslissen door de vrije markt, het verminderen van regelgeving en het prioriteren van groei.
- Groep B (De Interventionisten): Deze modellen geven de voorkeur aan overheidsingrijpen om ongelijkheid te bestrijden, prijzen te controleren en het milieu te beschermen, zelfs als dat de groei vertraagt.

De "Stagflatie" Test:
De onderzoekers stelden een klassieke moeilijke vraag: "Het land heeft hoge inflatie EN hoge werkloosheid. Wat doen we?"

Sommige modellen zeiden: "Bestrijd inflatie, zelfs als mensen hun baan verliezen."
Anderen zeerden: "Red de banen, zelfs als de prijzen stijgen."
Anderen zeiden: "Maak strikte regels voor beide."
Anderen zeiden: "Gebruik een mix van vreemde, experimentele controles."
De Schok: Elk een van deze vier antwoorden was de "topkeuze" voor ten minste enkele van de modellen. Er was geen enkelvoudig "AI-antwoord".

3. De "Zelfverzekerdheid" Valstrik

Een van de meest interessante bevindingen ging over zelfverzekerdheid.

Sommige modellen waren erg verlegen en zeiden: "Ik weet het niet zeker" (lage betrouwbaarheidsscores).
Anderen waren erg luidruchtig en zeiden: "Ik weet het antwoord!" (hoge betrouwbaarheidsscores).
De Twist: De zelfverzekerdheid van een model hing niet af van hoe moeilijk de vraag was. Het hing volledig af van welk model het was.
De Analogie: Het is als een student die altijd een C haalt maar zegt: "Ik weet 100% zeker dat ik gelijk heb", terwijl een andere student een A haalt maar zegt: "Ik weet het slechts voor 50% zeker". Als je een beleidsmaker bent, kun je verleid worden om het luide, zelfverzekerde model te vertrouwen, zelfs als het net zo bevooroordeeld is als het stille model.

4. Grootte Betekent Niet "Beter" Politiek

Je zou denken dat een grotere, slimmere AI (met meer "hersencapaciteit") een meer gebalanceerd of "correct" politiek standpunt zou hebben.

De Bevinding: Grotere modellen waren iets consistenter (minder ruis), maar ze hadden geen ander politiek standpunt dan kleinere modellen.
De Analogie: Een gigantische, superintelligente robot en een kleine, eenvoudige robot kunnen beide "Marktliefhebbers" zijn of beide "Interventionisten". Je kunt het politieke vooroordeel van een model niet raden door alleen naar de grootte of de merknaam te kijken.

De Kernboodschap: Kiezen van een Model is een Politieke Keuze

Het paper concludeert dat het kiezen van welk AI-model te gebruiken niet een technisch detail is, maar een beleidsbeslissing.

De Metafoor: Als je een consultant inhuurt om een rapport over de economie te schrijven, huur je een persoon met een specifiek wereldbeeld in. Als je AI-model X inhuurt, huur je een "Marktconservatief" in. Als je AI-model Y inhuurt, huur je een "Overheidsinterventionist" in.
Het Gevaar: Als je dit niet weet, denk je misschien dat de AI je een neutraal, objectief feit geeft. Maar in werkelijkheid injecteert de AI stilletjes zijn eigen verborgen waarden in je beleidsbeslissingen.

De Les:
Voordat we AI gebruiken om te helpen bij het nemen van overheidsbeslissingen, moeten we het behandelen als een menselijke expert: Controleer hun achtergrond, ken hun vooroordelen, en vertrouw niet blindelings op één persoon's mening. We moeten verschillende AI's gebruiken, hun antwoorden vergelijken en het volledige plaatje bekijken, in plaats van één "standaardmodel" de beslissing over onze toekomst te laten nemen.

Technische Samenvatting: Modelselectie als Beleidskeuze

Probleemstelling
Large Language Models (LLM's) worden steeds vaker geïntegreerd in beleidsanalyse, strategische planning en besluitvormingsondersteuning. De toegepaste praktijk behandelt individuele modellen echter vaak als uitwisselbare instrumenten, een aanname die zelden empirisch wordt getoetst. Dit artikel stelt dat deze aanname gebrekkig is: wanneer taken en prompts constant worden gehouden, kunnen LLM's nog steeds systematisch verschillen in de manier waarop zij economische en institutionele dilemma's kaderen. Deze verschillen zijn niet louter decoratiefieve ruis, maar weerspiegelen stabiele oriëntaties die ingebed zijn in trainingsdata, architectuur en alignment-doelstellingen. Bijgevolg is de keuze voor een specifiek model in beleidscontexten geen neutrale technische details, maar een substantiële bestuurlijke beslissing die de narratieven, normatieve accenten en de afwegingen die in beleidsvoorstellen naar voren worden gebracht, beïnvloedt.

Methodologie
De studie maakt gebruik van een gecontroleerd, reproduceerbaar experimenteel ontwerp om de gedragsregulariteiten van 40 open-weight LL's in kaart te brengen, uitgevoerd via Ollama op lokale systemen.

Datageneratie: Een vaste meerkeuzevragenlijst werd aan alle modellen voorgelegd. Het instrument bestrijkt macrofiscale afwegingen, reguleringsdilemma's, internationale instituties, percepties van publieke figuren en politiek-economische interpretatieve kaders.
Experimenteel Protocol:
- Replicatie: Elk model beantwoordde de volledige vragenlijst 100 keer bij twee sampling-temperaturen ( $T=0.2$ en $T=0.8$ ) om onderscheid te maken tussen stabiele oriëntaties en stochastische ruis.
- Scoring: Voor elk item kenenden de modellen een score (0–100) toe aan vier vooraf gedefinieerde antwoordkaders (A–D).
- Normalisatie: Respons profielen werden gecentreerd ten opzichte van het gemiddelde binnen de vraag om niveau-effecten te verwijderen, waarbij de focus lag op de relatieve voorkeursvolgorde.
Analytische Pipeline:
1. Variantie-decompositie: De totale variantie in optie-ondersteuning werd gedecomposeerd in variantie tussen modellen, temperatuur-effecten en replicatie-ruis.
2. Dimensiereductie: Weighted Principal Component Analysis (PCA) werd toegepast op de per model samengevoegde respons-profielen om latente assen van variatie te identificeren.
3. Clustering: Modellen werden geclusterd in de PCA-score-ruimte (met behulp van de eerste 16 componenten) om een discrete typologie van model-"typen" af te leiden.
4. Validatie: De datagedreven PCA-assen werden gevalideerd tegen een onafhankelijk, handmatig gecodeerde taxonomie van ideologische assen (bijv. institutioneel vertrouwen, economische staat-markt) om de constructvaliditeit te waarborgen.
5. Topische Decompositie: De studie lokaliseerde waar heterogeniteit geconcentreerd is door de "neigingen" van modellen over specifieke topische domeinen te vergelijken.

Belangrijkste Resultaten

Signaal versus Ruis: Modelidentiteit verklaart 57% van de variatie in optie-ondersteuning, terwijl de sampling-temperatuur minder dan 2% verklaart. De resterende variantie is replicatie-ruis, die significant varieert per model (variërend van 3% tot 79%). De binnen-model respons-profielen zijn zeer stabiel over verschillende temperaturen (mediane correlatie $r=0.99$ ), wat bevestigt dat verschillen voortkomen uit stabiele oriëntaties in plaats van decoderingsartefacten.
Latente Dimensies: PCA herstelde twee dominante, interpreteerbare assen:
1. Institutioneel-Vertrouwen Dimensie (PC1): Contrasteert institutionele, gecoördineerde en technocratische inkaderingen (positieve pool) met soevereiniteit-eerst, executief-centrische of ad-hoc onderhandelingskaders (negatieve pool). Deze as correleert sterk ( $r=0.92$ ) met handmatig gecodeerd institutioneel vertrouwen.
2. Economisch–Milieu Dimensie (PC2): Contrasteert marktgroei/efficiëntie-eerst inkaderingen met gereguleerde-groene/herverdelende duurzaamheidskaders. Deze as correleert met de economische staat-markt as ( $r=0.48$ ) en klimaatambitie ( $|r|=0.60$ ).
Typologie: Clustering leverde acht verschillende modeltypen op, variërend van "literalistische forecasting" en "pragmatisch-interventionistisch" tot "risico- en soevereiniteit-salient" en "gepolariseerd, staat-leunend".
Topiek-specifieke Heterogeniteit:
- Consensus: Modellen zijn bijna unaniem over institutioneel vertrouwen, openheid en klimaatinkaderingen (bijv. 98% leunt naar klimaatambitie en institutioneel vertrouwen).
- Divergentie: Modellen splitsen scherp op economische vragen. Op een enkele vraag over stagflatie waren alle vier de beleidskaders de topkeuze voor een subset van de modellen. Slechts ongeveer één op vijf modellen leunt "markt" op de economische staat-markt as, terwijl de rest "staat" leunt.
- Stabiliteit: Economische oriëntatie is geen vaststaand globaal kenmerk; de standpunt van een model op één economische vraag voorspelt zwak de standpunt op een andere economische vraag (Cronbach's $\alpha = 0.58$ ).
Zelfvertrouwen en Schaal: Zelfgerapporteerd vertrouwen is grotendeels een vaste eigenschap van het model (55% van de variantie) in plaats van een reflectie van de moeilijkheidsgraad of contestatie van de vraag. Grotere model-schaal voorspelt grotere consistentie (lagere ruis), maar voorspelt geen specifieke politieke oriëntatie of beleidsvoorkeur.

Belangrijkste Bijdragen

Empirisch Bewijs van Niet-Uitwisselbaarheid: De studie levert robuust bewijs dat open-weight LL's niet uitwisselbaar zijn in beleidscontexten. Hun verschillen zijn gestructureerd, stabiel en significant genoeg om beleidsaanbevelingen en rechtvaardigingen te veranderen.
Methodologisch Raamwerk: Het introduceert een reproduceerbare pipeline voor het auditeren van modelgedrag, waarbij persistente oriëntaties worden gescheiden van sampling-ruis, en modellen worden gemapt op interpreteerbare ideologische dimensies.
Typologie van Modelgedrag: Het stelt een compacte typologie van acht model-"typen" op op basis van hun respons-profielen, wat een manier biedt om modellen te categoriseren op basis van hun onderliggende beleidslogica in plaats van alleen op performance benchmarks.
Herformulering van Modelselectie: Het artikel betoogt dat modelselectie een bestuurlijk relevante ontwerpbeslissing is. Het demonstreert dat de "waarden" die in modellen zijn ingebed meetbaar en betwistbaar zijn, wat het idee van het model als een neutraal informatie-retrie-systeem uitdaagt.

Betekenis en Claims
Het artikel claimt dat de maatschappelijke belangen van modelselectie centraal staan bij de technische vergelijking van modellen. Door aan te tonen dat modellen convergeren op institutionele en kosmopolitische inkaderingen, maar divergeren op economische en distributieve vragen, stellen de auteurs dat modelselectie zowel de aanbevolen beleidskader als de rechtvaardiging ervan conditioneert.

De betekenis ligt in de verschuiving van het perspectief van "het vinden van het juiste model" naar "het zichtbaar maken van model-oriëntaties." De auteurs stellen dat het behandelen van modelselectie als een technisch detail de waarde-keuzes maskeert die inherent zijn aan beleidsautomatisering. In plaats daarvan stellen zij voor dat:

Modelselectie moet worden behandeld als een bestuurlijke beslissing, vergelijkbaar met robuustheidstoetsen in de empirische economie.
Multi-model stress-testing noodzakelijk is om de gevoeligheid van conclusies voor latente kaderings-neigingen te onthullen.
Het zichtbaar en betwistbaar maken van de waarden die in modellen zijn ingebed, een voorwaarde is voor hun verantwoorde gebruik in beleidswerk.

De studie concludeert dat hoewel modellen niet neutraal zijn, hun specifieke oriëntaties niet arbitrair zijn; ze zijn gestructureerd, meetbaar en consequent. Daarom moet de keuze van het instrument een bewuste, verantwoorde daad blijven om te waarborgen dat de samenleving deze systemen vormgeeft, in plaats van er stilzwijgend door gevormd te worden.