📈 economics

Theorist Toolbox: Tools for Agent Based LLM-assisted economic theory Research

Dit artikel stelt een verificatie-eerst-protocol voor voor het gebruik van grote taalmodellen in economisch theoretisch onderzoek, waarbij door middel van een enkel uitgewerkt voorbeeld wordt aangetoond dat externe adversariële verificatie en gestructureerde multi-agent controles essentieel zijn voor het waarborgen van de strengheid, aangezien modelvloeiendheid alleen geen wiskundige correctheid garandeert.

Oorspronkelijke auteurs: Moran Koren

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Moran Koren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complexe machine probeert te bouwen, zoals een uurwerk, maar je hebt een zeer getalenteerde, zelfverzekerde robotassistent die de blauwdrukken en de wiskunde voor je kan schrijven. Het probleem is dat deze robot een "gladde prater" is. Hij kan een perfect uitziende blauwdruk schrijven voor een machine die eigenlijk niet werkt. Hij kan bijvoorbeeld zeggen: "Hier is het tandwiel dat het gewicht balanceert!", terwijl dat tandwiel in werkelijkheid slechts een tekening is.

Dit artikel is een gids over hoe je die robotassistent gebruikt zonder gefopt te worden door zijn zelfvertrouwen.

Het Probleem: De "Gladde Prater"-valstrik

In de wereld van de economische theorie beginnen onderzoekers meestal met een leeg vel papier en moeten ze al het moeilijke rekenwerk zelf doen. Nu, met AI (Large Language Models), kan de robot de wiskunde doen en het bewijs schrijven. Maar de robot heeft een gebrek: hij is té zelfverzekerd. Hij bewijst een onjuist theorema net zo vloeiend als een juist een. Het is als een student die het antwoordformulier uit het hoofd heeft geleerd, maar de wiskunde niet echt begrijpt; als je hem een moeilijke vraag stelt, geeft hij misschien gewoon een antwoord dat goed klinkt.

De auteur, Moran Koren, vraagt: Hoe gebruiken we deze robot voor echte economische theorie zonder hem blindelings te vertrouwen?

De Oplossing: De "Verificatie-gereedschapskist"

Het artikel probeert de robot niet slimmer te maken. In plaats daarvan stelt het drie verschillende manieren voor om het werk van de robot te controleren. Zie dit als drie verschillende manieren om een team in te huren om jouw uurwerk te bouwen.

Methode 1: De Solist (De Enkele Passagier)

Je vraagt de robot om de hele klus in één keer te klaren. Hij schrijft het bewijs, controleert zijn eigen werk en overhandigt je het definitieve artikel.

De Analogie: Het is alsof je een enkele, zeer zelfverzekerde architect vraagt om een brug te ontwerpen. Hij controleert zijn eigen berekeningen, en als het er netjes uitziet, zet hij zijn handtekening.
Het Resultaat: De output ziet er prachtig en afgewerkt uit. Maar omdat er niemand anders was om het te controleren, kunnen er verborgen scheuren in zitten. In het artikel produceerde deze methode het "mooiste" artikel, maar het was het minst geverifieerd.

Methode 2: De Debaters (Het Adversariële Paar)

Je huurt twee robots in. Eén is de Bouwer (die probeert de wiskunde te bewijzen), en de andere is de Hater (wiens enige taak het is om het werk van de Bouwer af te breken). Een mens fungeert als scheidsrechter.

De Analogie: Stel je een rechtszaal voor. De Bouwer presenteert een zaak. De Hater is een advocaat wiens taak het is om één enkel gebrek te vinden om het betoog onderuit te halen. Als de Hater geen fout vindt, controleert de menselijke scheidsrechter het bewijsmateriaal.
Het Resultaat: Deze methode ontdekte drie grote fouten die de "Solist" miste. Bijvoorbeeld: de Bouwer beweerde dat een machine in balans was, maar de Hater bewees dat deze onder specifieke omstandigheden zou instorten. De Hater dwong het team om toe te geven: "Oké, we zaten het over dat deel mis."

Methode 3: Het Onderzoekslaboratorium (Het Multi-Agent Project)

Je stelt een heel team van robots samen met specifieke rollen: één doet de literatuur, één doet de wiskunde, één schrijft code, en één is een strikte Reviewer die optreedt als poortwachter. Niets wordt gepubliceerd tenzij de Reviewer akkoord gaat.

De Analogie: Dit is als een rigoureus wetenschappelijk laboratorium. Elke stap wordt gedocumenteerd. Als een robot een gok doet, moet hij een grote rode vlag plaatsen met de tekst: "Ik heb dit nog niet bewezen." De Reviewer stopt het project als een stap niet solide is.
Het Resultaat: Dit produceerde het rommeligste ogende document. Het zat vol met rode vlaggen, opmerkingen als "we weten dit nog niet" en verworpen ideeën. Maar omdat het zo eerlijk was over wat het niet wist, was het het meest betrouwbaar.

De Test: De "Graadinflatie"-puzzel

Om deze drie methoden te testen, gaf de auteur hen een zeer moeilijke, onopgeloste puzzel over graadinflatie.

De Puzzel: Stel je een universiteit voor waar studenten verschillende cursussen volgen. Sommige cursussen zijn makkelijk, andere zijn moeilijk. Hoe creëer je een eerlijk systeem om de werkelijke bekwaamheid van een student te meten, ongeacht welke vakken zij hebben gevolgd?
Het Doel: De robots moesten een systeem (een "mechanisme") ontwerpen dat studenten en docenten zou stoppen om het systeem te misbruiken om hogere cijfers te halen.

Wat gebeurde er?

De auteur voerde alle drie de methoden uit op deze zelfde puzzel. Dit is wat hij vond:

Convergerende Ontdekking (Het "Aha!"-moment): Twee van de methoden, die niet met elkaar communiceerden, ontdekten onafhankelijk van elkaar exact dezelfde wiskundige formule. Het was alsof twee verschillende detectives een misdaad oplosten en dezelfde verborgen aanwijzing vonden. Dit gaf de auteur het vertrouwen dat de aanwijzing echt was en geen gelukkige gok.
De Hater is Essentieel: De "Debater"-methode (Methode 2) betrapte drie specifieke leugens die de "Solist" (Methode 1) als feiten zou publiceren. De Hater redde de dag door te bewijzen dat de machine niet zou werken zoals geclaimd.
Glans is Geen Bewijs: Het meest prachtige, afgewerkte artikel (Methode 1) was het gevaarlijkst omdat het geen veiligheidscontroles had. Het rommeligste artikel (Methode 3), vol met "ik weet het niet zeker"-vlaggen, was het veiligst omdat het de waarheid sprak over de beperkingen ervan.

De Belangrijkste Conclusie

Het artikel concludeert dat hoe je het werk controleert belangrijker is dan hoe slim de robot is.

Als je AI wilt gebruiken voor serieuze economische theorie, moet je niet alleen vragen om "schrijf een bewijs." Je moet een systeem opzetten waarbij:

Iemand probeert het bewijs te breken.
Iemand een lijst bijhoudt van wat nog niet bewezen is.
Je hetzelfde probleem twee keer draait om te zien of je hetzelfde antwoord krijgt.

Het artikel beweert niet de graadinflatie-problematiek perfect te hebben opgelost. In plaats daarvan beweert het een gereedschapskist (een "Theorist Toolbox") te hebben gebouwd die onderzoekers laat zien hoe ze AI veilig kunnen gebruiken. Het echte resultaat is niet de wiskunde over cijfers; het is het protocol voor hoe je een machine kunt vertrouwen die zo vloeiend kan liegen.

Technische Samenvatting: Theorist Toolbox – Een Geverifieerd Protocol voor LLM-ondersteunde Economische Theorie

1. Probleemstelling
Het artikel adresseert een structurele asymmetrie in economisch onderzoek: empirische economen erven gedeelde instrumenten (pakketten, replicatiearchieven, gidsen), terwijl theoretici vaak in isolatie werken, afhankelijk van individuele discipline in plaats van gedeelde infrastructuur. Nu Large Language Models (LLM's) in staat zijn om niet-triviale wiskundige afleidingen te produceren, is de primaire beperking voor machine-ondersteunde theorie verschoven van productie naar vertrouwen. LLM's kunnen vloeiende, zelfverzekerde, maar incorrecte bewijzen genereren (bijv. het verwarren van ex-ante verwachtingen met ex-post eigenschappen, of het verwarren van annuleringen met budgetbalans). Het kernproblein is hoe men LLM's kan gebruiken voor economische theorie zonder hun output te vertrouwen, specifiek in domeinen waar formele verificatie via bewijsassistenten (zoals Lean) nog niet de standaard is.

2. Methodologie: Het Verificatie-Eerst Protocol
De auteur stelt een "verificatie-eerst" protocol voor, geïnstantieerd als drie herbruikbare methoden (Claude Code-vaardigheden) die verschillen langs één enkele as: de intensiteit en de bron van externe verificatie. Alle drie de methoden maken gebruik van hetzelfde basismodel (Claude Opus 4.8) maar variëren in hun verificatieapparaat:

Methode 1: Enkele Gedisciplineerde Pass. Een enkel model genereert een volledig bewijs onder een strikte schrijfdiscipline (geen retorische hiaten, expliciete rechtvaardiging van tekens, onderscheid tussen bewezen en vermoedelijke claims). Verificatie is beperkt tot interne consistentie en zelf-signalering van beperkingen.
Methode 2: Adversarial Pair. Een adversariële workflow waarbij Claude Opus 4.8 een resultaat voorstelt, en een tweede, onafhankelijk model (OpenAI Codex/gpt-5.5) fungeert als een vijandige verifieerder die probeert de claim te weerleggen. Een menselijke auteur medieert de bevindingen door onderscheid te maken tussen genuanteerde tegenvoorbeelden en fout-positieven. Deze methode omvat numerieke Monte Carlo-controles.
Methode 3: Multi-Agent Project. Een gestructureerde onderzoeksworkflow geïnspireerd door de "AI co-mathematician" (Zheng et al., 2026). Het deelt het probleem op in werkstromen (literatuur, bewijsvoering, codering) met een voortdurende "reviewer gate". Het opereert in de "strict mode", waarbij elke hiat moet worden gemarkeerd met \unproven{} tags. Een reviewer gate moet subdoelen goedkeuren voordat ze als voltooid worden beschouwd. Deze methode implementeert Methode 2 als een component voor harde controles.

3. De Testomgeving (Uitgewerkt Voorbeeld)
Het protocol wordt geëvalueerd op een enkel, open mechanisme-ontwerp probleem, gelaagd op het Gans–Kominers (2026) eigengrade-model van graadinflatie.

Context: Het model behandelt studentenprestaties als $P_{ic} = a_i - d_c + \epsilon_{ic}$ , waarbij $a_i$ bekwaamheid is en $d_c$ cursus moeilijkheidsgraad. De eigengrade-schatter herstelt bekwaamheid met behulp van een grafiek-Laplaciaan van het inschrijvingsnetwerk.
De Hiat: Hoewel eigengrades strategische neutraliteit bereiken, internaliseren ze de informatieve externaliteit niet: elke inschrijving of beoordelingsbeslissing beïnvloedt de precisie van de bekwaamheidsschatting van iedereen (bepaald door de spoor van de pseudoinversie van de Laplaciaan, $tr(L^+)$ ).
De Vraag: Kan een mechanisme worden ontworpen om deze externaliteit te internaliseren (het prijzen van de "effectieve weerstand" van de grafiek) om eerlijke rapportage of efficiënte inschrijving te induceren, gegeven de beperkingen van budgetbalans en het gebrek aan een monetair numerair voor instructeurs?

4. Belangrijkste Resultaten per Methode

Single Pass (P1): Produceerde een gepolijst, student-zijde inschrijvingsmechanisme met behulp van een Groves-transfer (in collegegelden/prioriteit) om de inschrijvingsexternaliteit te internaliseren. Het identificeerde correct de onmogelijkheid van budgetbalans (Green–Laffont) maar droeg geen numerieke verificatie met zich mee.
Adversarial Pair (P2): Produceerde een instructeur-zijde Pigouviaanse transfer die professionele beoordeling implementeert in dominante strategieën. Cruciaal was dat de adversariële verifieerder drie significante fouten in het initiële voorstel ontdekte:
1. Weerlegde een ex-post prikkel-neutraliteitsclaim (toonde aan dat dit alleen in verwachting geldt).
2. Bewees dat een budget-gebalanceerde dominant-strategie transfer onmogelijk is (via een niet-verdwijnende gemengde afgeleide).
3. Corrigeerde een claim dat een leave-one-out schatter noodzakelijk was voor eerste-moment exactheid (toonde aan dat de standaard schatter reeds over deze eigenschap beschikte).
Multi-Agent Project (P3): Produceerde een "geldvrije" suite van mechanismen in de rapportruimte. Het leidde exact dezelfde effectieve-weerstands-kernel af als P1, maar op de intensieve marge (beoordelingsgetrouwheid). De reviewer gate verwierp een subdoel dat probeerde peer prediction te gebruiken (wat faalde om private signalen op te roepen) en dwong een conditioneel existentie-resultaat af (dat een compact actie-box vereiste). De output lijstte expliciet onbewezen verplichtingen op.

5. Drie Geobserveerde Fenomenen
De vergelijking van de drie runs leverde drie overdraagbare bevindingen op:

Convergerende Ontdekking: P1 (student-marge) en P3 (instructeur-marge), die onafhankelijk van elkaar werkten met verschillende kaders, leidden exact hetzelfde wiskundige object af: de effectieve weerstands-kernel $\|\Pi L^+ b_e\|^2$ . Deze convergentie verhoogde het vertrouwen dat het object een kenmerk van het probleem is, en geen artefact van het model.
Adversariële Verificatie is Fundamenteel: De adversariële paren (P2) vingen drie valse claims op die een enkele pass zou hebben gepubliceerd. De verificatiemachinerie was niet decoratief; het was essentieel voor correctheid.
Polijst is Geen Rigor: De meest "afgewerkte" output (P1) was de minst geverifieerde. De meest "rafelige" output (P3), vol met vlaggen en onbewezen verplichtingen, was de meest betrouwbare omdat het expliciet benoemde wat het niet wist.

6. Betekenis en Claims
Het artikel claimt een praktijkprotocol aan te bieden in plaats van een nieuw theorema of een benchmarkscore. De betekenis ligt in:

Verschuiving van de Ontwerpparameter: Het argument dat voor machine-ondersteunde theorie de cruciale ontwerpkeuze niet de capaciteit van het model is, maar de externe verificatie-apparatuur.
Definiëren van een Realistisch Leverbaar Product: Het doel is niet een gecertificeerd theorema (wat een formalisering vereist die nog niet beschikbaar is in de economie) maar een "gedisciplineerde onderzoeksfrontier": een geverifieerde kern, werkende mechanismen, eerlijke negatieve resultaten en een expliciet register van openstaande vragen.
Methodologische Overdraagbaarheid: Het protocol is ontworpen om toepasbaar te zijn op elk economisch theoretisch probleem waarbij men machine-ondersteuning zoekt zonder toe te staan dat er "met de pet in het eten wordt gegooid" (hand-waving).

De auteur merkt expliciet de beperkingen op: het bewijs is gebaseerd op een enkele uitgewerkte casus uitgevoerd door één operator met specifieke modelcombinaties. De gerapporteerde fenomenen zijn demonstraties van mogelijkheid en gedrag, niet gemeten succesratio's. Het artikel concludeert dat externe verificatie, en niet model-zelfvertrouwen, de noodzakelijke waarborg is voor machine-ondersteunde economische theorie.