HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery

Het paper introduceert HLER, een mens-in-de-lus multi-agent architectuur die empirisch economisch onderzoek automatiseert door datasetbewuste hypothesevorming en menselijke beslispunten te integreren, waardoor haalbare onderzoeksvragen en complete manuscripten met lage kosten kunnen worden gegenereerd.

De kern

Stel je voor dat het doen van economisch onderzoek een gigantische, complexe reis is. Normaal gesproken is dit een eenzame wandeling voor een onderzoeker: je moet een kaart vinden (data), een route plannen (vraag stellen), de auto bouwen (statistieken), en dan het verhaal schrijven.

HLER (Human-in-the-Loop Economic Research) is als een slimme, zelfrijdende bus met een ervaren chauffeur. De bus doet het zware werk, maar de chauffeur (de mens) houdt het stuur vast op de belangrijkste kruispunten om te voorkomen dat we in een ravijn rijden.

Hier is hoe dit werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Dromerige" Robot

Vroeger probeerden AI-systemen om alles zelf te doen. Ze droomden van mooie onderzoeksvragen, maar vaak waren die vragen onmogelijk.

• De analogie: Het is alsof een kok vraagt: "Ik ga vandaag een gerecht maken met vliegende kippen en glazen aardappels." De AI is slim genoeg om het recept te schrijven, maar de ingrediënten bestaan niet. In de echte wereld noemen we dit "hallucinaties": de AI verzint feiten die niet kloppen.

2. De Oplossing: HLER (De Slimme Bus)

HLER is een team van gespecialiseerde robots (agenten) die samenwerken, maar met een belangrijke regel: ze kijken eerst naar wat er echt in de koelkast ligt.

Het proces ziet er zo uit:

• De Voorraadkeuken (Data Audit & Profiling):
  Voordat er ook maar een vraag wordt gesteld, kijkt een robotagent precies wat er in de dataset zit. "Oké, we hebben data over gezondheid en inkomen, maar geen data over vliegtuigongelukken." Dit voorkomt dat de AI onmogelijke vragen bedenkt.
• De Chef-kok (Question Agent):
  Deze robot bedenkt nu onderzoeksvragen, maar alleen gebaseerd op wat er in de voorraadkeuken ligt. Geen vliegende kippen meer, alleen echte ingrediënten.
• De Menselijke Keukenchef (De Menselijke Beslissing):
  Hier komt de mens in beeld. De robot presenteert een lijst met 5 of 6 goede ideeën. De menselijke onderzoeker zegt: "Ja, dat idee over de gezondheid van vrouwen op het platteland klinkt interessant. Dat doen we." De AI doet het werk, maar de mens kiest de richting.
• De Bouwer (Econometrics Agent):
  Nu gaat de AI aan de slag. Hij bouwt de wiskundige modellen, maakt grafieken en rekent de cijfers uit. Dit is het zware, saaie werk dat mensen vaak niet leuk vinden.
• De Kwaliteitscontroleur (Reviewer Agent):
  Nadat het verhaal geschreven is, komt er een andere robot die het verhaal leest en zegt: "Hé, dit stukje is niet duidelijk," of "Je hebt hier een extra test nodig."
• De Verbetering (De Twee Lussen):
  Als de kwaliteitscontroleur kritiek heeft, gaat de bus terug naar de bouwer. Die past het verhaal aan, rekent het opnieuw uit, en levert het op. Dit gebeurt een paar keer totdat het verhaal goed genoeg is.

3. Waarom is dit zo slim?

In het artikel wordt getoond dat dit systeem wonderen doet:

• Minder fouten: Zonder de "voorraadcheck" (dataset-aware) waren 60% van de ideeën onmogelijk. Met de check is dat gedaald naar slechts 13%.
• Goedkoop en snel: Het kost ongeveer $0,80 tot $1,50 per onderzoek (zoals een paar koppen koffie) en duurt ongeveer 20 minuten.
• Betrouwbare resultaten: De kwaliteit van de artikelen wordt steeds beter na elke ronde van feedback, net zoals een schrijver die zijn verhaal herschrijft.

4. De Mens blijft de Baas

Het belangrijkste punt van dit hele systeem is dat de AI geen vervanging is voor de onderzoeker, maar een krachtige hulpmiddel.

• De AI doet het zware tillen (data controleren, rekenen, schrijven).
• De mens doet het denken (kiezen welk idee belangrijk is, beslissen of het resultaat veilig is om te publiceren).

Samenvatting in één zin

HLER is als een super-efficiënte fabriek voor wetenschappelijk onderzoek waar robots de machines bedienen en de mensen de plannen tekenen, zodat we sneller en slimmer antwoorden kunnen vinden op de grote vragen over onze economie, zonder dat we in de valkuil van verzonne feiten trappen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery", geschreven in het Nederlands.

Probleemstelling

Hoewel Large Language Models (LLMs) de geautomatiseerde wetenschappelijke schrijftaak hebben verbeterd, kampen bestaande systemen met significante beperkingen bij het uitvoeren van empirisch onderzoek in de economie en sociale wetenschappen. De huidige "volledig autonome" benaderingen (zoals AI Scientist) hebben moeite met:

1. Hallucinaties: Modellen genereren vaak vloeiende maar ononderbouwde claims of hypothesen die niet haalbaar zijn op basis van beschikbare data.
2. Interactie met externe artefacten: Empirisch onderzoek vereist nauwkeurige interactie met datasets, code en econometrische software, wat moeilijk is voor tekstcentrische modellen.
3. Identificatiestrategieën: In de economie is menselijk oordeel essentieel voor het kiezen van causale identificatiestrategieën en het beoordelen van economische significantie.
4. Reproduceerbaarheid: Bestaande workflows missen vaak de nodige validatiestappen om te garanderen dat resultaten betrouwbaar zijn.

Er is dus behoefte aan een systeem dat de automatisering van LLMs combineert met menselijk toezicht om haalbaar, reproduceerbaar en economisch relevant onderzoek te genereren.

Methodologie: Het HLER-systeem

HLER (Human-in-the-Loop Economic Research) is een multi-agent architectuur die het empirische onderzoeksproces automatiseert terwijl kritieke menselijke controlepunten behouden blijven. Het systeem is opgebouwd uit een centrale orchestrator en gespecialiseerde agents die sequentieel werken.

1. Architectuur en Agents:
Het systeem voert de volgende stappen uit via specifieke agents:

• Data Audit Agent: Valideert de datasetstructuur en maakt een inventaris van beschikbare variabelen voordat hypotheses worden gegenereerd.
• Data Profiling Agent: Analyseert statistische eigenschappen (samenvattende statistieken, ontbrekende waarden, verdelingen, correlaties) en identificeert risico's op endogeniteit.
• Question Agent: Genereert hypotheses die dataset-bewust zijn. In tegenstelling tot vrije brainstormsessies, worden hypotheses beperkt door de daadwerkelijke beschikbaarheid van variabelen en de statistische diagnostiek.
• Data Agents: Haalt data op uit externe API's (bijv. Wereldbank, FRED) en lokale datasets.
• Econometrics Agent: Voert de statistische analyse uit (OLS, fixed-effects panelmodellen, difference-in-differences, event-studies) met behulp van Python-bibliotheken (statsmodels, linearmodels).
• Paper Agent: Schrijft het volledige manuscript (abstract, introductie, methodologie, resultaten, discussie) in Markdown/LaTeX.
• Reviewer Agent: Evalueert het manuscript op criteria als originaliteit, identificatiekwaliteit, datakwaliteit en helderheid, en geeft feedback voor herziening.

2. Twee-Lus Architectuur:
HLER introduceert een iteratief ontwerp met twee feedbackloops:

• Vraagkwaliteit-lus (Question Quality Loop): Hypothesen worden gegenereerd, gescreend op haalbaarheid en vervolgens door een menselijke onderzoeker geselecteerd. Dit voorkomt het doorvoeren van onmogelijke hypotheses.
• Onderzoeksrevisie-lus (Research Revision Loop): Na het genereren van een manuscript evalueert de Reviewer Agent het werk. Als er verbeterpunten zijn (bijv. robuustheidstests), wordt de Econometrics Agent aangestuurd om nieuwe analyses uit te voeren en de Paper Agent om het manuscript aan te passen. Dit proces herhaalt zich totdat de kwaliteit voldoende is.

3. Menselijke Interventie:
Mensen interveniëren op twee cruciale beslispunten:

1. Selectie van de onderzoeksvraag: De onderzoeker kiest de meest veelbelovende hypothese uit de gegenereerde opties.
2. Publicatiebeslissing: De onderzoeker bepaalt of het eindresultaat voldoende geloofwaardig is om te publiceren.

Belangrijkste Bijdragen

1. Dataset-bewuste Hypothesegeneratie: Een mechanisme dat hypotheses conditioneert op dataset-audits en statistische profielen, wat het aantal onhaalbare hypotheses drastisch verlaagt.
2. Twee-lus Onderzoeksarchitectuur: Een gestructureerd systeem van generatie-screening-selectie en review-heranalyse-revisie, dat de iteratieve aard van wetenschappelijk peer-review nabootst.
3. End-to-End Evaluatie: Een uitgebreide evaluatie op drie empirische datasets, die aantoont dat het systeem complete onderzoeksmanuscripten kan produceren met menselijk toezicht.

Resultaten

Het systeem werd getest op drie datasets (o.a. China Health and Nutrition Survey) met in totaal 14 volledige pijplijnruns.

• Haalbaarheid van Hypothesen:
  • Met dataset-bewuste generatie (HLER standaard): 87% van de gegenereerde vragen was haalbaar.
  • Met ongebonden generatie (ablatie-studie): Slechts 41% was haalbaar. De meest voorkomende fouten bij ongebonden generatie waren het voorstellen van variabelen die niet in de dataset bestonden (42% van de fouten).
• Voltooiing van de Pijplijn: 86% van de runs (12 van de 14) voltooide de volledige workflow van data-audit tot manuscript zonder handmatige tussenkomst, behalve de geplande beslispunten.
• Verbetering door Revisie: De Reviewer Agent-scores (schaal 1-10) verbeterden aanzienlijk door de revisielus:
  • Gemiddelde totale score: van 4.8 (eerste concept) naar 6.3 (eindversie).
  • De grootste verbeteringen werden gezien in helderheid (+2.1 punten) en identificatiekredibiliteit (+1.4 punten).
• Kosten en Efficiëntie:
  • Een volledige run kost ongeveer 20-25 minuten.
  • De gemiddelde API-kost per run ligt tussen $0.80 en $1.50, aanzienlijk lager dan vergelijkbare systemen (zoals AI Scientist, die $6-$15 per paper rapporteert), omdat statistische berekeningen worden uitbesteed aan programmeerbare bibliotheken in plaats van via LLMs.

Betekenis en Implicaties

HLER vertegenwoordigt een verschuiving van volledig autonome "AI-wetenschappers" naar een mens-AI co-productieparadigma.

• Schalbaarheid: Het systeem stelt onderzoekers in staat om een veel grotere ruimte van mogelijke onderzoeksvragen te verkennen door repetitieve taken (datainspectie, robuustheidstests, schrijven) te automatiseren.
• Ethiek en Methodologie: Het systeem adresseert het risico van "p-hacking" en selectieve rapportage door een audit trail van alle gegenereerde (niet-geselecteerde) hypotheses te behouden. Het benadrukt echter dat menselijke verantwoordelijkheid nodig blijft voor statistische discipline.
• Toekomstperspectief: HLER positioneert AI niet als vervanging voor onderzoekers, maar als een krachtig hulpmiddel dat domeinkennis en wetenschappelijk oordeel versterkt. Toekomstig werk richt zich op het uitbreiden van de econometrische toolkit (bijv. instrumentele variabelen) en het ontwikkelen van normen voor transparantie in AI-ondersteund onderzoek.

Kortom, HLER biedt een praktische route naar schaalbaar, betrouwbaar en menselijk geleid empirisch onderzoek in de economie.