Technische Samenvatting: Large Language Models als Supervised Extraction Assistants in Agent-Based Modelling

1. Het Probleem: Documentatiestandaarden en de Barrière voor Adoptie

Agent-Based Modelling (ABM) leunt op transparante rapportage van methodologische keuzes en datagebruik om geloofwaardigheid en reproduceerbaarheid te waarborgen. Hoewel er standaarden bestaan om dit te faciliteren — met name het ODD-protocol (Overview, Design concepts, and Details) voor modelspecificatie en de RAT-RS (Rigour And Transparency Reporting Standard) voor datagebruik — blijft de adoptie beperkt. De primaire barrière is de aanzienlijke inspanning die nodig is voor documentatie, die vaak wordt beschouwd als aanvullende in plaats van kerninhoud. Dit creëert een "Tragedy of the Commons"-scenario: hoewel brede adoptie de collectieve rigueur en geloofwaardigheid van het vakgebied zou vergroten, worden individuele onderzoekers afgeschrikt door de tijdskosten en het gebrek aan direct voordeel.

Het artikel stelt dat Large Language Models (LLM's) een nieuwe strategie bieden om deze barrière te verlagen. Door te fungeren als "supervised extraction assistants", kunnen LLM's het initiële, arbeidsintensieve werk uitvoeren van het scannen van publicaties, het identificeren van relevante data en het mappen van informatie naar gestructureerde protocollen, waardoor de rol van de menselijke onderzoeker verschuift van producent naar constructieve criticus.

2. Methodologie: Een Haalbaarheidsonderzoek naar Supervised Extraction

Dit artikel presenteert een haalbaarheidsonderzoek in plaats van een statistisch generaliseerbare claim. De studie evalueert in welke mate LLM's de extractie en augmentatie van data-gebruikrapportages uit gepubliceerde ABM-papers kunnen ondersteunen met behulp van de RAT-RS-standaard.

2.1 Experimenteel Ontwerp

• Doelstandaard: De studie richt zich op de RAT-RS, gekozen vanwege de granulaire, vraaggestuurde structuur (oorspronkelijk 39 vragen), wat het geschikt maakt voor interactie met LLM's. De auteurs hebben de standaard uitgebreid met een zesde "Question Suite" (QS) bestaande uit vijf meta-evaluatieve vragen, wat resulteert in een totaal van 44 vragen.
• Casestudy: De haalbaarheidstest gebruikte één gepubliceerde paper: Siebers en Aickelin (2011), "A First Approach on Modelling Staff Proactiveness in Retail Simulation Models." Deze paper werd geselecteerd omdat er al een handmatig ingevuld RAT-RS-rapport bestond, wat diende als een door mensen gemaakte 'ground truth' voor vergelijking.
• Geteste Modellen: Vier state-of-the-art LLM's werden geëvalueerd met behulp van hun interne redeneermodi: Claude Sonnet 4.6, DeepSeek-V3, ChatGPT-5.1 en Gemini Flash 3.
• Prompt Engineering: Een modulaire, op bewijs gebaseerde prompt werd ontworpen met inbegrip van:
  • Een specifieke expert-persona.
  • Sequentiële stap-decompositie (Chain-of-Thought).
  • Expliciete grondingsregels om hallucinaties te onderdrukken.
  • Een viercategorieën epistemische taxonomie voor het signaleren van de zekerheid van bewijsvoering.
  • Een beperkt outputformaat (CSV, limiet van 100 woorden per reactie).
  • Few-shot learning via een geanonimiseerd uitgewerkt voorbeeld.

2.2 Evaluatiemetrieken

De studie maakte gebruik van twee complementaire dimensies van analyse:

1. Cross-vergelijking: Het vergelijken van menselijke reacties met LLM-reacties (Mens vs. LLM) en het vergelijken van reacties tussen verschillende modellen (LLM vs. LLM).
2. Interne Consistentie: Het acht keer uitvoeren van dezelfde prompt op dezelfde paper met behulp van DeepSeek om de intra-model stabiliteit te beoordelen.
3. Semantische Gelijkenis: Paarwise cosine similarity scores werden berekend om de topische overlap tussen reacties te meten.
4. Vraagtype Taxonomie: Vragen werden geclassificeerd in vijf typen om variaties in prestaties te analyseren:
   • Factual (Feitelijk): Objectief verifieerbare data (bijv. Q1.1).
   • Descriptive (Beschrijvend): Kenmerken karakteriseren met "wat/welke" (bijv. Q1.2).
   • Explanatory (Verklarend): Vereist causale redenering of rechtvaardiging ("waarom") (bijv. Q1.6).
   • Binary (Binair): Ja/Nee met conditionele toelichting.
   • Evaluative (Evaluatief): Meta-niveau beoordeling van de paper.

3. Belangrijkste Resultaten en Bevindingen

3.1 Semantische Uitlijning en Divergentie

• Mens vs. LLM: De gemiddelde cosine similarity tussen menselijke en LLM-reacties was laag (0.497). Deze divergentie werd grotendeels toegeschreven aan stilistische verschillen: menselijke reacties waren korter, informeler en rijk aan analogieën, terwijl LLM-reacties langer, formeler en beleidsverwijzend waren. Cruciaal was dat deze lage gelijkenis niet noodzakelijkerwijs duidde op een inhoudelijk meningsverschil; voor feitelijke en beschrijvende vragen boden LLM's vaak meer detail dan mensen.
• LLM vs. LLM: De inter-model gelijkenis was matig (0.586), wat aangeeft dat verschillende modellen algemeen vergelijkbare trainingsconventies en reactieformaten delen.
• Intra-Model Consistentie: Herhaalde runs van hetzelfde model toonden een matige tot hoge consistentie (gemiddeld 0.664), wat suggereert dat het extractieproces stabiel is voor specifieke vraagtypen.

3.2 De "Justification Penalty"

Een kritieke bevinding is de significante daling in consistentie en uitlijning wanneer men overgaat van beschrijvende naar verklarende vragen.

• Beschrijvende Vragen: Toonden een hoge consistentie (gemiddeld ~0.750) en uitlijning. De antwoorden zijn geworteld in specifieke tekstsecties.
• Verklarende Vragen: Toonden aanzienlijk lagere consistentie (gemiddeld ~0.551) en uitlijning. Deze vragen vereisen dat het model causaliteit afleidt en narratieven construeert, wat leidt tot hogere variabiliteit.
• De Penalty: De studie identificeert een "justification penalty" van ongeveer 0.199 punten, wat de daling in prestaties vertegenwoordigt wanneer een vraag redenering vereist in plaats van eenvoudige extractie.

3.3 Kwalitatieve Observaties

• Hallucinaties: Expliciete fabricaties kwamen zelden voor. Wanneer LLM's ontbrekende informatie afleidden, frameerden ze dit over het algemeen als een inferentie in plaats van een stellige bewering, conform de instructies in de prompt.
• Nuance: LLM's lieten soms nuances weg die aanwezig waren in menselijke antwoorden of voegden onnodige conditionele logica toe.
• Nut: LLM's bleken in staat om informatie uit meerdere secties van een paper te synthetiseren, waarbij ze vaak uitgebreidere antwoorden gaven dan mensen bij beschrijvende taken.

4. Belangrijkste Bijdragen en Praktische Heuristieken

Het artikel beweert niet dat LLM's menselijk oordeel kunnen vervangen, maar betoogt dat ze de adoptie van standaarden op schaal praktisch kunnen maken door middel van Supervised Extraction. De auteurs stellen drie condities voor betrouwbaar gebruik voor:

1. Human-in-the-Loop Triage:

   • Hoge Betrouwbaarheid: Beschrijvende en feitelijke vragen (bijv. de Calibration en Administrative blokken) kunnen worden behandeld als outputs met een hoge betrouwbaarheid die minimale controle vereisen.
   • Hoge Prioriteit voor Review: Verklarende en evaluatieve vragen (bijv. de Data Existence en Reflective Appraisal blokken) vereisen een grondige menselijke controle.
   • Diagnostisch Signaal: Een hoge variabiliteit in herhaalde LLM-runs voor een specifieke vraag signaleert dat de onderliggende brontekst ambigu is of dat er data ontbreken, wat de menselijke reviewer stuurt om zich op die hiaten te concentreren.

2. Transparantie en Openbaarmaking:

   • Rapporten die via supervised extraction zijn gegenereerd, moeten expliciet de gebruikte LLM, de promptversie, het aantal runs en de aard van het menselijk toezicht vermelden.

3. Gemeenschapsgestuurde Prompt Engineering:

   • De kwaliteit van de prompt is cruciaal. De auteurs pleiten voor een gedeelde repository van versioneerde prompts en validatiegevallen om de robuustheid te verbeteren over verschillende ABM-tradities en datatypen heen.

5. Betekenis en Beperkingen

Betekenis:
Het artikel demonstreert dat LLM's effectieve assistenten kunnen zijn voor het opstellen en extraheren van concepten, wat de drempel om rigoureuze documentatiestandaarden zoals RAT-RS te adopteren kan verlagen. Door het "harde werk" van lezen en de initiële mapping te automatiseren, stellen LLM's onderzoekers in staat zich te concentreren op verificatie en interpretatie. Dit verschuift het documentatieproces van een belemmerende kostenpost naar een beheersbare workflow, wat potentieel aspiratieve standaarden transformeert in haalbare praktijken.

Beperkingen:

• Omvang: De studie is een haalbaarheidstest gebaseerd op één enkele paper en claimt geen statistische generaliseerbaarheid over de gehele ABM-literatuur.
• Metrieken: Cosine similarity wordt gebruikt als een grove proxy voor topische overlap, niet als een maatstaf voor juistheid of argumentatieve equivalentie.
• Reproduceerbaarheid: Het gebruik van commerciële, niet-deterministische LLM's vereist multi-run sampling en strikte metadata-rapportage (modelversie, instellingen) om reproduceerbaarheid te garanderen.
• Inhoud vs. Vorm: LLM's kunnen geen rijke documentatie creëren uit schaarse papers; ze kunnen alleen extraheren wat aanwezig is (of het met kanttekeningen afleiden).

6. Call to Action

De auteurs roepen de ABM-gemeenschap op om:

1. De verstrekte prompttemplates en tools te adopteren voor systematische extractie.
2. Validatiegevallen bij te dragen door de workflow toe te passen op hun eigen papers en de resultaten in te dienen bij een gedeelde repository om een door het vakgebied gevalideerde dataset op te bouwen.
3. Standaarden (bijv. ODD, RAT-RS) bij te werken om formeel procedures voor AI-ondersteunde rapportage te erkennen en te definiëren, inclusief richtlijnen over welke vraagtypen geautomatiseerd kunnen worden en welke een verplichte menselijke review vereisen.

Concluderend stelt het artikel dat hoewel LLM's de documentatieproblemen niet volledig oplossen, ze een cruciale stap vormen om rigoureuze rapportage haalbaar te maken voor onderzoekers onder tijdsdruk, waardoor de kloof tussen breed besproken standaarden en praktische adoptie wordt overbrugd.