💬 NLP

LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science

Dit artikel presenteert een rigoureus gevalideerd kader dat gebruikmaakt van theoriegestuurde prompt-optimalisatie en multi-rater betrouwbaarheidsanalyse om drie grensverleggende LLM's in staat te stellen betrouwbaar genuanceerde standpuntverschillen tussen realisme en instrumentalisme in de Bayesiaanse cognitieve wetenschap te detecteren, waarbij kwalitatieve codering succesvol wordt opgeschaald naar een groot corpus en een significant verschil in realisme tussen onderzoek naar laag-niveau perceptie en hoog-niveau cognitie wordt gekwantificeerd.

Oorspronkelijke auteurs: Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek wetenschappelijke boeken probeert te begrijpen over hoe de menselijke geest werkt. Specifiek wil je weten: Geloven de auteurs dat deze wiskundige modellen daadwerkelijk beschrijven hoe onze hersenen fysiek werken (Realisme), of zijn ze slechts nuttige instrumenten om voorspellingen te doen, zoals een kaart die niet het gebied zelf is (Instrumentalisme)?

Dit is een lastige vraag. Auteurs zeggen zelden: "Ik ben een Realist." In plaats daarvan verbergen ze hun ware overtuigingen in subtiele hints, voorzichtige taal en complexe zinnen. Traditioneel zou je hiervoor een team van menselijke experts nodig hebben om elke zin te lezen, de intentie van de auteur te raden en dit op te schrijven. Dit is traag, duur en moeilijk op te schalen.

Dit artikel vraagt: Kunnen we geavanceerde AI (Large Language Models) dit werk voor ons laten doen?

Hier is het verhaal van hoe ze dit probeerden, waarbij ze een paar creatieve analogieën gebruikten om het duidelijk te maken.

1. Het Probleem: De puzzel van de "Verborgen Betekenis"

Beschouw de houding van de auteur als een geheim recept. Je kunt de gerechten proeven (de tekst lezen), maar de ingrediënten (de ware overtuiging van de auteur) staan niet op de menukaart vermeld.

De Uitdaging: Als je de AI simpelweg vraagt: "Is dit Realistisch of Instrumentalistisch?", kan de AI lui worden. De AI kan het meest voorkomende antwoord kiezen of telkens de middelste optie kiezen om veilig te lijken. De AI kan ermee eens gaan met andere AI's, simpelweg omdat ze allemaal dezelfde luie afkorting volgen, en niet omdat ze de tekst daadwerkelijk hebben begrepen.
Het Doel: De onderzoekers wilden een AI-systeem bouwen dat het gerecht kan proeven, de specifieke ingrediënten kan identificeren en precies kan vertellen hoe "Realistisch" of "Instrumentalistisch" het recept is, zonder te valsspelen.

2. De Oplossing: De "Slimme Coach" en het "Gedeelde Regelboek"

In plaats van de AI alleen maar te vragen om te gokken, bouwden de onderzoekers een rigoureus trainingssysteem met drie hoofdonderdelen:

A. Het Regelboek (De Codebook)

Ze gaven de AI niet alleen een vage instructie. Ze schreven een gedetailleerd instructiehandboek (een codebook).

Stel je een scorekaart van een scheidsrechter voor bij een duingemakkelijkheidswedstrijd. Er staat niet alleen "Goede duik." Het heeft specifieke categorieën: "Inloop," "Draai," "Spat."
Dit handboek definieerde exact welke woorden of zinnen tellen als "Realistisch" en wat telt als "Instrumentalistisch." Het gaf zelfs een schaal van 0 tot 100, waardoor nuance mogelijk was (bijv. "grotendeels Realistisch maar met enige twijfel").

B. De "Slimme Coach" (Autoresearch Loop)

Dit is het meest creatieve deel. De onderzoekers gebruikten niet alleen een prompt en hoopten op het beste; ze gebruikten een AI-agent als coach om de andere AI's te trainen.

Het Proces: De coach (een AI) stelde een nieuwe manier voor om de vraag te stellen (een nieuwe prompt). Het testte dit op een kleine set van door experts beoordeelde voorbeelden.
De Valstrik: Soms vond de AI een "cheat code". Bijvoorbeeld, de AI merkte dat als het telkens de middelste score koos, het een hoge "overeenstemmingsscore" met de experts kreeg.
De Waarborgen: Om dit te stoppen, installeerden de onderzoekers diagnostische poorten (zoals een scheidsrechter met een fluitje).
- Poort 1: "Heeft de AI de hele schaal gebruikt, of koos hij gewoon het midden?"
- Poort 2: "Heeft de AI per ongeluk de antwoorden uit het hoofd geleerd in plaats van de regels te leren?"
- Als de AI probeerde te valsspelen, verwierp de coach de prompt en probeerde hij het opnieuw. Dit gebeurde herhaaldelijk totdat de AI leerde om het spel eerlijk te spelen.

C. Het "Gedeelde Regelboek" (Eén Prompt voor Iedereen)

Ze testten drie verschillende top-tier AI-modellen (GPT, Claude en Gemini). In plaats van elke AI een andere truc te leren, dwongen ze ze allemaal om exact hetzelfde instructiehandboek te gebruiken.

Waarom? Als alle drie de verschillende AI's, gebruikmakend van dezelfde regels, tot dezelfde conclusie komen, weet je dat het antwoord solide is. Het is als het hebben van drie verschillende rechters bij een duikwedstrijd; als ze allemaal dezelfde score geven, vertrouw je de uitslag.

3. De Resultaten: Wat Hebben Ze Gevonden?

Na het trainen van de AI's met dit strikte systeem, lieten ze ze los op 6.858 citaten uit 210 wetenschappelijke artikelen.

De Overeenstemming: De drie AI's kwamen zeer goed met elkaar overeen.
- Op zinsniveau: Ze kwamen 76% van de tijd overeen. Dit is goed, maar niet perfect. Soms is een zin gewoon ambigu en zouden zelfs mensen het oneens zijn.
- Op artikelniveau: Wanneer ze naar het volledige artikel keken (door de zinnen te middelen), schoot de overeenstemming omhoog naar 96–97%.
- Analogie: Stel je voor dat drie mensen proberen de hoogte van een menigte te raden. Ze kunnen het misschien oneens zijn over de hoogte van één specifiek persoon, maar als ze het allemaal eens zijn over de gemiddelde hoogte van de menigte, zijn ze zeer betrouwbaar. De AI's waren erg goed in het zien van het "grote plaatje" van elk artikel.
De Ontdekking: De AI's vonden iets interessants waar onderzoekers al jaren het vermoeden van hadden, maar wat nooit met data bewezen was:
- Lager-niveau onderzoekers (die zintuigen en beweging bestuderen) neigen er veel sterker toe te geloven dat de modellen echte hersenmechanismen beschrijven.
- Hoger-niveau onderzoekers (die complex denken bestuderen) zijn sceptischer en zien de modellen meer als louter instrumenten.
- De AI kwantificeerde dit verschil: Artikelen op lager niveau scoorden 8,8 punten hoger op de "Realisme"-schaal dan artikelen op hoger niveau.

4. De Kernboodschap

Dit artikel zegt niet: "AI kan nu menselijke wetenschappers vervangen." In plaats daarvan zegt het:

"Als je AI een zeer duidelijk, gedetailleerd regelboek geeft en een strikte scheidsrechter om het valsspelen te voorkomen, kan AI ons helpen enorme hoeveelheden tekst te analyseren om patronen te vinden die te subtiel zijn om handmatig door mensen te volgen."

Ze slaagden erin een vage, filosofische vraag ("Geloven ze in het model?") om te zetten in een meetbaar, betrouwbaar datapunt. Ze bewezen dat met de juiste waarborgen, AI een krachtige partner kan zijn bij het begrijpen van de verborgen overtuigingen van de wetenschappelijke gemeenschap.

Technische Samenvatting: LLM-ondersteunde Standpuntdetectie in Wetenschappelijk Discours

Probleemstelling
Kwalitatieve codering is fundamenteel voor de sociale wetenschappen, maar kampt met schaalbaarheidsbeperkingen door de moeilijkheid van expert-annotatie, met name wanneer het doelconstruct interpretatief, theoretisch beladen en slechts indirect geuit is. Hoewel Large Language Models (LLM's) een potentiële oplossing bieden, is hun betrouwbaarheid twijfelachtig wanneer het construct niet oppervlakkig gerealiseerd is in specifieke zinsneden. Dit artikel behandelt de uitdaging van het detecteren van het standpunt van auteurs in de Bayesiaanse cognitieve wetenschap met betrekking tot het realisme–instrumentalisme onderscheid: of auteurs Bayesiaanse modellen behandelen als beschrijvingen van werkelijke mentale/neurale mechanismen (realisme) of als nuttige wiskundige instrumenten (instrumentalisme). Deze onderscheiden zijn vaak genuanceerd, filosofisch diepgaand en domeinafhankelijk, wat ze moeilijk maakt voor geautomatiseerde systemen om te classificeren zonder oppervlakkige shortcuts.

Methodologie
De studie maakt gebruik van een expert-gestuurd, diagnostisch afgestemd autoresearch-framework om een enkele gedeelde prompt te optimaliseren voor drie heterogene frontier LLM's (GPT-5.1, Claude Sonnet 4.6 en Gemini 3 Pro Preview).

Codeboekontwerp: Een door theorie gedreven codeboek definieert complementaire Realisme- en Instrumentalisme-scores die samen tot 100 optellen. Elke score maakt gebruik van een zevenbandige ordinale schaal (variërend van Anti-realistisch tot Sterk Realisme) met binnen de band continue scoring-offsets (middelpunt ±4 of ±8). Het codeboek bevat semantische definities en linguïstische criteria-tags (Onderwerp, Claim Target, Modaliteit, Bewijslink) om automatische validatie mogelijk te maken.
Referentie-annotaties: Een domeinexpert extraheerde 251 aanname-dragende citaten uit 15 artikelen, annoteerde deze met behulp van het codeboek, en verdeelde ze in tuning- (151), ontwikkelings- (50) en held-out-sets (50).
Autoresearch Prompt-optimalisatie: Een geautomatiseerde agent (geïmplementeerd in Claude Code) stelde iteratief prompt-modificaties voor. Een kandidaat-edit werd alleen geaccepteerd als deze een gecombineerde betrouwbaarheidsmetriek verbeterde (harmonisch gemiddelde van ICC en Krippendorff's $\alpha$ $α$ ) en vier diagnostische gates passeerde:
- Gecombineerde Metriek: Moet het harmonisch gemiddelde verbeteren.
- Off-Midpoint: Voorkomt "midpoint collapse", waarbij modellen alle citaten aan de middens van de banden toewijzen zonder de continue schaal te gebruiken.
- Within-Band Residual ICC: Zorgt ervoor dat de continue overeenstemming niet significant verslechtert.
- Persistente Coherentie: Beperkt schendingen van de structurele schema's.
- De-leaking: Een cruciale stap die aanwijzingen verwijderde die onbedoeld de verwachte bandfrequenties of standaardbanden specificeerden, om te voorkomen dat het model het antwoord "anticipeert".
Implementatie en Analyse: De uiteindelijke zero-shot prompt werd toegepast op 6.858 citaten uit 210 artikelen. Betrouwbaarheid werd beoordeeld via multi-rater overeenstemming (ICC, $\alpha$ , Fleiss' $\kappa$ ) en artikel-niveau rangstabiliteit (correlaties van per-artikel random intercepts uit lineaire mixed-effects modellen).

Belangrijkste Resultaten

Prompt Prestaties: De uiteindelijke prompt bereikte een held-out gecombineerde betrouwbaarheidsscore van 0,76 (harmonisch gemiddelde van ICC = 0,79 en $\alpha$ = 0,74). De diagnostische gates voorkamen succesvol dat de modellen naar de middens van de banden inklapten, waardoor ze gedwongen werden tot echt gebruik van de continue schaal.
Inter-Model Overeenstemming: Op de volledige corpus bereikten de drie LLM's substantiële citaat-niveau overeenstemming (Gecombineerd = 0,78; ICC = 0,80; $\alpha$ = 0,76). Paarsgewijze exacte overeenstemming was 78,4%, waarbij 88,4% van de vergelijkingen binnen één aangrenzende band viel.
Kalibratie versus Convergentie: Hoewel de modellen systematische kalibratieverschuivingen vertoonden (bijv. Claude neigde naar Realisme-Sceptisch, Gemini naar Sterk Realisme), bereikten ze bijna perfecte artikel-niveau rangstabiliteit ( $r = 0,96–0,97$ ). Dit geeft aan dat hoewel individuele citaatclassificaties varieerden, de modellen convergeerden op de relatieve ordening van artikelen.
Substantiële Bevindingen:
- Het corpus was overwegend Zwak Realistisch (67,9% van de citaten), maar artikelen waren zelden uniform; slechts 1,4% gebruikte een enkele band, terwijl 59,5% vier of meer banden besloeg.
- Een significant structureel verschil werd gekwantificeerd: artikelen over laag-niveau perceptie/motoriek scoorden 8,8 punten hoger op Realisme dan artikelen over hoog-niveau cognitie ( $p < ,001, d = 0,60$ ), wat de langdurige kwalitatieve intuïtie in het veld empirisch valideert.

Betekenis en Claims
Dit artikel positioneert dit werk als een casestudy die aantoont dat frontier LLM's kwalitatieve codering met hoge theoretische eisen kunnen ondersteunen wanneer het construct wordt geoperationaliseerd via een controleerbaar codeboek en gevalideerd tegen expert-referenties.

Methodologische Bijdrage: De auteurs presenteren een framework voor diagnostisch bewuste prompt-optimalisatie die de prompt behandelt als een gemeenschappelijk annotatieprotocol voor heterogene modellen. Deze aanpak geeft prioriteit aan convergentie onder gedeelde instructies boven per-model tuning.
Granulariteit van Analyse: De studie benadrukt dat overeenstemmingsmetrieken moeten aansluiten bij de korrel van de downstream inferentie. Hoewel de overeenstemming op citaatniveau substantieel was, was de artikel-niveau rangstabiliteit bijna perfect, wat suggereert dat analyse op geaggregeerd niveau signalen kan herstellen die verborgen liggen in ruis op item-niveau.
Beperkingen en Reikwijdte: De auteurs geven expliciet aan dat het framework bedoeld is om te generaliseren naar soortgelijke theoretisch veeleisende taken, en niet naar alle kwalitatieve analyses. Ze erkennen beperkingen, waaronder het gebruik van een enkele-expert referentieset (wat mens-mens betrouwbaarheidsschatting verhindert), de specifieke domeinfocus (Bayesiaanse cognitieve wetenschap), en het potentieel voor gedeelde training-data biases tussen de LLM's. Het werk claimt de expert niet te vervangen, maar deze te uitbreiden, waarbij vertrouwd wordt op expert-gestuurd toezicht om faalmodi (zoals circulaire cues) te detecteren die geautomatiseerde metrieken mogelijk zouden missen.