Scaling In, Not Up? Testing Thick Citation Context Analysis with GPT-5 and Fragile Prompts

Probleemstelling

Traditionele Citation Context Analysis (CCA) probeert citaten in wetenschappelijke teksten te classificeren volgens vaste typologieën (bijv. "essentieel", "supplementair", "negatief") om ze in grote corpora te schalen ("scaling up"). Een fundamentele kritiek hierop, geformuleerd door Gilbert (1977), is dat citatiebetekenis vaak ambigu, persuasief en afhankelijk is van de context en het publiek. Het veronderstellen dat alle lezers tot één stabiele label komen, is sociologisch fragiel.

De huidige toepassing van Large Language Models (LLMs) op dit gebied richt zich vaak op het automatiseren van deze oppervlakkige classificatie. Dit artikel stelt echter de vraag of LLMs kunnen worden ingezet om interpretatief werk te "schalen in" (scaling in). In plaats van één label te zoeken, gaat het erom of een LLM als een "geleide co-analist" kan fungeren om een gestructureerde ruimte van plausibele, tekstgebonden interpretaties voor één specifiek, moeilijk geval te genereren en te organiseren.

Methodologie

De auteur gebruikt een twee-staps prompting-pipeline met het GPT-5-model, getoetst aan een canoniek "moeilijk geval": voetnoot 6 uit Chubin en Moitra (1975). Gilbert (1977) had dit voetnootje eerder geanalyseerd als een mogelijk verkapte waarschuwing (admonishment) omdat Gilbert & Woolgar (1974) een onderscheid herhaalden dat Price (1970) introduceerde, zonder Price bij die definitie te citeren.

Het experimentele ontwerp (2×3):

1. Fase 1 (Oppervlakkige classificatie): Het model classificeert het citaat alleen op basis van de tekst van de voetnoot en formuleert verwachtingen over de geciteerde bronnen. Dit dient als een stabiele baseline.
2. Fase 2 (Interpretatieve reconstructie): Het model krijgt de volledige teksten van het citerende werk en de geciteerde werken (Price; Gilbert & Woolgar). Het moet dan alternatieve interpretaties genereren die de oppervlakkige classificatie compliceren.

De variatie in Fase 2 wordt bepaald door een 2×3 design:

• Twee basis-promptstructuren:
  • 4-staps: Het model doorloopt expliciete stappen: verwachtingscontrole, cue-analyse, contextanalyse en hypothese-generatie.
  • 1-stap: Het model springt direct naar het genereren van 5 hypothese-justificatie paren zonder tussenstappen.
• Drie "nudging"-condities (voorbeelden in de prompt):
  • Geen nudging: Geen extra voorbeelden.
  • Nudging Toward: Voorbeelden die lijken op de specifieke casus (bijv. genealogie, verkapte kritiek, publieksbruggen).
  • Nudging Away: Voorbeelden die minder plausibel zijn voor deze casus (bijv. louter collegiale groet, pedagogische doeleinden).

Data-analyse:

• Er werden 90 runs uitgevoerd, resulterend in 450 hypothesen.
• Door middel van close reading en inductieve codering werden 21 herhalende interpretatieve moves (codes) geïdentificeerd (bijv. "Preempt", "Canon", "MuteGW").
• Lineaire Kansmodellen (Linear Probability Models - LPM) werden gebruikt om te meten hoe prompt-keuzes (structuur en framing) de frequentie van deze codes beïnvloeden.

Belangrijkste Resultaten

1. Stabiliteit in Fase 1: GPT-5 classificeerde het citaat in bijna alle gevallen consistent als "supplementair" (perfunctory of additional information). Dit bevestigt dat het model, onder een "scaling-up" constraint, stabiel werkt op het oppervlak.
2. Interpretatieve Diversiteit (RQ2): In Fase 2 genereerde het model een gestructureerde ruimte van plausibele alternatieven. De 450 hypothesen varieerden van interpretaties die dicht bij Gilbert's oorspronkelijke lezing lagen (tot aan de rand van plausibiliteit) tot meer pragmatische of genealogische lezingen. Het model was in staat om tekstuele aanwijzingen (zoals het woord "reiterated" en het ontbreken van een citaat bij de definitie) te koppelen aan bredere argumentatieve strategieën.
3. Prompt-gevoeligheid (RQ3): De prompt-ontwerpkeuzes verschoven de verdeling van interpretaties significant:
   • De 4-staps structuur leidde vaker tot interpretaties gericht op genealogie en autoriteit ("Canon", "UseGW") en minder tot pragmatische lezingen ("Agile", "Pragma").
   • De "Toward" nudge verhoogde de kans op interpretaties over "lineage" (PrioP), het dempen van kritiek (MuteGW) en het overbruggen van publieken (Bridge).
   • De "Away" nudge introduceerde unieke, soms minder plausibele lezingen zoals "didactische signposting" (Teach), wat aantoont dat voorbeelden in prompts de interpretatieve ruimte kunnen verbreden maar ook kunnen verengen naar specifieke storylines.
4. Vergelijking met Gilbert (RQ4): Hoewel GPT-5 dezelfde tekstuele "scharnieren" (hinges) opmerkte als Gilbert (het verschil tussen "introduced" en "reiterated" en het ontbreken van een citaat), resolveerde het model deze zelden als een "admonishment" (waarschuwing/verwijt). In plaats daarvan neigde het model naar lezingen die de hiërarchie normaliseerden, de auteurs in een lijn plaatsten, of conflicten dempten ("muting"). Dit suggereert een bias in het model (of de prompts) richting niet-conflicterende, coöperatieve interpretaties.

Belangrijkste Bijdragen

• Conceptuele Shift: Het artikel introduceert het concept van "scaling in" interpretatief werk. In plaats van LLMs te gebruiken om classificaties te versnellen, worden ze ingezet om de complexiteit en pluraliteit van betekenis in één geval te verdiepen en te structureren.
• Methodologische Innovatie: Het toont aan dat prompt-ontwerp (scaffolding en framing) niet neutraal is, maar een methodologische hefboom is die bepaalt welke interpretatieve ruimte wordt verkend. Het stelt een reproduceerbaar workflow voor om tacite leesroutines expliciet te maken.
• LLM als Co-analist: Het bewijst dat LLMs kunnen fungeren als een "geleide co-analist" die een breed scala aan tekstgebonden hypothesen kan genereren, waardoor menselijke analisten een grotere ruimte van alternatieven kunnen inspecteren en betwisten, zonder dat de menselijke verantwoordelijkheid voor de uiteindelijke interpretatie wordt overgedragen.

Betekenis en Conclusie

De studie weerlegt de stelling dat impliciete betekenis en contextuele interpretatie in principe niet aan computers kunnen worden gedelegeerd. GPT-5 kan complexe taken uitvoeren zoals cross-document verwachtingscontrole en het genereren van tekstgebonden hypothesen.

Echter, de interpretatieve ruimte die het model opent is niet neutraal. De keuze van prompts en de trainingsdata van het model (die vaak neigen naar samenwerking en vermijding van conflict) bepalen welke lezingen naar voren komen. De conclusie is dat de toekomst van Citation Context Analysis niet ligt in volledige automatisatie, maar in een collaboratieve configuratie: de LLM als een instrument dat de interpretatieve mogelijkheidruimte verbreedt en ordent, en de menselijke analist als curator en criticus die bepaalt welke lezingen plausibel en waardevol zijn. Dit vereist een kritische houding ten opzichte van prompt-ontwerp en modelkeuze.