Computational conceptual history of scientific concepts: From early digital methods to LLMs

Technische Samenvatting: Computationele Conceptgeschiedenis van Wetenschappelijke Concepten

Probleemstelling
Het artikel behandelt de methodologische integratie van Large Language Models (LLM's) in de computationele conceptgeschiedenis van wetenschappelijke concepten binnen de Geschiedenis, Filosofie en Sociologie van de Wetenschap (HPSS). Terwijl HPSS concepten traditioneel behandelt als historisch gelaagd, sociaal gesitueerd en epistemisch significant in plaats van als vaste semantische eenheden, hebben recente digitale wendingen geprobeerd deze dynamiek te kwantificeren. Het kernprobleem is bepalen wat LLM's toevoegen aan bestaande computationele methoden (zoals co-citatieanalyse, topic modeling en statische word embeddings) en hoe zij langdurige methodologische uitdagingen erven of hervormen. Specifiek onderzoeken de auteurs hoe LLM's vier kritieke pijlers van het veld beïnvloeden: corpusconstructie, concept-operationalisering, model- en trainingsdata-selectie, en de gekoppelde uitdagingen van evaluatie en interpretatie.

Methodologie
Het artikel hanteert een tweeledig analytisch kader om LLM's binnen de geschiedenis van het vakgebied te situeren:

1. Historische Reconstructie (Pre-LLM Tijdperk): De auteurs reconstrueren het traject van de computationele conceptgeschiedenis door drie stromingen van eerder werk te synthetiseren:

   • Vroege Digitale HPSS-methoden: Inclusief co-citatieanalyse (Small, 1973) en co-woord analyse (Callon et al., 1983), die conceptuele structuren in kaart brengen via citaties en trefwoord-co-occurrence.
   • Digitale Begriffsgeschichte: Benaderingen die gebruikmaken van distributionele semantiek (bijv. Word2Vec, GloVe) om semantische buurten en polysemie te traceren, waarbij vaak de spanning tussen lexicale proxies en historische concepten wordt benadrukt.
   • Lexical Semantic Change Detection (LSCD): Computationele linguïstische technieken die statische embeddings gebruiken om vectorverschuivingen over tijdsintervallen te meten, met een focus op technische benchmarking en modelevaluatie.

2. LLM-tijdperk Analyse: De auteurs analyseren het huidige landschap door onderscheid te maken tussen twee dominante LLM-architecturen:

   • Encoder-gebaseerde modellen (bijv. BERT): Voornamelijk gebruikt voor meetgerichte workflows. Deze genereren Contextualized Word Embeddings (CWE's) die individuele token-voorkomens representeren op basis van bidirectionele context, wat het afhandelen van polysemie mogelijk maakt via clustering en zin-specifieke analyse.
   • Decoder-gebaseerde/Generatieve modellen (bijv. Llama, GPT): Gebruikt voor tekstproductie, prompt-gebaseerde extractie en hybride workflows. Deze assisteren bij het genereren van synthetische data voor schaarse historische domeinen, het verfijnen van coderingsschema's of het bieden van interpretatieve samenvattingen via Retrieval-Augmented Generation (RAG).

De methodologie omvat het beoordelen van recente HPSS-casestudy's (bijv. Malaterre & Lareau, 2026; Ahmadi, 2026; Zichert et al., 2025) die deze modellen toepassen op wetenschappelijke concepten, en evalueert hoe zij concepten operationaliseren en omgaan met kwesties zoals domeinadaptatie en temporele bias.

Belangrijkste Bijdragen

• Methodologische Taxonomie: Het artikel biedt een gestructureerde vergelijking tussen pre-LLM en LLM-tijdperk benaderingen, waarbij de verschuiving van statische, enkelvoudige vectorrepresentaties naar dynamische, contextgevoelige embeddings wordt verduidelijkt.
• Operationalisering van Polysemie: Het benadrukt hoe encoder-gebaseerde LLM's een directere modellering van polysemie mogelijk maken door woordvoorkomens als unieke vectoren te behandelen, waardoor onderzoekers verschuivingen in dominante betekenissen en zin-distributies over de tijd kunnen volgen, in plaats van meerdere betekenissen samen te voegen tot één gemiddelde vector.
• Hybride Workflows: De auteurs identificeren opkomende hybride methodologieën waarbij generatieve modellen niet als zelfstandige analysatoren worden gebruikt, maar als instrumenten om synthetische trainingsdata te genereren, lexiconen te verfijnen of te assisteren bij de interpretatie van encoder-gebaseerde bevindingen.
• Kritische Beoordeling van Beperkingen: Het artikel beschrijft hoe LLM's specifieke uitdagingen erven en versterken, waaronder de "woord-concept kloof" (waarbij linguïstische proxies de materiële-semiotische wetenschappelijke concepten niet volledig kunnen vatten), de opaciteit van "black box"-modellen, en de risico's van het projecteren van hedendaagse betekenissen op historische teksten (temporele bias).

Resultaten en Bevindingen

• Huidige Staat van HPSS Casestudy's: Recente toepassingen in HPSS vertrouwen voornamelijk op encoder-gebaseerde modellen (CWE's) voor het meten van semantische verandering. Voorbeelden zijn de analyse van epistemische markers in de biomedische wetenschap, het vergelijken van semantische uniformiteit tussen sociologie en astrofysica, en het traceren van de geschiedenis van "virtuele deeltjes". Decoder-gebaseerde modellen spelen een secundaire, ondersteunende rol, primair in datageneratie en prompt-gebaseerde extractie.
• Corpus en Data Uitdagingen: Hoewel LLM's robuuster zijn voor ruwe tekst en de noodzaak voor zware voorbewerking verminderen, introduceren ze nieuwe afhankelijkheden van pre-training datasets die historische biases kunnen bevatten. De auteurs merken op dat domeinadaptatie (aanvullende pre-training op specifieke wetenschappelijke corpora) nu een standaard en noodzakelijke stap is om disciplinaire terminologieën te vangen.
• Evaluatieproblemen: Het artikel stelt vast dat robuuste evaluatie een significante hindernis blijft. Vanwege het gebrek aan een 'ground truth' in historische conceptuele analyse en de opaciteit van LLM's, blijft triangulatie met andere kwantitatieve methoden (frequentie, co-occurrence, dependency parsing) en kwalitatieve validatie de standaardstrategie.
• Interpretatieve Risico's: Ho hoewel LLM's de heuristische ontdekking en grootschalige testen van kwalitatieve claims kunnen ondersteunen, bestaat het risico dat hun output de interpretatieve controle subtiel wegneemt bij de wetenschapper, vooral bij het gebruik van commerciële generatieve modellen met niet-transparante updates.

Betekenis en Claims
Het artikel claimt dat LLM's eerdere digitale benaderingen niet vervangen, maar deze herconfigureren en uitbreiden. De betekenis van dit werk ligt in het argument dat LLM's rijkere, contextgevoelige representaties bieden die beter aansluiten bij de HPSS-opvatting van concepten als fluïde en gesitueerd. De auteurs behouden echter een bescheiden houding en stellen dat LLM's geen zelfvoorzienende oplossingen zijn. In plaats daarvan fungeren ze als één component in een multi-method toolbox.

Het artikel benadrukt dat historisch verantwoorde conceptuele analyse nog steeds afhankelijk is van:

1. Triangulatie: Het combineren van LLM's met gevestigde kwantitatieve technieken en kwalitatieve validatie.
2. Transparantie: De noodzaak van open infrastructuren, domeinspecifieke modellen en duidelijke documentatie om reproduceerbaarheid te waarborgen.
3. Toekomstige Richtingen: De auteurs wijzen op het potentieel van multimodale LLM's om de "materiële-semiotische" aard van wetenschappelijke concepten aan te pakken (het integreren van tekst met diagrammen en formules), hoewel zij opmerken dat dit nieuwe corpora en alignment-technieken vereist die momenteel nog in een vroeg stadium van ontwikkeling zijn.

Uiteindelijk positioneert het artikel LLM's als krachtige instrumenten die de schaal en nuance van de conceptgeschiedenis vergroten, maar houdt het vol dat de kernverantwoordelijkheden van corpusconstructie, operationalisering en interpretatie bij de onderzoeker blijven liggen.