💬 NLP

How Do We Engage with Other Disciplines? A Framework to Study Meaningful Interdisciplinary Discourse in Scholarly Publications

Dit artikel stelt een nieuw kader en een op maat gemaakte taxonomie van citatiedoeleinden voor om kwantitatief te evalueren hoe interdisciplinaire NLP-publicaties betekenisvol de ideeën van andere disciplines betrekken en integreren, waarmee de beperkingen van bestaande computationele metrieken worden aangepakt.

Oorspronkelijke auteurs: Bagyasree Sudharsan, Alexandria Leto, Maria Leonor Pacheco

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bagyasree Sudharsan, Alexandria Leto, Maria Leonor Pacheco

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een enorme bibliotheek loopt waar boeken uit verschillende werelden—zoals "Computerwetenschappen," "Psychologie" en "Sociologie"—allemaal door elkaar op dezelfde planken liggen. Al een lange tijd proberen bibliothecarissen (onderzoekers) uit te vogelen hoe goed deze boeken met elkaar praten.

De oude manier om dit te meten was als het tellen van hoeveel verschillende gekleurde stickers er op de cover van een boek zaten. Als een boek stickers van vijf verschillende kleuren had, namen de bibliothecarissen aan dat dit een diep, rijk gesprek was tussen die vijf werelden. Maar de auteurs van dit artikel stellen dat dit misleidend is. Alleen omdat een boek een psychologisch concept in zijn inleiding vermeldt, betekent niet dat het dat concept ook daadwerkelijk gebruikt om zijn eigen ideeën op te bouwen. Het kan ook gewoon een kwestie van naam noemen zijn.

Dit artikel stelt een nieuwe manier voor om de conversatie te meten: The Citation Engagement Predictor (CEP).

Zo werkt hun nieuwe systeem, opgedeeld in eenvoudige onderdelen:

1. De Nieuwe "Doel"-Taxonomie (Het "Waarom")

In plaats van alleen citaties te tellen, hebben de auteurs een nieuwe set labels gemaakt om de vraag te stellen: "Waarom heeft de auteur deze specifieke referentie opgenomen?"

Denk eraan als het analyseren van het recept van een chef-kok.

Oude manier: "Dit recept gebruikt ingrediënten uit Italië, Mexico en Japan." (Gewoon een lijst).
Nieuwe manier: "De chef gebruikte de Italiaanse tomatensaus als fundament voor de hele gerechten," of "De chef gebruikte de Mexicaanse specerij alleen om te definiëren wat 'pittig' betekent," of "De chef gebruikte de Japanse techniek om te bewijzen dat zijn saus beter is."

Ze hebben specifieke categorieën gemaakt voor deze "waarom"-vragen, zoals:

Basis (Basis): Het geciteerde idee is de fundering waarop het hele artikel is gebouwd.
Onderbouwing (Substantiation): Het geciteerde idee wordt gebruikt als bewijs om een bewering te onderbouwen.
Gebruik (Use): Het artikel gebruikt de geciteerde methode of tool daadwerkelijk direct.
Definitie (Definition): Het artikel gebruikt de citatie om uit te leggen wat een woord betekent.
Gerelateerd werk (Related Work): Het artikel vermeldt de citatie alleen om te zeggen: "Hé, andere mensen hebben dit ook gedaan," zonder er echt op voort te bouwen.

2. De "Locatie"-aanwijzing (Het "Waar")

De auteurs realiseerden zich ook dat waar een citatie in een artikel verschijnt, ertoe doet.

Als een citatie in de Inleiding staat, dient het misschien alleen om de scène te schetsen (als een decorstuk op de achtergrond).
Als een citatie in de secties Methoden of Experimenten staat, wordt deze waarschijnlijk gebruikt als een instrument om het eigenlijke werk te verrichten (zoals een hamer in een gereedschapskist).

3. De "Citation Engagement Predictor" (De Score)

De auteurs hebben een computermodel (een "voorspeller") gebouwd die het Waarom (Doel) en het Waar (Sectie) combineert om een enkele score van 1 tot 5 te geven.

Score 1: Het artikel vermeldt het andere werk nauwelijks. Het is een oppervlakkige knipoog.
Score 5: Het artikel integreert het andere werk diepgaand, waarbij het dient als fundament of een kerninstrument.

Ze hebben dit getest door menselijke experts 100 paren papers en citaties te laten lezen om te zien of de score van de computer overeenkwam met het menselijke gevoel van "diepe betrokkenheid". De computer deed het behoorlijk goed, wat bewees dat kijken naar hoe een citatie wordt gebruikt belangrijker is dan alleen tellen hoeveel citaties er zijn.

4. Wat ze vonden (De Casestudy)

Ze hebben dit nieuwe systeem toegepast op een specifieke groep papers die zich op het snijvlak bevinden van Natural Language Processing (NLP) (computers leren menselijke taal begrijpen) en Computational Social Science (CSS) (computers gebruiken om de menselijke samenleving te bestudelen).

De Grote Ontdekking:
Ze ontdekten dat de meeste van deze papers eigenlijk vrij oppervlakkig zijn in hun interdisciplinaire gesprekken.

Het "Naam-noemen"-probleem: Veel papers citeren sociale wetenschappelijke ideeën in hun inleiding, puur om te zeggen: "We weten dat dit bestaat," maar ze gebruiken die ideeën vervolgens niet om hun methoden op te bouren.
De "Diepe Duik" is zeldzaam: Slechts een klein deel van de papers (ongeveer 3%) engageerde zich echt diepgaand met externe disciplines. Dit waren de zeldzame papers die niet alleen een concept noemden, maar het gebruikten om hun instrumenten te definiëren of hun theorieën te bewijzen.
Intern versus Extern: Opvallend genoeg neigden deze papers er sterker naar om diepgaand te engageren met andere computerwetenschappelijke papers (binnen hun eigen discipline) dan met sociale wetenschappelijke papers (buiten hun discipline).

De Kern van het Verhaal

Dit artikel is als een nieuwe vergrootglas voor onderzoekers. In plaats van alleen te tellen hoeveel verschillende gekleurde knikkers er in een pot zitten (de oude manier), kijkt dit nieuwe hulpmiddel naar hoe die knikkers daadwerkelijk worden gebruikt om een structuur te bouwen. Het onthult dat hoewel veel onderzoekers zeggen dat ze diep interdisciplinair werk doen, ze vaak slechts de oppervlakte schrapen. De auteurs hopen dat dit hulpmiddel de wetenschappelijke gemeenschap helpt om de werkelijke diepte van de samenwerking tussen verschillende velden te begrijpen.

Technische Samenvatting: Een Raamwerk voor het Bestuderen van Betekenisvolle Interdisciplinaire Discursieve Interactie in Wetenschappelijke Publicaties

Probleemstelling
Bestaande computationele benaderingen voor het meten van interdisciplinariteit—zoals affiliatie-diversiteit, trefwoordovereenkomst en citatie-entropie—kwantificeren primair de hoeveelheid en de diversiteit van kennisbronnen. Deze metrieken falen echter in het vastleggen van de diepgang van de betrokkenheid, specifiek hoe individuele citaties worden gebruikt om het citerende werk te bevorderen. Bestaande taxonomieën voor citatiedoeleinden missen vaak categorieën die geschikt zijn voor cross-disciplinaire contexten of vertrouwen op vaste contextvensters die onvoldoende zijn om argumentatieve rollen te vangen. Er is daarom behoefte aan een raamwerk dat onderscheid maakt tussen oppervlakkige verwijzing en substantiële integratie van concepten uit buiten het primaire vakgebied van een artikel.

Methodologie
De auteurs stellen een raamwerk voor dat gecentreerd is rond twee kerncomponenten: een nieuwe taxonomie voor citatiedoeleinden en een Citation Engagement Predictor (CEP).

Dataverzameling: De studie richt zich op het snijvlak van Natural Language Processing (NLP) en Computational Social Science (CSS). De auteurs hebben een dataset samengesteld van 2.031 NLP+CSS-artikelen (gepubliceerd tussen 2015–2025) door een binaire classifier (fine-tuned RoBERTa-base) te trainen op abstracts uit de ACL Anthology. Zij extraheerden 50.050 in-tekst referenties, waarbij ongeveer 20.319 werden geïdentificeerd als "buiten het vakgebied" (citerende velden buiten Computer Science en Linguïstiek).
Taxonomie voor Citatiedoeleinden: Door middel van een inductieve annotatiestudie hebben de auteurs een taxonomie verfijnd om het doel van citaties in interdisciplinair werk te classificeren. De categorieën zijn:
- Substantiatie + Basis: De citatie valideert een bewering en dient als fundament voor een daaropvolgend idee of methode.
- Basis: Het geciteerde werk dient als het expliciete fundament voor de methode of het idee van het citerende werk.
- Substantiatie: De citatie verifieert theoretische, empirische of methodologische claims.
- Gebruik (Use): De geciteerde methode of tool wordt direct gebruikt met minimale modificatie.
- Analyse: Het geciteerde idee wordt vergeleken of bekritiseerd om een aanpak te rechtvaardigen.
- Definitie: De citatie definieert een kernconcept.
- Gerelateerd Werk (Related Work): De citatie biedt context of voorbeelden zonder verdere integratie.
- Annotatieproces: Een dataset van 950 in-tekst citaties werd handmatig geannoteerd door de auteurs en promovendi, waarbij een Krippendorff's $\alpha$ van 0,596 werd bereikt.
Automatische Classificatie: De auteurs evalueerden drie modellen voor het voorspellen van het citatiedoel: fine-tuned RoBERTa, Llama3-8b en Qwen3-8b. Qwen3-8b behaalde de beste prestaties (Weighted F1: 0,60).
Citation Engagement Predictor (CEP): Om de diepgang van de betrokkenheid te meten, ontwikkelden de auteurs een ordinale logistische regressie. Dit model voorspelt een 5-punts engagementscore (1 = laag, 5 = hoog) voor de betrokkenheid van een publicatie bij een specifiek geciteerd werk. Het model maakt gebruik van kenmerken afgeleid van de frequentie waarmee citaties verschijnen in specifieke secties (Inleiding, Methode, Experimenten, Conclusie, Bijlage) en met specifieke doeleinden. De categorie "Gerelateerd Werk" en baseline-secties werden verwijderd om lineaire afhankelijkheid te voorkomen.

Belangrijkste Bijdragen

Nieuw Annotatiekader: Een taxonomie die specifiek is ontworpen om de citatiedoeleinden in interdisciplinair NLP-werk te vangen, waarbij onderscheid wordt gemaakt tussen oppervlakkige verwijzing en diepe integratie (bijv. "Substantiatie + Basis").
Dataset en Classifier: Een dataset van 950 geannoteerde in-tekst citaties uit NLP+CSS-papers en een state-of-the-art classifier (Qwen3) voor het automatisch voorspellen van het citatiedoel.
Citation Engagement Predictor (CEP): Een statistisch model dat signalen uit de citatiedoeleinden en de sectielocatie synthetiseert om één enkele, interpreteerbare maatstaf voor de diepgang van de betrokkenheid te generen.
Empirische Analyse: Een grootschalige casestudy die 34.786 artikel-citatieparen in NLP+CSS analyseert om het nut van het raamwerk te evalueren.

Resultaten

Modelprestaties: De automatische classifier (Qwen3) behaalde een Macro F1 van 0,56. Het CEP-model behaalde een Mean Absolute Error (MAE) van 0,484 en een Quadratic Weighted Kappa (QWK) van 0,794 op een onafhankelijke testset van 100 geannoteerde artikel-citatieparen.
Kenmerkbelang (Feature Importance): Regressiecoëfficiënten geven aan dat het doel van een citatie een sterkere voorspeller is voor de diepgang van de betrokkenheid dan de sectie waarin deze verschijnt. Specifiek correleren citaties gelabeld als "Basis" en citaties die in de "Bijlage" of "Methode" secties verschijnen met hogere engagementscores.
Engagementverdeling: In de NLP+CSS-dataset kreeg de meerderheid van de citaties (55,8%) een engagementscore van Niveau 1 (laag). Slechts 2,9% van de citaties behaalde Niveau 4 of 5 (hoog).
Interdisciplinair vs. Binnen het Vakgebied: De analyse laat zien dat auteurs de neiging hebben om dieper betrokken te zijn bij citaties binnen hun eigen vakgebied dan bij interdisciplinaire citaties. Interdisciplinaire citaties worden vaker geassocieerd met de doeleinden "Substantiatie" en "Definitie", terwijl binnen-disciplinaire citaties vaak methodologisch "Gebruik" impliceren.
Kwalitatieve Bevindingen: Papers met een hoge mate van engagement (bijv. die cognitieve wetenschap integreren) hebben de neiging om geciteerde concepten door meerdere secties en doeleinden heen te weven, terwijl papers met een lagere engagement interdisciplinair werk vaak alleen citeren voor achtergrond of definitie zonder erop voort te bouwen.

Betekenis en Claims
Het artikel beweert dat het raamwerk een noodzakelijke aanvulling vormt op bestaande metrieken voor interdisciplinariteit door de focus te verleggen van wat er geciteerd wordt naar hoe het geciteerd wordt. Door de diepgang van de betrokkenheid te operationaliseren, stelt het raamwerk onderzoekers in staat om te identificeren of interdisciplinair werk louter concepten uit andere velden "noemt" (name-dropping) of deze substantieel integreert in methodologische en theoretische keuzes. De auteurs positioneren dit werk als een "eerste stap" naar een breder raamwerk voor het bestuderen van interdisciplinaire betrokkenheid over verschillende disciplines heen, waarbij zij specifiek opmerken dat hun bevindingen geworteld zijn in de NLP+CSS-context en dat validatie in andere domeinen toekomstig werk is. Zij waarschuwen expliciet dat hun geautomatiseerde aanpak onzekerheden met zich meebrengt door parsing-fouten en de afhankelijkheid van automatische classifiers voor de grootschalige analyse.