💬 NLP

How Do We Engage with Other Disciplines? A Framework to Study Meaningful Interdisciplinary Discourse in Scholarly Publications

Dieses Paper schlägt ein neuartiges Framework und eine maßgeschneiderte Taxonomie für Zitierzwecke vor, um quantitativ zu evaluieren, wie interdisziplinäre NLP-Publikationen sich sinnvoll mit Ideen aus anderen Disziplinen auseinandersetzen und diese integrieren, wodurch die Einschränkungen bestehender computergestützter Metriken adressiert werden.

Ursprüngliche Autoren: Bagyasree Sudharsan, Alexandria Leto, Maria Leonor Pacheco

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bagyasree Sudharsan, Alexandria Leto, Maria Leonor Pacheco

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie gehen durch eine riesige Bibliothek, in der Bücher aus verschiedenen Welten – wie „Informatik“, „Psychologie“ und „Soziologie“ – alle zusammen in denselben Regalen stehen. Lange Zeit haben Bibliothekare (Forscher) versucht herauszufinden, wie gut diese Bücher miteinander sprechen.

Die alte Methode, dies zu messen, war vergleichbar mit dem Zählen, wie viele verschiedene farbige Aufkleber auf einem Buch klebten. Wenn ein Buch Aufkleber von fünf verschiedenen Farben hatte, nahmen die Bibliothekare an, dass dies ein tiefgründiges, reiches Gespräch zwischen diesen fünf Welten sei. Die Autoren dieser Arbeit argumentieren jedoch, dass das irreführend ist. Nur weil ein Buch in seiner Einleitung ein psychologisches Konzept erwähnt, bedeutet das noch lange nicht, dass es dieses Konzept auch tatsächlich nutzt, um seine eigenen Ideen aufzubauen. Es könnte auch nur „Namensnennung“ (Name-dropping) sein.

Diese Arbeit schlägt eine neue Methode vor, um das Gespräch zu messen: den Citation Engagement Predictor (CEP).

So funktioniert ihr neues System, unterteilt in einfache Teile:

1. Die neue „Zweck“-Taxonomie (Das „Warum“)

Anstatt nur Zitate zu zählen, haben die Autoren eine neue Gruppe von Labels erstellt, um die Frage zu stellen: „Warum hat der Autor diesen spezifischen Verweis aufgenommen?“

Denken Sie daran wie bei der Analyse des Rezepts eines Küchenchefs.

Alte Art: „Dieses Rezept verwendet Zutaten aus Italien, Mexiko und Japan.“ (Nur eine Liste).
Neue Art: „Der Koch hat die italienische Tomatensauce als Fundament für das gesamte Gericht verwendet“, oder „Der Koch hat das mexikanische Gewürz nur verwendet, um zu definieren, was ‚scharf‘ bedeutet“, oder „Der Koch hat die japanische Technik verwendet, um zu beweisen, dass seine Sauce besser ist.“

Sie haben spezifische Kategorien für diese „Warum“-Fragen erstellt, wie zum Beispiel:

Basis (Basis): Die zitierte Idee ist das Fundament, auf dem das gesamte Paper aufgebaut ist.
Substantiierung (Substantiation): Die zitierte Idee wird als Beweis verwendet, um eine Behauptung zu stützen.
Nutzung (Use): Das Paper nutzt die zitierte Methode oder das zitierte Werkzeug tatsächlich direkt.
Definition (Definition): Das Paper nutzt das Zitat, um zu erklären, was ein Wort bedeutet.
Verwandte Arbeiten (Related Work): Das Paper erwähnt das Zitat nur, um zu sagen: „Hey, andere Leute haben das auch schon gemacht“, ohne jedoch darauf aufzubauen.

2. Der „Lokations“-Hinweis (Das „Wo“)

Die Autoren haben auch erkannt, dass es darauf ankommt, wo ein Zitat im Paper erscheint.

Wenn ein Zitat in der Einleitung (Introduction) steht, dient es vielleicht nur dazu, den Rahmen zu setzen (wie eine Hintergrundrequisite).
Wenn ein Zitat in den Abschnitten Methoden (Methods) oder Experimente (Experiments) steht, wird es wahrscheinlich als Werkzeug verwendet, um die eigentliche Arbeit zu verrichten (wie ein Hammer in einem Werkzeugkasten).

3. Der „Citation Engagement Predictor“ (Der Score)

Die Autoren haben ein Computermodell (einen „Prädiktor“) gebaut, das das „Warum“ (Zweck) und das „Wo“ (Abschnitt) kombiniert, um einen einzelnen Score von 1 bis 5 zu vergeben.

Score 1: Das Paper erwähnt die andere Arbeit kaum. Es ist eine oberflächliche Andeutung.
Score 5: Das Paper integriert die andere Arbeit tiefgreifend und nutzt sie als Fundament oder als zentrales Werkzeug.

Sie haben dies getestet, indem sie menschliche Experten gebeten haben, 100 Paare von Papern und Zitaten zu lesen, um zu sehen, ob der Computer-Score mit dem menschlichen Gefühl von „tiefem Engagement“ übereinstimmte. Der Computer wurde ziemlich gut darin, was bewies, dass es wichtiger ist, wie ein Zitat verwendet wird, als nur zu zählen, wie viele Zitate vorhanden sind.

4. Was sie herausgefunden haben (Die Fallstudie)

Sie haben dieses neue System auf eine spezifische Gruppe von Papern angewendet, die sich an der Schnittstelle von Natural Language Processing (NLP) (Computern beibringen, menschliche Sprache zu verstehen) und Computational Social Science (CSS) (Computer nutzen, um die menschliche Gesellschaft zu untersuchen) befinden.

Die große Entdeckung:
Sie fanden heraus, dass die meisten dieser Paper in ihrem interdisziplinären Gespräch eigentlich recht oberflächlich sind.

Das „Namensnennungs“-Problem: Viele Paper zitieren sozialwissenschaftliche Ideen in ihrer Einleitung, nur um zu sagen: „Wir wissen, dass dies existiert“, aber sie nutzen diese Ideen dann nicht, um ihre Methoden aufzubauen.
Der „Tiefe Tauchgang“ ist selten: Nur ein winziger Bruchteil der Paper (etwa 3 %) hat sich wirklich tiefgehend mit anderen Disziplinen auseinandergesetzt. Dies waren jene seltenen Paper, die Konzepte nicht nur erwähnten, sondern sie nutzten, um ihre Werkzeuge zu definieren oder ihre Theorien zu beweisen.
Intern vs. Extern: Interessanterweise setzten sich diese Paper tendenziell tiefer mit anderen Informatik-Papern (innerhalb ihrer eigenen Disziplin) auseinander als mit Sozialwissenschafts-Papern (außerhalb ihrer Disziplin).

Das Fazit

Diese Arbeit ist wie ein neues Mikroskop für Forscher. Anstatt nur zu zählen, wie viele verschiedene bunte Murmeln in einem Glas sind (die alte Art), betrachtet dieses neue Werkzeug, wie diese Murmeln tatsächlich verwendet werden, um eine Struktur zu bauen. Es offenbart, dass während viele Forscher behaupten, tiefgreifende interdisziplinäre Arbeit zu leisten, sie oft nur an der Oberfläche kratzen. Die Autoren hoffen, dass dieses Werkzeug der wissenschaftlichen Gemeinschaft helfen wird zu verstehen, welche wahre Tiefe die Zusammenarbeit zwischen verschiedenen Fachbereichen besitzt.

Technisches Resümee: Ein Framework zur Untersuchung bedeutungsvoller interdisziplinärer Diskurse in wissenschaftlichen Publikationen

Problemstellung
Bestehende computergestützte Ansätze zur Messung von Interdisziplinarität – wie etwa die Diversität der Zugehörigkeiten (Affiliations), Keyword-Matching oder Zitationsentropie – quantifizieren primär die Menge und Diversität von Wissensquellen. Diese Metriken erfassen jedoch nicht die Tiefe des Engagements, also spezifisch die Frage, wie einzelne Zitate genutzt werden, um die zitierende Arbeit voranzubringen. Vorhandene Taxonomien für den Zweck von Zitaten lassen oft Kategorien vermissen, die für interdisziplinäre Kontexte geeignet sind, oder verlassen sich auf feste Kontextfenster, die unzureichend sind, um argumentative Rollen zu erfassen. Folglich besteht ein Bedarf an einem Framework, das zwischen oberflächlicher Referenzierung und der substanziellen Integration von Konzepten aus außerhalb der primären Disziplin eines Papers unterscheidet.

Methodik
Die Autoren schlagen ein Framework vor, das auf zwei Kernkomponenten basiert: einer neuartigen Taxonomie für den Zitatzweck und einem Citation Engagement Predictor (CEP).

Datenerhebung: Die Studie konzentriert sich auf die Schnittstelle von Natural Language Processing (NLP) und Computational Social Science (CSS). Die Autoren konstruierten einen Datensatz aus 2.031 NLP+CSS-Artikeln (veröffentlicht 2015–2025), indem sie einen binären Klassifikator (feingetuntes RoBERTa-base) auf Abstracts aus der ACL Anthology trainierten. Sie extrahierten 50.050 In-Text-Referenzen und identifizierten etwa 20.319 als „außerhalb der Disziplin“ (Fachgebiete außerhalb von Informatik und Linguistik).
Taxonomie des Zitatzwecks: Durch eine induktive Annotationsstudie verfeinerten die Autoren eine Taxonomie, um den Zweck von Zitaten in interdisziplinärer Arbeit zu klassifizieren. Die Kategorien umfassen:
- Substantiation + Basis: Das Zitat validiert eine Behauptung und dient als Fundament für eine nachfolgende Idee oder Methode.
- Basis: Das zitierte Werk dient als explizite Grundlage für die Methode oder Idee der zitierenden Arbeit.
- Substantiation: Das Zitat verifiziert theoretische, empirische oder methodische Behauptungen.
- Use (Nutzung): Die zitierte Methode oder das Tool wird direkt mit minimalen Modifikationen verwendet.
- Analysis (Analyse): Die zitierte Idee wird verglichen oder kritisiert, um einen Ansatz zu rechtfertigen.
- Definition: Das Zitat definiert ein Kernkonzept.
- Related Work (Verwandte Arbeiten): Das Zitat liefert Kontext oder Beispiele ohne weitere Integration.
- Annotationsprozess: Ein Datensatz von 950 In-Text-Zitaten wurde von den Autoren und Doktoranden manuell annotiert, wobei ein Krippendorffs $\alpha$ von 0,596 erreicht wurde.
Automatische Klassifizierung: Die Autoren evaluierten drei Modelle zur Vorhersage des Zitatzwecks: feingetuntes RoBERTa, Llama3-8b und Qwen3-8b. Qwen3-8b erzielte die beste Leistung (gewichtetes F1: 0,60).
Citation Engagement Predictor (CEP): Um die Tiefe des Engagements zu messen, entwickelten die Autoren ein Modell der ordinalen logistischen Regression. Dieses Modell sagt einen 5-stufigen Engagement-Score voraus (1 = niedrig, 5 = hoch) für das Engagement einer Publikation mit einer spezifischen zitierten Arbeit. Das Modell nutzt Merkmale, die aus der Häufigkeit des Auftretens von Zitaten in spezifischen Sektionen (Einleitung, Methode, Experimente, Schlussfolgerung, Anhang) und mit spezifischen Zwecken abgeleitet wurden. Die Kategorie „Related Work“ sowie Basis-Sektionen wurden entfernt, um lineare Abhängigkeiten zu vermeiden.

Wesentliche Beiträge

Neuartiges Annotations-Framework: Eine Taxonomie, die speziell darauf ausgelegt ist, die Zwecke von Zitaten in interdisziplinärer NLP-Arbeit zu erfassen, indem sie zwischen oberflächlicher Referenzierung und tiefer Integration (z. B. „Substantiation + Basis“) unterscheidet.
Datensatz und Klassifikator: Ein Datensatz von 950 annotierten In-Text-Zitaten aus NLP+CSS-Papieren und ein State-of-the-Art-Klassifikator (Qwen3) zur automatischen Vorhersage des Zitatzwecks.
Citation Engagement Predictor (CEP): Ein statistisches Modell, das Signale aus dem Zitatzweck und der Sektionsplatzierung synthetisiert, um ein einzelnes, interpretierbares Maß für die Tiefe des Engagements zu generieren.
Empirische Analyse: Eine groß angelegte Fallstudie zur Analyse von 34.786 Artikel-Zitat-Paaren in NLP+CSS zur Evaluierung des Nutzens des Frameworks.

Ergebnisse

Modellleistung: Der automatische Klassifikator (Qwen3) erreichte ein Makro-F1 von 0,56. Das CEP-Modell erreichte einen mittleren absoluten Fehler (MAE) von 0,484 und ein quadratisch gewichtetes Kappa (QWK) von 0,794 auf einem gehaltenen Testdatensatz von 100 annotierten Artikel-Zitat-Paaren.
Merkmalsrelevanz: Die Regressionskoeffizienten zeigen, dass der Zweck eines Zitats ein stärkerer Prädiktor für die Engagement-Tiefe ist als die Sektion, in der es erscheint. Insbesondere korrelieren Zitate, die als „Basis“ gekennzeichnet sind und in den Sektionen „Anhang“ oder „Methode“ erscheinen, mit höheren Engagement-Scores.
Engagement-Verteilung: In der NLP+CSS-Datenmenge erhielten die meisten Zitate (55,8 %) einen Engagement-Score der Stufe 1 (niedrig). Nur 2,9 % der Zitate erreichten die Stufen 4 oder 5 (hoch).
Interdisziplinär vs. Innerhalb der Disziplin: Die Analyse zeigt, dass Autoren dazu neigen, sich tiefer mit Zitaten innerhalb der eigenen Disziplin auseinanderzusetzen als mit interdisziplinären. Interdisziplinäre Zitate werden häufiger mit den Zwecken „Substantiation“ und „Definition“ assoziiert, während Zitate innerhalb der Disziplin oft eine methodische „Nutzung“ (Use) beinhalten.
Qualitative Befunde: Hoch engagierte interdisziplinäre Arbeiten (z. B. solche, die kognitionswissenschaftliche Konzepte integrieren) neigen dazu, zitierte Konzepte durch mehrere Sektionen und Zwecke hinweg zu verweben, während Arbeiten mit geringerem Engagement interdisziplinäre Werke oft nur für Hintergrundinformationen oder Definitionen zitieren, ohne auf ihnen aufzubauen.

Bedeutung und Ansprüche
Das Paper behauptet, dass sein Framework eine notwendige Ergänzung zu bestehenden Interdisziplinaritätsmetriken darstellt, indem es den Fokus von dem, was zitiert wird, auf das, wie es zitiert wird, verschiebt. Durch die Operationalisierung der Tiefe des Engagements ermöglicht das Framework Forschern zu identifizieren, ob interdisziplinäre Arbeiten lediglich Konzepte aus anderen Feldern „namen nennen“ (Name-Dropping) oder diese substanziell in methodische und theoretische Entscheidungen integrieren. Die Autoren positionieren diese Arbeit als einen „ersten Schritt“ hin zu einem breiteren Framework zur Untersuchung interdisziplinären Engagements über verschiedene Felder hinweg, wobei sie explizit darauf hinweisen, dass ihre Ergebnisse im NLP+CSS-Kontext fundiert sind und die Validierung in anderen Domänen zukünftige Arbeit bleibt. Sie warnen ausdrücklich davor, dass ihr automatisierter Ansatz aufgrund von Parsing-Fehlern und der Abhängigkeit von automatischen Klassifikatoren für die groß angelegte Analyse Unsicherheiten birgt.