💬 NLP

How Do We Engage with Other Disciplines? A Framework to Study Meaningful Interdisciplinary Discourse in Scholarly Publications

Questo articolo propone un nuovo framework e una tassonomia personalizzata degli scopi di citazione per valutare quantitativamente come le pubblicazioni interdisciplinari nel campo del NLP si impegnino in modo significativo con altre discipline e incorporino le loro idee, affrontando i limiti delle metriche computazionali esistenti.

Autori originali: Bagyasree Sudharsan, Alexandria Leto, Maria Leonor Pacheco

Pubblicato 2026-07-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bagyasree Sudharsan, Alexandria Leto, Maria Leonor Pacheco

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di camminare attraverso una biblioteca enorme dove libri di mondi diversi — come "Informatica", "Psicologia" e "Sociologia" — sono tutti mescolati sugli stessi scaffali. Per molto tempo, i bibliotecari (i ricercatori) hanno cercato di capire quanto bene questi libri si parlino tra loro.

Il vecchio modo di misurare questo era simile al contare quanti diversi adesivi colorati ci fossero sulla copertina di un libro. Se un libro aveva adesivi di cinque colori diversi, i bibliotecari assumevano che fosse una conversazione profonda e ricca tra quei cinque mondi. Ma gli autori di questo articolo sostengono che questo sia fuorviante. Il fatto che un libro menzioni un concetto di psicologia nella sua introduzione non significa che lo usi effettivamente per costruire le proprie idee. Potrebbe solo essere un semplice "citare per nome".

Questo articolo propone un nuovo modo per misurare la conversazione: Il Citation Engagement Predictor (CEP) [Predittore dell'Impegno di Citazione].

Ecco come funziona il loro nuovo sistema, suddiviso in parti semplici:

1. La nuova tassonomia del "Purpose" (Il "Perché")

Invece di limitarsi a contare le citazioni, gli autori hanno creato un nuovo insieme di etichette per chiedere: "Perché l'autore ha incluso questo specifico riferimento?"

Pensa a come analizzare la ricetta di uno chef.

Vecchio modo: "Questa ricetta utilizza ingredienti provenienti da Italia, Messico e Giappone." (Solo un elenco).
Nuovo modo: "Lo chef ha usato la salsa di pomodoro italiana come fondamenta per l'intero piatto," oppure "Lo chef ha usato la spezia messicana solo per definire cosa si intende per 'piccante'," oppure "Lo chef ha usato la tecnica giapponese per dimostrare che la sua salsa è migliore."

Hanno creato categorie specifiche per queste domande sul "perché", come:

Basis (Base): L'idea citata è il basamento su cui è costruita l'intero articolo.
Substantiation (Sostanziazione): L'idea citata è usata come prova per dimostrare una tesi.
Use (Uso): L'articolo usa effettivamente il metodo o lo strumento citato direttamente.
Definition (Definizione): L'articolo usa la citazione per spiegare il significato di una parola.
Related Work (Lavori Correlati): L'articolo menziona semplicemente la citazione per dire: "Ehi, altre persone hanno fatto questo anche", senza però costruirci sopra.

2. L'indizio della "Location" (Il "Dove")

Gli autori si sono anche resi conto che dove appare una citazione in un articolo è importante.

Se una citazione si trova nell'Introduzione, potrebbe servire solo a impostare la scena (come un elemento di sfondo).
Se una citazione si trova nelle sezioni Metodi o Esperimenti, è probabile che venga usata come uno strumento per svolgere il lavoro effettivo (come un martello in una cassetta degli attrezzi).

3. Il "Citation Engagement Predictor" (Il Punteggio)

Gli autori hanno costruito un modello informatico (un "predittore") che combina il Why (Scopo) e il Where (Sezione) per dare un punteggio unico da 1 a 5.

Punteggio 1: L'articolo menziona appena l'altro lavoro. È un cenno superficiale.
Punteggio 5: L'articolo integra profondamente l'altro lavoro, usandolo come fondamento o come strumento centrale.

Hanno testato questo sistema facendo leggere a esperti umani 100 coppie di articoli e citazioni per vedere se il punteggio del computer corrispondeva alla sensazione umana di "impegno profondo". Il computer è stato molto bravo, dimostrando che guardare a come una citazione viene usata è più importante del semplice contare quante citazioni ci sono.

4. Cosa hanno scoperto (Il Caso di Studio)

Hanno applicato questo nuovo sistema a un gruppo specifico di articoli che si trovano all'intersezione tra Natural Language Processing (NLP) (insegnare ai computer a comprendere il linguaggio umano) e Computational Social Science (CSS) (usare i computer per studiare la società umana).

La Grande Scoperta:
Hanno scoperto che la maggior parte di questi articoli è in realtà piuttosto superficiale nelle sue conversazioni interdisciplinari.

Il problema del "Citare per Nome": Molti articoli citano idee delle scienze sociali nella loro introduzione solo per dire "Sappiamo che questo esiste", ma poi non usano effettivamente quelle idee per costruire i loro metodi.
Il "Deep Dive" [Immersione Profonda] è raro: Solo una piccolissima frazione di articoli (circa il 3%) si è davvero impegnata profondamente con discipline esterne. Questi rari articoli erano quelli che non si limitavano a menzionare un concetto, ma lo usavano per definire i propri strumenti o provare le proprie teorie.
Interno vs Esterno: Interessante notare che questi articoli tendevano a impegnarsi più profondamente con altri articoli di informatica (all'interno della propria disciplina) rispetto agli articoli di scienze sociali (fuori dalla propria disciplina).

In sintesi

Questo articolo è come un nuovo microscopio per i ricercatori. Invece di limitarsi a contare quanti diversi biglie colorate ci sono in un barattolo (il vecchio modo), questo nuovo strumento osserva come quelle biglie vengono effettivamente utilizzate per costruire una struttura. Rivela che, sebbene molti ricercatori dicano di fare un lavoro interdisciplinare profondo, spesso stanno solo sfiorando la superficie. Gli autori sperano che questo strumento aiuti la comunità scientifica a comprendere la vera profondità della collaborazione tra diversi campi.

Sintesi Tecnica: Un Framework per Studiare il Discorso Interdisciplinare Significativo nelle Pubblicazioni Accademiche

Definizione del Problema
Gli approcci computazionali esistenti per misurare l'interdisciplinarità — come la diversità delle affiliazioni, il matching delle parole chiave e l'entropia delle citazioni — quantificano principalmente la quantità e la diversità delle fonti di conoscenza. Tuttavia, tali metriche non riescono a catturare la profondità dell'impegno, specificamente come le singole citazioni vengano utilizzate per far avanzare l'opera che le cita. Le tassonomie precedenti relative allo scopo della citazione spesso mancano di categorie adatte ai contesti transdisciplinari o si affidano a finestre di contesto fisse insufficienti per catturare i ruoli argomentativi. Di conseguenza, è necessario un framework che distingua tra il riferimento superficiale e l'integrazione sostanziale dei concetti provenienti da un campo al di fuori del primario ambito disciplinare del documento.

Metodologia
Gli autori propongono un framework centrato su due componenti principali: una nuova tassonomia dello scopo della citazione e un Predittore di Impegno della Citazione (Citation Engagement Predictor - CEP).

Raccolta Dati: Lo studio si concentra sull'intersezione tra Elaborazione del Linguaggio Naturale (NLP) e Scienza Sociale Computazionale (CSS). Gli autori hanno costruito un dataset di 2.031 articoli NLP+CSS (pubblicati tra il 2015 e il 2025) addestrando un classificatore binario (fine-tuned RoBERTa-base) sugli abstract dell'ACL Anthology. Hanno estratto 50.050 riferimenti nel testo, identificando circa 20.319 come "fuori disciplina" (campi citanti esterni all'informatica e alla linguistica).
Tassonomia dello Scopo della Citazione: Attraverso uno studio di annotazione induttiva, gli autori hanno perfezionato una tassonomia per classificare lo scopo delle citazioni nel lavoro interdisciplinare. Le categorie includono:
- Substantiation + Basis (Sostanziazione + Base): La citazione valida una tesi e funge da fondamento per un'idea o un metodo successivo.
- Basis (Base): L'opera citata funge da fondamento esplicito per il metodo o l'idea dell'opera che la cita.
- Substantiation (Sostanziazione): La citazione verifica affermazioni teoriche, empiriche o metodologiche.
- Use (Uso): Il metodo o lo strumento citato viene utilizzato direttamente con modifiche minime.
- Analysis (Analisi): L'idea citata viene confrontata o criticata per giustificare un approccio.
- Definition (Definizione): La citazione definisce un concetto centrale.
- Related Work (Lavori Correlati): La citazione fornisce contesto o esempi senza ulteriore integrazione.
- Processo di Annotazione: Un dataset di 950 citazioni nel testo è stato annotato manualmente dagli autori e da dottorandi, raggiungendo un $\alpha$ di Krippendorff di 0,596.
Classificazione Automatica: Gli autori hanno valutato tre modelli per predire lo scopo della citazione: RoBERTa fine-tuned, Llama3-8b e Qwen3-8b. Qwen3-8b ha ottenuto le prestazioni migliori (F1 pesata: 0,60).
Citation Engagement Predictor (CEP): Per misurare la profondità dell'impegno, gli autori hanno sviluppato un modello di regressione logistica ordinale. Questo modello predice un punteggio di impegno a 5 punti (1 = basso, 5 = alto) per l'impegno di una pubblicazione verso un'opera citata specifica. Il modello utilizza caratteristiche derivate dalla frequenza con cui le citazioni appaiono in sezioni specifiche (Introduzione, Metodo, Esperimenti, Conclusione, Appendice) e con scopi specifici. La categoria "Related Work" e le sezioni di base sono state rimosse per evitare la dipendenza lineare.

Contributi Chiave

Nuovo Framework di Annotazione: Una tassonomia progettata specificamente per catturare gli scopi della citazione nel lavoro interdisciplinare NLP, distinguendo tra l'integrazione superficiale e quella profonda (es. "Substantiation + Basis").
Dataset e Classificatore: Un dataset di 950 citazioni annotate nel testo da articoli NLP+CSS e un classificatore allo stato dell'arte (Qwen3) per predire automaticamente lo scopo della citazione.
Citation Engagement Predictor (CEP): Un modello statistico che sintetizza i segnali dello scopo della citazione e della posizione nella sezione per generare una misura singola e interpretabile della profondità dell'impegno.
Analisi Empirica: Uno studio di caso su larga scala che analizza 34.786 coppie articolo-citazione in NLP+CSS per valutare l'utilità del framework.

Risultati

Prestazioni del Modello: Il classificatore automatico (Qwen3) ha ottenuto un F1 Macro di 0,56. Il modello CEP ha raggiunto un Errore Assoluto Medio (MAE) di 0,484 e un Kappa Pesato Quadratico (QWK) di 0,794 su un set di test di 100 coppie articolo-citazione annotate.
Importanza delle Caratteristiche: I coefficienti di regressione indicano che lo scopo di una citazione è un predittore più forte della profondità dell'impegno rispetto alla sezione in cui appare. Nello specifico, le citazioni etichettate come "Basis" e quelle che appaiono nelle sezioni "Appendice" o "Metodo" correlano con punteggi di impegno più elevati.
Distribuzione dell'Impegno: Nel dataset NLP+CSS, la maggior parte delle citazioni (55,8%) ha ricevuto un punteggio di impegno di Livello 1 (basso). Solo il 2,9% delle citazioni ha raggiunto un livello 4 o 5 (alto).
Interdisciplinare vs. All'interno della Disciplina: L'analisi rivela che gli autori tendono a impegnarsi più profondamente con le citazioni all'interno della propria disciplina rispetto a quelle interdisciplinari. Le citazioni interdisciplinari sono più frequentemente associate agli scopi di "Substantiation" e "Definition", mentre le citazioni all'interno della disciplina coinvolgono spesso l' "Uso" metodologico.
Risultati Qualitativi: Gli articoli interdisciplinari ad alto impegno (es. quelli che integrano le scienze cognitive) tendono a intrecciare i concetti citati attraverso molteplici sezioni e scopi, mentre gli articoli a basso impegno citano spesso il lavoro interdisciplinare solo per il background o la definizione senza costruirci sopra.

Significatività e Rivendicazioni
Il paper sostiene che il suo framework fornisca un complemento necessario agli esistenti parametri di interdisciplinarità, spostando l'attenzione da cosa viene citato a come viene citato. Operazionalizzando la profondità dell'impegno, il framework permette ai ricercatori di identificare se il lavoro interdisciplinare stia semplicemente "citando nomi" di concetti di altri campi o se stia integrando sostanzialmente tali concetti nelle scelte metodologiche e teoriche. Gli autori posizionano questo lavoro come un "primo passo" verso un framework più ampio per studiare l'impegno interdisciplinare in vari campi, sottolineando specificamente che i loro risultati sono radicati nel contesto NLP+CSS e che la validazione in altri domini rimane un lavoro futuro. Essi avvertono esplicitamente che il loro approccio automatizzato comporta incertezze a causa degli errori di parsing e della dipendenza da classificatori automatici per l'analisi su larga scala.