💬 NLP

How Do We Engage with Other Disciplines? A Framework to Study Meaningful Interdisciplinary Discourse in Scholarly Publications

Este artículo propone un marco novedoso y una taxonomía de propósitos de citación adaptada para evaluar cuantitativamente cómo las publicaciones interdisciplinarias de PLN se involucran e incorporan significativamente ideas de otras disciplinas, abordando las limitaciones de las métricas computacionales existentes.

Autores originales: Bagyasree Sudharsan, Alexandria Leto, Maria Leonor Pacheco

Publicado 2026-07-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bagyasree Sudharsan, Alexandria Leto, Maria Leonor Pacheco

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás caminando por una biblioteca masiva donde libros de diferentes mundos —como "Ciencias de la Computación", "Psicología" y "Sociología"— están todos mezclados en los mismos estantes. Durante mucho tiempo, los bibliotecarios (investigadores) han intentado averiguar qué tan bien conversan estos libros entre sí.

La forma antigua de medir esto era como contar cuántas pegatinas de diferentes colores había en la portada de un libro. Si un libro tenía pegatinas de cinco colores diferentes, los bibliotecarios asumían que era una conversación profunda y rica entre esos cinco mundos. Pero los autores de este artículo argumentan que eso es engañoso. El hecho de que un libro mencione un concepto de psicología en su introducción no significa que realmente use ese concepto para construir sus propias ideas. Podría ser simplemente una mención superficial.

Este artículo propone una nueva forma de medir la conversación: El Predictor de Compromiso de Citación (CEP, por sus siglas en inglés).

Así es como funciona su nuevo sistema, desglosado en partes simples:

1. La nueva taxonomía de "Propósito" (El "Por qué")

En lugar de solo contar las citas, los autores crearon un nuevo conjunto de etiquetas para preguntar: "¿Por qué el autor incluyó esta referencia específica?"

Piensa en esto como analizar la receta de un chef.

Forma antigua: "Esta receta utiliza ingredientes de Italia, México y Japón". (Solo una lista).
Nueva forma: "El chef utilizó la salsa de tomate italiana como base para todo el plato", o "El chef utilizó la especia mexicana solo para definir qué es lo 'picante'", o "El chef utilizó la técnica japonesa para probar que su salsa es mejor".

Crearon categorías específicas para estas preguntas de "por qué", tales como:

Base (Basis): La idea citada es el cimiento sobre el cual se construye todo el artículo.
Sustentación (Substantiation): La idea citada se usa como evidencia para probar una afirmación.
Uso (Use): El artículo realmente utiliza el método o la herramienta citada directamente.
Definición (Definition): El artículo utiliza la cita para explicar el significado de una palabra.
Trabajo Relacionado (Related Work): El artículo solo menciona la cita para decir: "Oigan, otras personas han hecho esto también", sin construir sobre ello.

2. La pista de la "Ubicación" (El "Dónde")

Los autores también se dieron cuenta de que dónde aparece una cita en el artículo importa.

Si una cita está en la Introducción, podría estar simplemente preparando el escenario (como un accesorio de fondo).
Si una cita está en las secciones de Métodos o Experimentos, es probable que se esté usando como una herramienta para realizar el trabajo real (como un martillo en una caja de herramientas).

3. El "Predictor de Compromiso de Citación" (La puntuación)

Los autores construyeron un modelo computacional (un "predictor") que combina el Por qué (Propósito) y el Dónde (Sección) para dar una puntuación única del 1 al 5.

Puntuación 1: El artículo apenas menciona el otro trabajo. Es un saludo superficial.
Puntuación 5: El artículo integra profundamente el otro trabajo, usándolo como base o como herramienta central.

Probaron esto haciendo que expertos humanos leyeran 100 pares de artículos y citas para ver si la puntuación de la computadora coincidía con la sensación humana de "compromiso profundo". La computadora lo hizo bastante bien, demostrando que observar cómo se usa una cita es más importante que solo contar cuántas citas hay.

4. Lo que encontraron (El estudio de caso)

Aplicaron este nuevo sistema a un grupo específico de artículos que se encuentran en la intersección del Procesamiento de Lenguaje Natural (NLP) (enseñar a las computadoras a entender el lenguaje humano) y la Ciencia Social Computacional (CSS) (usar computadoras para estudiar la sociedad humana).

El gran descubrimiento:
Encontraron que la mayoría de estos artículos son, en realidad, bastante superficiales en sus conversaciones interdisciplinarias.

El problema de la "Mención Superficial": Muchos artículos citan ideas de las ciencias sociales en su introducción solo para decir: "Sabemos que esto existe", pero luego no utilizan esas ideas para construir sus métodos.
La "Inmersión Profunda" es rara: Solo una pequeña fracción de los artículos (alred un 3%) se comprometió profundamente con otras disciplinas. Estos artículos raros fueron los que no solo mencionaron un concepto, sino que lo usaron para definir sus herramientas o probar sus teorías.
Interno vs. Externo: Curiosamente, estos artículos tendieron a comprometerse más profundamente con otros artículos de ciencias de la computación (dentro de su propia disciplina) que con artículos de ciencias sociales (fuera de su disciplina).

La conclusión

Este artículo es como un nuevo lente de aumento para los investigadores. En lugar de solo contar cuántas canicas de diferentes colores hay en un frasco (la forma antigua), esta nueva herramienta observa cómo se usan realmente esas canicas para construir una estructura. Revela que, aunque muchos investigadores dicen estar realizando un trabajo interdisciplinario profundo, a menudo solo están rozando la superficie. Los autores esperan que esta herramienta ayude a la comunidad científica a comprender la verdadera profundidad de la colaboración entre diferentes campos.

Resumen Técnico: Un Marco para Estudiar el Discurso Interdisciplinario Significativo en Publicaciones Académicas

Planteamiento del Problema
Los enfoques computacionales existentes para medir la interdisciplinariedad —como la diversidad de afiliaciones, la coincidencia de palabras clave y la entropía de citación— cuantifican primordialmente la cantidad y la diversidad de las fuentes de conocimiento. Sin embargo, estas métricas no logran capturar la profundidad del compromiso, específicamente cómo se utilizan las citas individuales para avanzar el trabajo que las cita. Las taxonomías previas para el propósito de la citación suelen carecer de categorías adecuadas para contextos transdisciplinarios o dependen de ventanas de contexto fijas insuficientes para capturar roles argumentativos. En consecuencia, existe la necesidad de un marco que distinga entre la referencia superficial y la integración sustantiva de conceptos ajenos a la disciplina primaria de un artículo.

Metodología
Los autores proponen un marco centrado en dos componentes principales: una novedosa taxonomía del propósito de la citación y un Predictor de Compromiso de Citación (CEP, por sus siglas en inglés).

Recolección de Datos: El estudio se enfoca en la intersección del Procesamiento de Lenguaje Natural (NLP) y las Ciencias Sociales Computacionales (CSS). Los autores construyeron un conjunto de datos de 2,031 artículos de NLP+CSS (publicados entre 2015 y 2025) entrenando un clasificador binario (RoBERTa-base ajustado) sobre resúmenes de la ACL Anthology. Extrajeron 50,050 referencias en el texto, identificando aproximadamente 20,319 como "fuera de la disciplina" (campos citados ajenos a la Ciencias de la Computación y la Lingüística).
Taxonomía del Propósito de la Citación: A través de un estudio de anotación inductiva, los autores refinaron una taxonomía para clasificar el propósito de las citas en el trabajo interdisciplinario. Las categorías incluyen:
- Sustentación + Base (Substantiation + Basis): La cita valida una afirmación y sirve como fundamento para una idea o método subsiguiente.
- Base (Basis): El trabajo citado sirve como la base explícita para el método o la idea del trabajo que cita.
- Sustentación (Substantiation): La cita verifica afirmaciones teóricas, empíricas o metodológicas.
- Uso (Use): El método o herramienta citada se utiliza directamente con modificaciones mínimas.
- Análisis (Analysis): La idea citada es comparada o criticada para justificar un enfoque.
- Definición (Definition): La cita define un concepto central.
- Trabajo Relacionado (Related Work): La cita proporciona contexto o ejemplos sin una integración posterior.
- Proceso de Anotación: Un conjunto de datos de 950 citas en el texto fue anotado manualmente por los autores y estudiantes de posgrado, logrando un $\alpha$ de Krippendorff de 0.596.
Clasificación Automática: Los autores evaluaron tres modelos para predecir el propósito de la citación: RoBERTa ajustado, Llama3-8b y Qwen3-8b. Qwen3-8b logró el mejor desempeño (F1 ponderado: 0.60).
Predictor de Compromiso de Citación (CEP): Para medir la profundidad del compromiso, los autores desarrollaron un modelo de regresión logística ordinal. Este modelo predice una puntuación de compromiso de 5 puntos (1 = bajo, 5 = alto) para el compromiso de una publicación con un trabajo citado específico. El modelo utiliza características derivadas de la frecuencia de las citas que aparecen en secciones específicas (Introducción, Método, Experimentos, Conclusión, Apéndice) y con propósitos específicos. La categoría "Trabajo Relacionado" y las secciones base se descartaron para evitar la dependencia lineal.

Contribuciones Clave

Marco de Anotación Novedoso: Una taxonomía diseñada específicamente para capturar los propósitos de la citación en el trabajo interdisciplinario de NLP, distinguiendo entre la referencia de nivel superficial y la integración profunda (por ejemplo, "Sustentación + Base").
Conjunto de Datos y Clasificador: Un conjunto de datos de 950 citas en el texto anotadas de artículos de NLP+CSS y un clasificador de vanguardia (Qwen3) para predecir automáticamente el propósito de la citación.
Predictor de Compromiso de Citación (CEP): Un modelo estadístico que sintetiza señales del propósito de la citación y la ubicación de la sección para generar una medida única e interpretable de la profundidad del compromiso.
Análisis Empírico: Un estudio de caso a gran escala analizando 34,786 pares artículo-citación en NLP+CSS para evaluar la utilidad del marco.

Resultos

Desempeño del Modelo: El clasificador automático (Qwen3) logró un F1 Macro de 0.56. El modelo CEP logró un Error Absoluto Medio (MAE) de 0.484 y un Kappa Ponderado Cuadrático (QWK) de 0.794 en un conjunto de prueba de 100 pares de artículos-citación anotados.
Importancia de las Características: Los coeficientes de regresión indican que el propósito de una citación es un predictor más fuerte de la profundidad del compromiso que la sección en la que aparece. Específicamente, las citas etiquetadas como "Base" y aquellas que aparecen en las secciones "Apéndice" o "Método" se correlacionan con puntuaciones de compromiso más altas.
Distribución del Compromiso: En el conjunto de datos de NLP+CSS, la mayoría de las citas (55.8%) recibieron una puntuación de compromiso de Nivel 1 (bajo). Solo el 2.9% de las citas alcanzaron un Nivel 4 o 5 (alto).
Interdisciplinario vs. Dentro de la Disciplina: El análisis revela que los autores tienden a comprometerse más profundamente con las citas dentro de su propia disciplina que con las interdisciplinarias. Las citas interdisciplinarias están asociadas más frecuentemente con propósitos de "Sustentación" y "Definición", mientras que las citas dentro de la disciplina a menudo involucran el "Uso" metodológico.
Hallazgos Cualitativos: Los artículos interdisciplinarios de alto compromiso (por ejemplo, aquellos que integran la ciencia cognitiva) tienden a entrelazar los conceptos citados a través de múltiples secciones y propósitos, mientras que los artículos de menor compromiso a menudo citan el trabajo interdisciplinario solo para antecedentes o definición sin construir sobre él.

Significancia y Reivindicaciones
El artículo sostiene que su marco proporciona un complemento necesario a las métricas de interdisciplinariedad existentes al desplazar el enfoque de qué se cita hacia cómo se cita. Al operacionalizar la profundidad del compromiso, el marco permite a los investigadores identificar si el trabajo interdisciplinario es meramente una mención superficial de conceptos de otros campos o una integración sustantiva en las elecciones metodológicas y teóricas. Los autores posicionan este trabajo como un "primer paso" hacia un marco más amplio para estudiar el compromiso interdisciplinario entre campos, señalando explícitamente que sus hallazgos están fundamentados en el contexto de NLP+CSS y que la validación en otros dominios sigue siendo un trabajo futuro. Advierten explícitamente que su enfoque automatizado conlleva incertidumbre debido a errores de procesamiento y a la dependencia de clasificadores automáticos para el análisis a gran escala.