Exploring the relationship between team institutional composition and novelty in academic papers based on fine-grained knowledge entities

Resumen Técnico: Explorando la Relación entre la Composición Institucional de los Equipos y la Novedad en Artículos Académicos

Planteamiento del Problema
Si bien se reconoce que la composición de los equipos de autores es un factor significativo que influye en la novedad de los artículos académicos, las investigaciones existentes presentan dos limitaciones primordiales. Primero, los estudios sobre la composición de equipos se han centrado predominantemente en atributos individuales como el tamaño del equipo, el equilibrio de género y la colaboración internacional, descuidando en gran medida el impacto de los tipos de instituciones (académica vs. industrial) a las que pertenecen los autores. Segundo, las medidas actuales de novedad suelen permanecer en un nivel general o macro, sin capturar matices finos. Los métodos tradicionales dependen de combinaciones de entidades amplias (por ejemplo, referencias de revistas o pares de temas) sin distinguir elementos de conocimiento específicos como métodos, conjuntos de datos, herramientas o métricas. Esta falta de granularidad dificulta el análisis de tipos específicos de novedad o la provisión de explicaciones detalladas sobre cómo se manifiestan los diferentes sesgos institucionales en los resultados de la investigación.

Metodología
El estudio emplea un enfoque cuantitativo utilizando datos del campo del Procesamiento de Lenguaje Natural (NLP) como caso de estudio. La metodología se desarrolla a través de cuatro etapas distintas:

1. Recolección de Datos y Categorización de Equipos:

   • Fuente: Se recolectaron 15,337 artículos publicados entre 1979 y 2021 de tres conferencias de primer nivel en NLP: ACL, EMNLP y NAACL.
   • Clasificación Institucional: Las afiliaciones de los autores fueron extraídas y mapeadas utilizando la Global Research Identification Database (GRID). Las instituciones se categorizaron en ocho tipos (por ejemplo, educación, corporaciones, salud) y posteriormente se agregaron en tres tipos de composición de equipo:
     • A&A: Instituciones puramente académicas.
     • I&I: Instituciones puramente industriales.
     • A&I: Colaboraciones mixtas entre academia e industria.
   • Filtrado: Se excluyeron los artículos de un solo autor, resultando en un conjunto de datos final de 14,812 artículos.

2. Extracción de Entidades de Grano Fino:

   • El estudio identificó cuatro tipos específicos de entidades de conocimiento relevantes para la investigación en NLP: Métodos (algoritmos/modelos), Conjuntos de Datos (corpus), Herramientas (software/frameworks) y Métricas (estándares de evaluación).
   • Se entrenó y utilizó un modelo cascada SciBERT+BiLSTM para extraer estas entidades del texto completo de los artículos. Este modelo alcanzó una puntuación F1 de 86.27, superando a modelos preentrenados generales como BERT y XLM-RoBERTa.

3. Medición de la Novedad:

   • Innovación Combinatoria: La novedad se definió basándose en la teoría de la innovación combinatoria, donde la novedad surge de combinaciones atípicas de elementos de conocimiento.
   • Distancia Semántica: La distancia semántica entre pares de entidades extraídas se calculó mediante la distancia de coseno en los embeddings de palabras.
   • Puntuación: Se identificaron los pares de entidades que caían dentro del 10% superior de las distancias semánticas (lo que indica las combinaciones menos comunes/atípicas). La proporción de estas combinaciones atípicas en un artículo sirvió como su Puntuación de Novedad. Los artículos en el 10% superior de las puntuaciones fueron clasificados como "artículos novedosos".

4. Análisis de Sesgo y Regresión:

   • Sesgo de Grano Fino: El estudio calculó la tasa de contribución de las diez posibles combinaciones por pares de los cuatro tipos de entidades (por ejemplo, Método-Método, Método-Métrica, Método-Herramienta) a la novedad general de los artículos.
   • Análisis Estadístico: Se emplearon modelos de regresión para analizar la relación entre la composición institucional del equipo y las puntuaciones de novedad, controlando variables como el año de publicación, la tarea de investigación, el tamaño del equipo, la colaboración internacional y el prestigio institucional.

Resultos Clave

• Tendencias de Publicación: Las instituciones académicas (A&A) siguen siendo los productores dominantes de artículos de NLP. Sin embargo, las colaboraciones mixtas entre la academia y la industria (A&I) han mostrado un aumento notable en el volumen de publicaciones desde 2010, superando la tasa de crecimiento de los artículos puramente académicos.
• Impacto Institucional en la Novedad: El análisis de regresión revela que, en comparación con los equipos puramente industriales (I&I), tanto los equipos puramente académicos (A&A) como los equipos mixtos (A&I) producen artículos con puntuaciones de novedad significativamente más altas. Específicamente, los equipos mixtos (A&I) demuestran el mayor impacto positivo en la novedad.
• Sesgo de Novedad de Grano Fino:
  • General: Las combinaciones de entidades relacionadas con Métodos contribuyen más a la novedad en todos los tipos de instituciones.
  • Equipos Mixtos (A&I): Estos equipos muestran una contribución significativamente mayor a la novedad a través de las combinaciones Método-Métrica. Esto sugiere una tendencia a integrar diversos enfoques metodológicos con indicadores de evaluación.
  • Equipos Industriales (I&I): Estos equipos exhiben una contribución significativamente mayor a la novedad a través de las combinaciones Método-Herramienta, lo que refleja un enfoque en el aprovechamiento de herramientas innovadoras para resolver problemas de aplicación práctica.
  • Equipos Académicos (A&A): Estos equipos muestran una preferencia equilibrada pero distinta por las combinaciones Método-Datos y Método-Método.

Significancia y Contribuciones
El artículo reclama dos contribuciones primarias al campo de la cienciometría y la ciencia de equipos:

1. Perspectiva Institucional sobre la Novedad: El estudio llena un vacío en la literatura al desplazar el enfoque de los atributos individuales de los autores hacia la composición institucional. Proporciona evidencia empírica de que el tipo de institución (académica, industrial o mixta) influye significativamente en la novedad de los resultados de la investigación, destacando el papel crítico de la colaboración academia-industria en la generación de conocimiento novedoso.
2. Medición de la Novedad de Grano Fino: La investigación avanza la medición de la novedad más allá de las evaluaciones binarias o escalares. Al introducir una medición de sesgo de novedad de grano fino basada en entidades de conocimiento específicas (métodos, datos, herramientas, métricas), el estudio revela "firmas de innovación" distintas para diferentes tipos institucionales. Esto permite una comprensión más matizada de cómo innovan diferentes equipos (por ejemplo, equipos industriales enfocados en la integración de herramientas frente a equipos mixtos enfocados en la síntesis de método-indicador).

Limitaciones
Los autores reconocen varias restricciones:

• Alcance de los Datos: El estudio se limita al campo del NLP y a tres conferencias específicas, lo que puede no representar plenamente el espectro más amplio de la investigación científica.
• Desequilibrio de Datos: El conjunto de datos contiene un número significativamente mayor de artículos académicos en comparación con los industriales, lo que podría introducir un sesgo.
• Matiz Contextual: La extracción de entidades y el análisis de combinaciones se realizaron en todo el documento sin distinguir secciones específicas (por ejemplo, metodología frente a resultados), lo que podría afectar la precisión de la interpretación de la novedad.
• Causalidad: El estudio identifica correlaciones entre la composición institucional y la novedad, pero no establece una relación causal definitiva.

Conclusión
El estudio concluye que, si bien las instituciones industriales son cada vez más activas en las publicaciones, su mayor potencial de novedad se realiza mediante la colaboración con las instituciones académicas. Los hallazgos sugieren que la cooperación interdisciplinaria entre la academia y la industria es un motor clave para la investigación de alta novedad, con diferentes tipos institucionales aportando sesgos únicos a los tipos de combinaciones de conocimiento que producen. Esto proporciona orientación para fomentar una cooperación efectiva entre la industria, la universidad y la investigación para mejorar la calidad e innovación de la producción científica.