Resumen Técnico: Evolución de los Métodos de Investigación en la Ciencia de la Información y la Biblioteca Impulsada por Datos (1990–2022)

Planteamiento del Problema

Desde la década de 1990, el campo de la Ciencia de la Información y la Biblioteca (LIS, por sus siglas en inglés) ha experimentado un cambio de paradigma de una investigación cualitativa impulsada por la experiencia hacia una investigación cuantitativa impulsada por datos, fomentada por los avances en el big data, la World Wide Web y la inteligencia artificial. Si bien la literatura existente ha explorado la evolución de los métodos de investigación utilizando perspectivas bibliométricas, estos análisis suelen ser de "grano grueso", centrándose en las características textuales del uso de teorías y métodos en lugar de en los métodos mismos. Existe una falta de análisis cuantitativo de grano fino con respecto a cómo evolucionan las entidades de métodos de datos específicos en respuesta a los cambios en los recursos de datos y las tecnologías. Este estudio aborda la necesidad de descubrir las tendencias evolutivas de los métodos de investigación en LIS mediante la extracción y el análisis de entidades de métodos específicos y con nombre propio a partir de la literatura académica.

Metodología

El estudio emplea un marco computacional de múltiples etapas para analizar 25,351 artículos académicos de texto completo publicados entre 1990 y 2022 de 14 revistas de alta calidad en LIS.

1. Recolección y Preprocesamiento de Datos:

   • Se construyó un corpus a partir de 14 revistas representativas (Q1–Q3 en JCR 2021), filtrando documentos no académicos y aquellos con contenido de texto completo faltante.
   • El conjunto de datos comprende 25,351 artículos válidos que contienen 153,230 capítulos.

2. Identificación de la Estructura de los Capítulos:

   • Para aislar los métodos específicos utilizados en los estudios, se debe identificar con precisión el capítulo de "Métodos".
   • El estudio estableció un sistema de clasificación estructural de seis categorías (Introducción, Trabajo Relacionado, Método, Evaluación y Resultados, Discusión y Conclusión, Otro).
   • Se evaluaron once modelos de aprendizaje automático, incluyendo ML tradicional (SVM, RF, LR), aprendizaje profundo (variantes de SciBERT) y Modelos de Lenguaje Extensos (variantes de T5).
   • Selección: El modelo T5_base alcanzó el mayor rendimiento con un F1 promedio ponderado de 84.23% y se utilizó para clasificar las estructuras de los capítulos en todo el corpus.

3. Extracción de Entidades de Métodos de Grano Fino:

   • Se definieron cuatro categorías de Entidades de Métodos de Investigación (RME): Algoritmos y Modelos, Recursos de Datos, Software y Herramientas, y Métricas.
   • Se construyó un corpus anotado de "estándar de plata" utilizando ChatGPT para la generación de términos, seguido de una verificación manual.
   • Arquitectura del Modelo: Se entrenó un modelo SciBERT+BiLSTM+CRF para el etiquetado de secuencias.
   • Rendimiento: El modelo alcanzó un F1 integral de 73.38%. La aumentación de datos (añadiendo un 10% de datos aumentados) optimizó aún más el rendimiento.
   • El modelo se aplicó a todo el corpus para extraer 6,145,694 oraciones que contienen entidades de métodos.

4. Métricas de Análisis Evolutivo:

   • Densidad de Distribución: Se calculó como la relación entre los tokens de entidades de métodos y el total de tokens dentro de un capítulo para confirmar que el capítulo de "Métodos" contiene la mayor densidad de RME.
   • Distancia de Jaccard: Se utilizó para medir la disimilitud (discrepancia de distribución) de los grupos de RME entre ventanas de tiempo adyacentes (intervalos de 3 años).
   • Tasa de Crecimiento de la Distancia de Jaccard: Se calculó para determinar si las diferencias en el uso de métodos se están ampliando (emergencia) o estrechando (estabilización).
   • Estratificación de Temas y Métodos: El modelo Top2Vec identificó 19 temas de investigación, y un clasificador automatizado (Zhang & Tian, 2023) categorizó los artículos por método de investigación (por ejemplo, experimento, bibliometría) para analizar los patrones evolutivos a través de estas dimensiones.

Contribuciones Clave

• Extracción de Entidades de Grano Fino: El estudio va más allá del análisis bibliométrico de grano grueso al extraer automáticamente cuatro tipos específicos de entidades de métodos impulsados por datos (Algoritmos, Datos, Herramientas, Métricas) de artículos académicos de texto completo.
• Marco Metodológico: Propone un flujo de trabajo robusto que combina la identificación estructural (T5) y la extracción de entidades (SciBERT+BiLSTM+CRF) para analizar la evolución de los métodos de investigación a un nivel microscópico.
• Métricas Evolutivas Cuantitativas: La aplicación de la distancia de Jaccard y su tasa de crecimiento proporciona una medida cuantitativa de la "estabilidad" frente a la "emergencia" de los métodos de investigación a lo largo del tiempo.
• Análisis Multidimensional: El estudio analiza la evolución a través de tres dimensiones distintas: tendencias temporales, diferentes temas de investigación y diferentes metodologías de investigación.

Resultados

• Distribución de Capítulos: El capítulo de "Métodos" exhibe la mayor densidad de distribución promedio de RME (~1.94%), validando el enfoque de centrarse en esta sección para identificar los métodos de investigación reales.
• Evolución Temporal (1990–2022):
  • Recursos de Datos: Mostraron las mayores diferencias de distribución a lo largo del tiempo, lo que indica que son un motor primario del cambio metodológico.
  • Patrón Cíclico: El estudio identificó un patrón cíclico de "emergencia" (aumento de la distancia de Jaccard, indicando nuevas herramientas/datos) seguido de "estabilización/aplicación práctica" (disminución de la distancia de Jaccard, indicando normalización).
  • Tendencias Específicas: Las entidades de algoritmos y modelos mostraron un aumento gradual en su proporción, particularmente después de 2015, probablemente debido a los modelos de lenguaje extensos. Las entidades de métricas mostraron proporciones decrecientes, lo que sugiere una estabilización en los estándares de evaluación.
• Evolución Específica por Tema:
  • Temas como Búsqueda de Información y Informetría/Cientometría mostraron una tendencia de disminución y posterior aumento en la varianza de la distribución de los recursos de datos, vinculada al movimiento de acceso abierto y la abundancia de recursos.
  • Los temas de Evaluación Científica mostraron una estabilización en las entidades de métricas pero una disminución en la varianza de otras categorías.
• Evolución Específica por Método:
  • Los Métodos Experimentales mostraron una disminución temprana seguida de un aumento reciente en la varianza de la distribución, particularmente para las entidades de algoritmos y modelos, reflejando la naturaleza evolutiva de los experimentos impulsados por datos.
  • El Análisis de Contenido y la Bibliometría exhibieron disminuciones sostenidas en la varianza de la distribución, indicando patrones de uso estables y establecidos.

Significado y Reivindicaciones

El artículo sostiene que los recursos de datos son el motor fundamental de la evolución metodológica en LIS. La abundancia de datos y el auge de la inteligencia de datos han alterado fundamentalmente la forma en que se resuelven los problemas de investigación, desplazando la disciplina hacia modelos impulsados por datos.

El estudio postula que los métodos de investigación en LIS no evolucionan linealmente, sino que siguen un patrón cíclico de "emergencia" y "estabilización/aplicación práctica". Al centrarse en las entidades de métodos de grano fino, los autores argumentan que este enfoque ofrece una visión más objetiva e interpretable del desarrollo disciplinar que la bibliometría tradicional de grano grueso. La metodología se presenta como un marco universal que puede aplicarse a otros campos para comprender los procesos de desarrollo de los métodos de investigación a través de la lente de entidades de conocimiento específicas.

Los autores reconocen las limitaciones, señalando que la clasificación actual de entidades puede no cubrir exhaustivamente todas las características de uso de los métodos y que el corpus, aunque grande, puede seguir siendo insuficiente para un análisis temático completo de la evolución. Se sugiere que el trabajo futuro involucre datos a mayor escala y sistemas de clasificación más universales para mejorar la objetividad y adaptabilidad de los hallazgos.