Usage frequency and application variety of research methods in library and information science: Continuous investigation from 1991 to 2021

Resumen Técnico: Frecuencia de Uso y Variedad de Aplicación de los Métodos de Investigación en la Ciencia de la Información y la Bibliotecología (1991–2021)

Planteamiento del Problema
Las investigaciones previas sobre los métodos de investigación dentro de la Ciencia de la Información y la Bibliotecología (LIS, por sus siglas en inglés) han dependido en gran medida del análisis de contenido manual. Si bien estudios fundacionales de académicos como Järvelin y Vakkari (1990) y Chu (2015) establecieron esquemas de clasificación, la naturaleza manual de estos análisis restringe el volumen de datos que se pueden procesar. En consecuencia, la mayoría de los estudios previos se limitan a años únicos o subconjuntos pequeños de literatura, lo que impide una comprensión longitudinal exhaustiva de la evolución metodológica. Además, la investigación existente a menudo trata los métodos de investigación y los temas de investigación como entidades separadas, careciendo de un análisis dinámico de sus interrelaciones durante periodos prolongados. Este estudio aborda la necesidad de un enfoque automatizado a gran escala para clasificar los métodos de investigación y analizar su frecuencia de uso y variedad de aplicación a lo largo de un lapso de 31 años (1991–2021).

Metodología
El estudio emplea un flujo de trabajo de aprendizaje automático (ML) para analizar 26,965 artículos de investigación de 21 revistas fundamentales de LIS. La metodología se estructura en tres componentes primarios:

1. Construcción y Expansión del Conjunto de Datos:

   • El conjunto de datos abarca de 1991 a 2021. Se utilizó un conjunto de entrenamiento preliminar de 1,977 artículos anotados manualmente (basado en Chu y Ke, 2017).
   • Para abordar el desequilibrio de clases (donde ciertos métodos como el "estudio Delphi" tenían menos de 300 instancias), los autores expandieron los datos de entrenamiento. Utilizando TextRank para extraer palabras clave, buscaron resúmenes relevantes en Web of Science, los cuales fueron luego filtrados y anotados manualmente. Este proceso creó un conjunto de datos expandido para el entrenamiento.
   • Aprendizaje Confiable (Confident Learning): Para mitigar el ruido introducido durante la expansión de los datos, el estudio utilizó el "aprendizaje confiable" a través de la herramienta Cleanlab para identificar y depurar datos mal etiquetados antes del entrenamiento final del modelo.

2. Clasificación Automática de Métodos de Investigación:

   • Esquema de Codificación: El estudio adoptó la taxonomía de Chu y Ke (2017) de 16 métodos de investigación (p. ej., Bibliometría, Análisis de contenido, Entrevista, Enfoque teórico).
   • Arquitectura del Modelo: Se evaluaron varios modelos, incluyendo clasificadores multietiqueta tradicionales (BR-XGB, CC-XGB, etc.) y arquitecturas de aprendizaje profundo. El modelo seleccionado final combinó SciBERT (un modelo BERT preentrenado en textos científicos) con TextCNN para la extracción de características y la clasificación.
   • Estrategia de Entrenamiento: Los modelos fueron entrenados utilizando optimizadores Adam y SGD con pérdida de Entropía Cruzada Binaria (BCE). Se utilizó validación cruzada de cinco pliegues (five-fold cross-validation) para la evaluación.
   • Validación: El rendimiento del modelo fue validado contra un conjunto de prueba etiquetado manualmente (N=80), obteniendo un valor Kappa de 0.74, lo que indica una consistencia aceptable entre la anotación de la máquina y la humana.

3. Modelado de Temas y Cálculo de Métricas:

   • Identificación de Temas: Se utilizó Top2Vec para el modelado de temas. El número óptimo de temas se determinó en 18 basándose en las puntuaciones de CV (coherencia basada en vectores de contexto).
   • Métricas: Se calcularon dos métricas clave:
     • Frecuencia de Uso: La proporción de artículos que reportan un método específico en un año determinado.
     • Variedad de Aplicación: Una medida basada en la entropía que cuantifica la diversidad de temas de investigación a los que se aplica un método específico en un año determinado. Una mayor entropía indica una aplicabilidad más amplia en diferentes temas.

Resultados Clave

• Precisión de Clasificación: El modelo SciBERT-TextCNN alcanzó el mayor rendimiento en el conjunto de datos depurado, con un Micro-F1 de 0.850, un Macro-F1 de 0.848 y un Samples-F1 de 0.859. Esto demuestra que el enfoque automatizado logra una precisión comparable a la codificación manual.
• Tendencias de Frecuencia de Uso:
  • El Análisis de contenido (18.63%) y la Bibliometría (17.70%) fueron los métodos utilizados con mayor frecuencia.
  • Se observó un cambio longitudinal: el Enfoque teórico y el Análisis de contenido mostraron una tendencia a la baja, mientras que la Entrevista y el Cuestionario mostraron una tendencia al alza. Esto indica un cambio estratégico de la investigación conceptual hacia estrategias de investigación empírica en LIS.
• Patrones de Variedad de Aplicación:
  • El Análisis de contenido exhibió la mayor variedad de aplicación (7.084), actuando como un "supermétodo" aplicable a una amplia gama de temas.
  • El Estudio Delphi tuvo la variedad más baja (0.134), indicando una aplicabilidad estrecha.
  • Surgieron cuatro patrones distintos: métodos con un aumento general de la variedad (p. ej., Bibliometría, Entrevista), aquellos que aumentaron y luego disminuyeron (p. ej., Cuestionario, Análisis de registros de transacciones), aquellos con una disminución general (Enfoque teórico) y aquellos que disminuyeron y luego aumentaron (Método histórico).
• Relaciones Tema-Método:
  • Los temas de investigación se desplazaron de cuestiones centradas en el sistema (p. ej., "Recuperación de información/modelos y algoritmos") hacia temas centrados en el usuario (p. ej., "Servicios de información").
  • Se identificaron parejas específicas de método-tema: los Experimentos se utilizaron intensamente para "Procesamiento/recuperación de texto" y "Comportamiento de búsqueda de información"; el Enfoque teórico se vinculó con la "Ética de la información/filosofía de la información"; y la Bibliometría fue central para la "Evaluación científica" y la "Webometría".
  • El estudio visualizó estas relaciones dinámicas mediante un mapa interactivo, permitiendo la observación longitudinal año tras año.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias al campo de la metodología de investigación en LIS:

1. Escalabilidad mediante Aprendizaje Automático: Al utilizar aprendizaje profundo y aprendizaje confiable, el estudio supera las limitaciones de datos del análisis de contenido manual. Procesó con éxito un conjunto de datos de casi 27,000 artículos durante 31 años, proporcionando una visión panorámica de las tendencias metodológicas que anteriormente era inalcanzable.
2. Análisis de Doble Perspectiva: A diferencia de estudios previos que trataban los métodos y los temas por separado, esta investigación analiza simultáneamente la frecuencia de uso y la variedad de aplicación. Revela cómo cambia la amplitud de la aplicación de un método a lo largo del tiempo, ofreciendo una comprensión más matizada de la utilidad metodológica.
3. Validación de la Clasificación Automatizada: El estudio demuestra que el aprendizaje automático puede lograr una precisión de clasificación (Kappa = 0.74) comparable a la codificación humana manual. Esto valida el uso de técnicas automatizadas para estudios bibliométricos a gran escala, sugiriendo que, si bien la codificación manual sigue siendo esencial para desarrollar esquemas de codificación, el ML es un complemento viable para ejecutar análisis a gran escala.

Los autores mantienen una postura modesta, señalando que su metodología es un complemento, no un reemplazo completo del análisis manual, particularmente porque todavía se requiere la experiencia humana para refinar los esquemas de codificación a medida que los métodos de investigación evolucionan. El estudio no propone nuevos marcos teóricos, sino que proporciona evidencia empírica de la evolución del campo a través de un riguroso análisis basado en datos.