💻 ciencias de la computación

SciFilter: A Metadata-Driven Approach to Registry-Aligned Screening of Scholarly Publication Sources at Scale

Este artículo presenta SciFilter, un sistema de acceso abierto impulsado por metadatos que automatiza el cribado escalable de fuentes de publicaciones académicas mediante la alineación de datos bibliográficos con registros nacionales como JUFO y el Registro Noruego, logrando una alta precisión (precisión 0,95, exhaustividad 0,96) y fiabilidad (Kappa de Fleiss 0,94) frente a referentes curados por humanos.

Autores originales: Abiodun Afolayan Ogunyemi, Merja Bauters, Emmanuel Ayo Orisadare

Publicado 2026-10-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Abiodun Afolayan Ogunyemi, Merja Bauters, Emmanuel Ayo Orisadare

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto y congestionado paisaje de la erudición moderna, donde se publican millones de artículos de investigación cada año, persiste un problema silencioso pero crítico: ¿cómo sabemos qué revistas y conferencias son confiables? Durante décadas, el mundo académico ha dependido de varios métodos para separar el trigo de la paja. Algunos observan con qué frecuencia un artículo es citado por otros, mientras que otros confían en la reputación de la editorial. Sin embargo, estos métodos tienen fallas. Los recuentos de citas pueden ser manipulados o sesgados por hábitos específicos de cada campo, y los motores de búsqueda generales suelen incluir fuentes de baja calidad o depredadoras junto con la investigación legítima. Para resolver esto, países como Finlandia y Noruega han construido registros liderados por expertos. En estos sistemas, paneles de especialistas en campos específicos revisan manualmente revistas y conferencias, asignándolas a niveles de calidad basados en rigurosos estándares editoriales en lugar de solo en la popularidad. Esto asegura que la posición de una revista refleje la calidad real de su proceso de revisión por pares y editorial. Sin embargo, estos sistemas de expertos enfrentan un cuello de botella práctico: están diseñados para la consulta humana. Verificar una sola revista toma unos minutos, pero verificar miles de fuentes para un gran proyecto de investigación o una auditoría institucional es una tarea que tomaría toda una vida de trabajo manual.

Aquí es donde entra en juego una nueva herramienta llamada SciFilter, que ofrece una forma de llevar la experiencia humana a la escala de los grandes datos sin perder el matiz del juicio experto. Los investigadores detrás de esta herramienta, con sede en la Universidad de Tallin y la Universidad de Ilesa, se propusieron construir un sistema que pudiera emparejar automáticamente una lista de fuentes de publicación con los registros oficiales de Finlandia y Noruega. No crearon una nueva métrica ni una nueva forma de juzgar la calidad; en su lugar, construyeron un puente que conecta los datos brutos —como nombres de revistas y números de identificación— con las listas existentes y confiables curadas por expertos humanos. El objetivo era ver si una computadora podía replicar las decisiones de los curadores humanos con alta precisión, permitiendo a las instituciones filtrar listas masivas de publicaciones de manera rápida y consistente.

Para probar su creación, el equipo ensambló un conjunto controlado de 500 fuentes académicas diferentes, que iban desde revistas bien conocidas hasta actas de conferencias oscuras e incluso algunas fuentes conocidas por ser problemáticas. Dividieron este grupo equitativamente entre fuentes que están oficialmente reconocidas en los registros y aquellas que no lo están. Dos expertos humanos verificaron entonces de forma independiente cada una de estas 500 fuentes contra los registros oficiales, actuando como el estándar de oro de la verdad. Registraron si cada fuente estaba indexada y, de ser así, qué nivel de calidad poseía. Una vez establecido este referente humano, los investigadores introdujeron la misma lista de 500 fuentes en SciFilter. El sistema ingirió los datos, depuró el formato desordenado y ejecutó un proceso de emparejamiento estricto y paso a paso. Primero buscó coincidencias exactas utilizando números de identificación únicos, luego intentó emparejar los nombres exactos de las revistas y, finalmente, utilizó una técnica de emparejamiento de texto sensible para manejar ligeras variaciones en los títulos.

Los resultados mostraron que el sistema automatizado funcionó con una fiabilidad notable. Cuando los investigadores compararon la producción de la máquina con los juicios de los expertos humanos, el acuerdo fue casi perfecto. El sistema identificó correctamente si una fuente estaba indexada o no en el 96 por ciento de los casos. Fue igualmente exitoso al asignar el nivel de calidad correcto, coincidiendo con las decisiones de los expertos humanos en el 95 por ciento de los casos donde se asignó un nivel específico. Los pocos errores que cometió el sistema no fueron aleatorios ni catastróficos; casi siempre ocurrieron en los límites entre niveles similares. Por ejemplo, el sistema podría ocasionalmente confundir una revista de nivel superior con una de un nivel ligeramente inferior, o confundir una fuente de alta calidad con una que está justo por debajo del umbral de inclusión. Rara vez cometió el tipo de error masivo que enviaría a una revista de alto nivel al nivel más bajo o a una fuente de baja calidad al nivel superior. Este patrón sugiere que el sistema entiende bien la estructura general de las clasificaciones de calidad, y que la confusión solo surge en los bordes donde las distinciones son naturalmente difusas.

El estudio también reveló que la herramienta no es un reemplazo del juicio humano, sino más bien un primer paso poderoso. Los investigadores enfatizan que SciFilter no evalúa la calidad de artículos o investigadores individuales; simplemente verifica si un lugar de publicación aparece en la lista oficial y qué nivel posee. Debido a que el sistema depende de los datos proporcionados por los registros, su precisión depende de la calidad de la entrada y de la actualidad del registro mismo. Si una revista ha cambiado de nombre recientemente o si el registro aún no ha actualizado sus registros, el sistema podría no encontrarla. Sin embargo, para la gran mayoría de los casos, la herramienta automatiza con éxito la tarea tediosa de la verificación cruzada de miles de fuentes, liberando a investigadores y administradores para que puedan enfocarse en los aspectos más complejos de la evaluación de la investigación. Al convertir un proceso manual y lento en uno rápido y reproducible, SciFilter ofrece una forma práctica de aplicar los principios de la evaluación responsable de la investigación a los conjuntos de datos masivos que definen la ciencia moderna, asegurando que las herramientas que usamos para evaluar el conocimiento sean tan robustas como el conocimiento mismo.

Resumen Técnico: SciFilter – Un enfoque basado en metadatos para el cribado alineado con registros

Planteamiento del problema
La integridad de las revisiones sistemáticas de la literatura y los análisis bibliométricos depende del cribado riguroso de los entornos de publicación. Sin embargo, los investigadores y los administradores institucionales enfrentan cuellos de botella operativos significativos al evaluar la credibilidad de las fuentes académicas a escala. Si bien los registros nacionales curados por expertos, como el Foro de Publicaciones Finlandés (JUFO) y el Registro Noruego, proporcionan clasificaciones de canales de publicación de alta calidad y sensibles al campo, funcionan principalmente como portales de búsqueda manual de registro único. Esta interfaz manual es inviable para las tareas de procesamiento masivo requeridas por las auditorías de carteras institucionales, las revisiones sistemáticas o los estudios bibliométricos a gran escala. Además, la dependencia de bases de datos propietarias (p. ej., Web of Science, Scopus) está limitada por los costos de suscripción y la deslistación periódica, mientras que las plataformas de descubrimiento amplias (p. ej., Google Scholar) carecen de puertas de control de calidad editorial estrictas. Existe una necesidad crítica de un mecanismo de acceso abierto y automatizado que pueda alinear los metadatos bibliográficos con estos marcos nacionales basados en expertos sin requerir una profunda pericia bibliométrica manual.

Metodología
El estudio presenta SciFilter, un sistema de acceso abierto diseñado para automatizar el cribado de fuentes de publicación mediante el mapeo de metadatos bibliográficos contra los registros JUFO y el Noruego. La arquitectura del sistema opera a través de tres componentes principales:

Ingesta y normalización de metadatos: El sistema acepta entradas masivas (Excel, CSV, XML) y estandariza los metadatos (p. ej., eliminando puntuación, convirtiendo a minúsculas, normalizando formatos de ISSN/ISBN) para resolver variaciones estructurales.
Motor de alineación determinista con registros: A diferencia de los modelos probabilísticos de aprendizaje automático, SciFilter emplea una cascada de coincidencia basada en reglas de tres niveles contra instantáneas de los registros actualizadas trimestralmente:
- Nivel 1: Coincidencia de cadena exacta en identificadores persistentes (ISSN/eISSN/ISBN).
- Nivel 2: Coincidencia de cadena exacta en títulos de publicaciones normalizados.
- Nivel 3: Coincidencia de cadena difusa utilizando un algoritmo de distancia de edición de Levenshtein normalizado. Una coincidencia solo se acepta si la puntuación de similitud ( $S$ ) es $\geq 0.90$ . Las coincidencias ambiguas (p. ej., múltiples candidatos que superan el umbral) se marcan para revisión manual.
Generación de salida estructurada: El sistema produce conjuntos de datos enriquecidos que indican el estado de indexación y los niveles específicos del registro (p. ej., Niveles JUFO 0–3; Niveles Noruegos 0–2), manteniendo una trazabilidad completa de la línea de procedencia para fines de auditoría.

Marco de evaluación
El sistema fue evaluado mediante un diseño de vía dual con un conjunto de datos de referencia curado por humanos ( $N=500$ ), que comprende un equilibrio 1:1 de fuentes indexadas y no indexadas a través de diversas disciplinas.

Verdad de terreno (Ground Truth): Establecida mediante la búsqueda independiente por parte de dos evaluadores humanos en los portales JUFO y Noruego, seguida de una armonización por consenso.
Métricas de fiabilidad: La concordancia entre evaluadores se midió utilizando el Kappa de Cohen (humano vs. humano) y el Kappa de Fleiss (humano vs. humano vs. sistema).
Métricas de rendimiento: La precisión, la exactitud y la exhaustividad del sistema se calcularon frente al "Estándar de Oro" armonizado.
Análisis de errores: Se generaron matrices de confusión para analizar las discrepancias de clasificación a través de los niveles múltiples (0–3 para JUFO; 0–2 para el Noruego).

Resultados clave

Fiabilidad: Los evaluadores humanos demostraron una concordancia "casi perfecta" (Kappa de Cohen $\kappa = 0.95$ para el estado binario; $\kappa = 0.94$ para los niveles múltiples). El sistema SciFilter logró una fiabilidad comparable frente a los evaluadores humanos, con un Kappa de Fleiss entre los tres evaluadores (dos humanos + sistema) de $\kappa = 0.94$ .
Rendimiento: Frente al referente, SciFilter logró:
- Precisión (Precision): 0.95
- Exhaustividad (Recall): 0.96
- Exactitud global (Accuracy): 0.96
Distribución de errores: El análisis de la matriz de confusión reveló que la mayoría de los errores de clasificación ocurrieron en los límites adyacentes de los niveles del registro (p. ej., Nivel 1 clasificado erróneamente como Nivel 2), lo cual es consistente con la ambigüedad inherente de los límites. Una fracción menor de los errores involucró discrepancias de nivel mayores (p. ej., Nivel 3 clasificado erróneamente como Nivel 0), lo que los autores señalan que amerita una revisión más cercana.
Escalabilidad: El sistema procesó con éxito entradas masivas, demostrando la viabilidad de automatizar la alineación con los registros para grandes conjuntos de datos.

Significancia y afirmaciones
El artículo postula que SciFilter no reemplaza el juicio experto ni evalúa la calidad de los artículos individuales; más bien, operacionaliza los marcos existentes curados por expertos para su aplicación escalable. La contribución principal es la capacidad de reproducir las clasificaciones basadas en registros mediante el procesamiento de metadatos estructurados, abordando así el "cuello de botella de la búsqueda manual".

Los autores afirman que este enfoque:

Permite la aplicación consistente y reproducible de los principios de la Evaluación de la Investigación Responsable (RRA) al utilizar criterios sensibles al campo y basados en expertos, en lugar de depender únicamente de métricas basadas en citas.
Sirve como un "guardarraíl" accesible para investigadores en el inicio de su carrera y auditores institucionales, proporcionando un mecanismo de filtrado de primera pasada donde la verificación manual es inviable.
Ofrece una alternativa determinista y transparente a los algoritmos de "caja negra", ya que cada decisión de clasificación sigue una lógica de reglas trazable.

El estudio concluye que, si bien las herramientas automatizadas no pueden eliminar la necesidad de la revisión humana —particularmente para casos ambiguos o atípicos—, proporcionan un método teóricamente sólido y práctico para escalar los modelos de evaluación basados en expertos en flujos de trabajo bibliométricos de alto volumen.

Más como este