How Do Algorithms Interact in Scientific Research? Large-Scale Semantic Relation Identification and Analysis Based on Full-Text Papers

Resumen Técnico: ¿Cómo interactúan los algoritmos en la investigación científica?

Planteamiento del problema
En la era de la inteligencia artificial, los algoritmos son motores centrales de la innovación científica. Si bien las investigaciones existentes han identificado con éxito entidades de algoritmos y analizado sus frecuencias de mención y coocurrencias, estos enfoques ofrecen una visión limitada sobre la naturaleza de las interacciones entre algoritmos. El análisis de coocurrencia puede indicar que dos algoritmos aparecen juntos, pero no logra explicar por qué aparecen juntos, cómo compiten, colaboran o evolucionan. Existe una falta de identificación de relaciones semánticas a gran escala y de grano fino que trascienda las simples listas de entidades hacia grafos de relaciones estructurados, lo que dificulta una comprensión sistemática de las trayectorias de innovación de los algoritmos y la evolución de las comunidades.

Metodología
Este estudio se centra en el dominio del Procesamiento del Lenguaje Natural (NLP) para identificar y analizar las relaciones semánticas entre entidades de algoritmos en artículos académicos de texto completo. La metodología se desarrolla a través de cuatro etapas principales:

1. Recopilación y preprocesamiento de datos:

   • Corpus: Se recopilaron artículos de texto completo de tres conferencias importantes de NLP (ACL, EMNLP, NAACL) publicados entre 1979 y 2025.
   • Extracción de entidades: Se construyó un corpus de entrenamiento actualizado mediante la aumentación de datos existentes (1979–2020) con oraciones anotadas manualmente de 2021–2025. El modelo SciBERT + BiLSTM + CRF fue ajustado (fine-tuned) para extraer entidades de algoritmos y filtrar oraciones relevantes.
   • Estandarización: Se aplicó un riguroso flujo de trabajo de normalización, que incluyó tokenización, lematización y agrupamiento basado en vectores (usando incrustaciones de Gemma y ChromaDB) para fusionar variantes de nombres del mismo algoritmo, resultando en un conjunto final de 30,274 entidades de algoritmos únicas.

2. Marco de relación y anotación:

   • Se definió un marco de relación semántica con seis categorías: Comparar con (Compare with), Usar (Use), Cooperar con (Cooperate with), Ser igual a (Same as), Superclase de (Superclass of) y Otro (Other).
   • Un corpus de estándar de oro (gold-standard) de 16,531 oraciones que contienen múltiples entidades de algoritmos fue anotado manualmente por cuatro anotadores, logrando un acuerdo inter-anotador (Kappa de Cohen) de 0.7630.

3. Evaluación del modelo para la extracción de relaciones:

   • Modelos de Lenguaje de Gran Escala (LLMs): Se evaluaron varios modelos (GPT-5, DeepSeek-Reasoner, Gemini-3.1-pro-preview, Claude-Sonnet-4-6) utilizando estrategias de prompting de cero disparos (zero-shot), pocos disparos (few-shot) y cadena de pensamiento (CoT).
   • Modelos de Lenguaje Preentrenados (PLMs): Se evaluaron modelos que incluyen BERT, SciBERT y DeBERTa (con y sin capas BiLSTM) mediante ajuste supervisado. Además, se ajustaron modelos de la serie Qwen utilizando Adaptación de Bajo Rango (LoRA).
   • Selección: SciBERT logró el mejor desempeño y fue seleccionado como el modelo final para la extracción de relaciones a gran escala.

4. Análisis de redes:

   • La intensidad de interacción se calculó basándose en la frecuencia con la que los pares de algoritmos aparecen en los artículos a lo largo del tiempo, normalizada por el volumen total de publicaciones.
   • Se construyeron redes de relaciones anuales para cada tipo de relación para analizar la evolución en términos de tamaño de red (nodos/aristas), conectividad interna (grado promedio, coeficiente de agrupamiento) y dinámica de renovación (similitud de aristas, nuevas/desaparecidas aristas).

Resultos clave

• Desempeño del modelo: SciBERT alcanzó la puntuación macro-F1 más alta (77.79%) para la identificación de relaciones, superando tanto a los LLMs ajustados (p. ej., Qwen-8B con 75.60%) como al prompting directo de LLMs. Aunque los LLMs con aprendizaje de pocos disparos y razonamiento CoT mostraron resultados competitivos (p. ej., GPT alcanzando un 74.63% F1), no superaron al PLM específico del dominio debidamente ajustado.
• Distribución de relaciones: La relación Comparar es dominante, representando el 54.37% de todas las relaciones semánticas identificadas. Sinónimo (12.54%) y Usar (10.67%) le siguen, mientras que Colaborar es la menos frecuente (5.68%).
• Patrones de interacción:
  • Los pares de alta intensidad reflejan a menudo agrupamientos tecnológicos (p. ej., BERT–RoBERTa, GPT-3.5–GPT-4).
  • Las relaciones de Comparar involucran tanto competencia intra-categoría (p. ej., BERT vs. RoBERTa) como comparaciones trans-paradigma (p. ej., BERT vs. ELMo).
  • Las relaciones de Superclase revelan estructuras jerárquicas, particularmente en el linaje de modelos preentrenados y sus variantes.
• Evolución de la red:
  • Todas las redes de relaciones han transitado de la escasez a la expansión desde el año 2000.
  • La red de Comparar muestra el crecimiento más rápido en nodos y aristas, el grado promedio más alto y el coeficiente de agrupamiento más alto, lo que indica un ecosistema competitivo que se profundiza y densifica.
  • Las redes exhiben una alta dinámica de renovación (alta entrada y desaparición de aristas), lo que sugiere que las relaciones entre algoritmos no son acumulaciones estáticas sino sistemas dinámicos. Sin embargo, la red de Comparar muestra una mayor estabilidad en la retención de aristas en comparación con las redes de Usar o Colaborar.

Significancia y Reivindicaciones
Los autores afirman que este estudio proporciona un cambio crítico desde la identificación de entidades aisladas hacia la identificación de relaciones estructuradas, ofreciendo una nueva base para explorar los patrones de organización y evolución del conocimiento en la investigación científica. Al construir redes específicas de relaciones, el estudio revela que el campo del NLP se caracteriza por un ecosistema de competencia de algoritmos cada vez más intenso, impulsado en gran medida por la evaluación de rendimiento (benchmarking) y la sustitución de métodos.

El artículo postula que la dominancia de la relación Comparar refleja no solo la competencia tecnológica, sino también las prácticas de investigación en evolución, las convenciones de escritura y las lógicas de evaluación de la comunidad académica (p. ej., la necesidad de comparaciones de referencia o baselines). El estudio proporciona recursos de datos y referencias metodológicas para la construcción de grafos de conocimiento entre entidades de algoritmos, aunque los autores señalan modestamente limitaciones respecto al alcance de los datos (solo conferencias de NLP) y la necesidad de un mayor refinamiento en la desambiguación de entidades y los métodos de clasificación de relaciones.