Resumen Técnico: Mapeando la Web of Science con Embeddings de LLM

Declaración del Problema

El campo de la cienciometría enfrenta un desafío fundamental en la categorización de las ciencias y la organización de los sistemas de conocimiento. Los enfoques tradicionales dependen fuertemente de los grafos de citación, donde las relaciones se definen mediante referencias y cocitaciones. Si bien son efectivos para el agrupamiento (clustering), estos métodos basados en grafos son distintos de las técnicas de Procesamiento de Lenguaje Natural (NLP) que analizan el contenido semántico de textos individuales. Existe una brecha significativa en la integración de estas dos metodologías independientes: la teoría de grafos abstrae las relaciones entre los medios, mientras que el NLP analiza el texto en sí mismo. Matemáticamente, estos enfoques emplean métodos incompatibles, y los intentos de traducir entre ellos suelen resultar en una pérdida sustancial de información. Además, los esquemas de clasificación existentes (como los utilizados en Web of Science) suelen ser de arriba hacia abajo (top-down) y carecen de la neutralidad de los enfoques de abajo hacia arriba (bottom-up) impulsados por datos.

Metodología

Los autores proponen una investigación a gran escala del conjunto de datos de la Web of Science (WoS) utilizando embeddings de Modelos de Lenguaje de Gran Escala (LLM) para crear un mapa de la ciencia basado en texto, que luego se compara con estructuras basadas en grafos.

Preparación de Datos

• Conjunto de Datos: El estudio utiliza la colección Web of Science hasta 2024, que comprende aproximadamente 56,1 millones de registros vinculados por casi 988 millones de citas.
• Muestreo: Se seleccionó una submuestra aleatoria de 48.076 registros (probabilidad $10^{-3}$). Tras el preprocesamiento (eliminación de registros que carecían de año de publicación, autores, referencias, revistas, títulos, identificadores únicos o resúmenes de menos de 100 caracteres), el conjunto de trabajo final contenía 41.901 registros.
• Hardware: Los experimentos se realizaron en una arquitectura NVIDIA Grace Hopper, aunque los autores señalan que los métodos son factibles en hardware convencional.

Estrategia de Embedding

• Modelos: Se emplearon dos modelos de embedding de LLM de código abierto a través del framework ollama:
  1. mxbai-embed-large:335m (1024 dimensiones).
  2. nomic-embed-text:v1.5 (768 dimensiones).
• Justificación: Se eligieron los resúmenes científicos como el texto de entrada porque son descriptivos, formularios, homogéneos y contienen palabras clave relevantes, lo que los hace adecuados para el embedding de LLM sin las complejidades lingüísticas presentes en los textos completos.
• Métrica: Se generaron vectores normalizados, utilizando la similitud de coseno como métrica de distancia. Los autores conceptualizan la nube de puntos resultante como si residiera en una $n$-esfera, donde el agrupamiento representa "dibujar un mapa" sobre este globo.

Marco Analítico

1. Centros de Temas: Se computó el punto central para cada uno de los 255 temas únicos de WoS como el promedio ponderado de los vectores de embedding para los registros dentro de ese tema (ponderado por el inverso del número total de temas por registro).
2. Correlación de Distancia: Las distidades de pares en el espacio de embedding se compararon con las distancias de camino más corto en el grafo de citación para probar la correlación positiva.
3. Reducción de Dimensionalidad: Se realizó un Análisis de Componentes Principales (PCA) para evaluar la varianza explicada a través de las dimensiones.
4. Potencial Híbrido: El estudio investiga la interacción entre registros "interdisciplinarios" (alta varianza en el espacio de embedding, baja distancia de grafo) y "similitud de temas distantes" (baja distancia de grafo, alta proximidad de embedding).

Resultados Clave

Características del Espacio de Embedding

• Dimensionalidad Completa: El análisis de PCA reveló que ambos modelos de embedding pueblan todas las dimensiones de sus espacios vectoriales, incluso con datos de texto homogéneos. Los autores concluyen que la reducción de la dimensionalidad puede tener a un costo de granularidad y no es necesariamente beneficiosa para el agrupamiento posterior.
• Correlación con las Citas: Se observó una correlación positiva entre las distancias en el espacio de embedding y las distancias en el grafo de citas.
  • Coeficiente de Correlación de Pearson (PCC): 0.455 para mxbai-embed-large:335m.
  • PCC: 0.337 para nomic-embed-text:v1.5.
  • La correlación es más fuerte para pares cercanos y disminuye para pares distantes.

El Mapa de las Ciencias

• Formación Estructural: El espacio de embedding revela un paisaje autoestructurado donde las ciencias naturales, las ciencias sociales y las humanidades forman grandes "nubes" interconectadas, con sus respectivas ramas formando subgrupos.
• Distribución de Temas: La distribución de los registros varía según el tema, influenciada fuertemente por la naturaleza interdisciplinaria.
• Clasificación Difusa (Soft Classification): Debido al etiquetado múltiple (registros que pertenecen a múltiples temas) y a las distribuciones continuas observadas, los autores afirman que la clasificación científica no puede ser rígida. En su lugar, debe ser "difusa", asignando distribuciones de probabilidad sobre múltiples temas en lugar de categorías discretas.

Significado y Reivindicaciones

El artículo no pretende haber resuelto definitivamente el problema de la clasificación, sino que demuestra la practicabilidad y el potencial de utilizar embeddings de LLM para el análisis cienciométrico a gran escala.

• Complementariedad: El significado principal radica en mostrar que los embeddings de texto y los métodos basados en grafos no son mutuamente excluyentes, sino que pueden combinarse. Los autores argumentan que, debido a que los dos métodos son metodológicamente diferentes, sus valores atípicos (outliers) son probablemente independientes.
• Futuro Híbrido: El artículo plantea que un enfoque híbrido —combinando la distancia de embedding y la distancia de grafo— podría compensar las deficiencias de cada método individual. Esta combinación promete una mayor precisión en la clasificación de temas y en el agrupamiento de conjuntos de datos.
• Fundamento: Este trabajo sirve como base para predecir y clasificar la ubicación de los textos dentro de un paisaje semántico, ofreciendo una alternativa de "abajo hacia arriba" a los sistemas de taxonomía existentes, que pueden estar sesgados.

Los autores declaran explícitamente que el trabajo futuro investigará la implementación específica de esta medida combinada para la selección de características con el fin de lograr una mayor precisión, en lugar de presentar un sistema de clasificación superior y finalizado en este estudio.