Eliot: Interactively $\underline{E}$xploring Fast-Changing Scientific $\underline{Li}$terature Trends with $\underline{O}$nline Da$\underline{t}$a and Learning

Resumen Técnico: Eliot – Exploración Interactiva de Tendencias en Literatura Científica de Cambio Rápido

Planteamiento del Problema
El rápido crecimiento de la publicación científica hace que el seguimiento de la evolución de áreas de investigación de movimiento rápido sea cada vez más difícil. Aunque los motores de búsqueda existentes y los asistentes basados en Modelos de Lenguaje Grandes (LLM) recuperan o resumen artículos, a menudo oscurecen las decisiones subyacentes relacionadas con la selección del corpus, la organización y la conexión con patrones temporales. Los asistentes de literatura actuales presentan frecuentemente listas ordenadas o síntesis generadas opacas que ocultan la evidencia detrás de las tendencias. Los investigadores requieren un flujo de trabajo inspeccionable para verificar qué documentos respaldan los patrones temporales aparentes, comprender cómo los artículos se separan en temas e identificar direcciones emergentes sin depender de taxonomías fijas mantenidas por expertos o scripts específicos del dominio.

Metodología
Los autores presentan Eliot, un sistema interactivo desplegado públicamente diseñado para la exploración trazable de la literatura científica en evolución utilizando datos en línea. El sistema opera en tiempo de consulta, recuperando artículos de arXiv en lugar de depender de conjuntos de datos de referencia fijos.

• Pipeline del Sistema:

  1. Recuperación: Los usuarios ingresan términos de consulta explícitos (palabras clave/frases), filtros de categoría, rangos de fechas y criterios de ordenamiento. El sistema recupera los artículos relevantes de arXiv, concatenando títulos y resúmenes para su procesamiento.
  2. Representación y Agrupamiento: El corpus recuperado se representa utilizando incrustaciones de texto. El sistema admite tanto el agrupamiento automático (inferencia de estructura) como el agrupamiento controlado por el usuario (especificación del número de grupos).
  3. Etiquetado: A cada grupo se le asignan palabras clave representativas utilizando TF-IDF basado en clases (c-TF-IDF), inspirado en BERTopic, para resumir las características distintivas del grupo.
  4. Visualización: La interfaz muestra palabras clave de los grupos, un diagrama de dispersión temporal que muestra la distribución de los artículos a lo largo de los años de publicación y listas paginadas de artículos con enlaces a la fuente.
  5. Trazabilidad: Un objetivo central de diseño es la auditabilidad; los usuarios pueden inspeccionar la pertenencia a los grupos, comparar etiquetas y acceder a registros de origen originales en lugar de depender únicamente de resúmenes.

• Evaluación de Configuración Offline (RQ1):
  Para determinar la configuración predeterminada óptima, los autores realizaron una evaluación offline automatizada en ocho dominios diversos de arXiv (por ejemplo, Ciencias de la Computación, Física, Economía). Probaron combinaciones de:

  • Representaciones de Documentos: MiniLM, SciBERT y TF-IDF.
  • Reducción de Dimensionalidad: UMAP y SVD (con conteos variables de componentes).
  • Algoritmos de Agrupamiento: K-Means, Agrupamiento Aglomerativo y C-Medias Difusas.
  • Métricas: Métricas intrínsecas de agrupamiento (Puntuación Silueta, Índice Calinski-Harabasz, Índice Davies-Bouldin) y métricas de coherencia de temas ($C_{V}$ y $C_{NPMI}$).

• Evaluación de Usuarios (RQ2 & RQ3):
  La interpretabilidad y utilidad del sistema se evaluaron mediante una encuesta basada en escenarios (10 participantes) y un grupo focal de expertos (4 investigadores experimentados). Los participantes evaluaron escenarios predefinidos (por ejemplo, "Modelos de Lenguaje Grandes" en Ciencias de la Computación, "Mercado y Predicción" en Finanzas Cuantitativas) y realizaron tareas autodirigidas.

Contribuciones Clave

1. Un Sistema Interactivo Público: Eliot combina la recuperación de arXiv en tiempo de consulta, el agrupamiento no supervisado, el etiquetado con palabras clave, la visualización temporal y la inspección a nivel de documento en un único flujo de trabajo.
2. Un Flujo de Trabajo Trazable: El sistema expone la configuración de consultas, los artículos recuperados, las asignaciones de grupos y los enlaces de origen, apoyando la auditabilidad en el análisis exploratorio de literatura.
3. Análisis Empírico de Configuración: Una evaluación automatizada en ocho dominios identificó una configuración predeterminada robusta (incrustaciones MiniLM, UMAP de 10 dimensiones y Agrupamiento Aglomerativo).
4. Validación Centrada en el Usuario: Evidencia de encuestas y grupos focales que demuestra que los usuarios encuentran las etiquetas de los grupos significativas y valoran el sistema para obtener resúmenes auditables de áreas técnicas de cambio rápido.

Resultados

• Selección de Configuración: La evaluación offline reveló que las incrustaciones MiniLM fueron la representación de mejor rendimiento en los ocho dominios, superando a SciBERT y TF-IDF. UMAP fue el método de reducción de dimensionalidad preferido, siendo 10 componentes la configuración óptima más frecuente. El Agrupamiento Aglomerativo apareció con mayor frecuencia en las configuraciones mejor clasificadas, seguido de cerca por K-Means. En consecuencia, los autores recomiendan MiniLM + UMAP de 10D + Agrupamiento Aglomerativo como el predeterminado práctico.
• Interpretabilidad de Usuarios: En la encuesta, el 85% de las respuestas calificó las etiquetas de los grupos como significativas (4 o 5 en una escala Likert), un resultado estadísticamente significativo ($p < 0.001$). Aunque la utilidad percibida de escenarios específicos varió según el trasfondo del usuario, los participantes mostraron una percepción positiva de la utilidad de la herramienta para la investigación futura ($p = 0.047$).
• Retroalimentación de Expertos: El grupo focal confirmó que Eliot es más valioso para proporcionar resúmenes trazables de áreas de cambio rápido. Los usuarios apreciaron la capacidad de interactuar con visualizaciones y acceder directamente a los artículos de origen.
• Limitaciones Identificadas: Los usuarios notaron una posible confusión cuando el agrupamiento automático producía diferentes granularidades en diferentes ventanas de tiempo (debido a límites fijos de recuperación de documentos que afectan la densidad de las incrustaciones). Los autores abordaron esto exponiendo controles para aumentar el número máximo de artículos recuperados o cambiar al agrupamiento controlado por el usuario.

Significado y Afirmaciones
El artículo afirma que Eliot generaliza el análisis de la evolución de la literatura más allá de las restricciones de taxonomías construidas a mano y scripts específicos del dominio utilizados en estudios anteriores (como el análisis de literatura de planificación con LLM de Pallagani et al.). Al pasar de la clasificación supervisada en categorías fijas al agrupamiento no supervisado en tiempo de consulta, Eliot permite a los investigadores inspeccionar directamente la evidencia detrás de las tendencias de la literatura.

Los autores posicionan a Eliot no como un reemplazo para los asistentes de IA orientados a respuestas (que sintetizan afirmaciones), sino como una herramienta complementaria para la fase exploratoria temprana. Ayuda a los investigadores a hacer visible el corpus recuperado como temas, etiquetas y patrones temporales, apoyando así "resúmenes auditables" de áreas técnicas de cambio rápido. El trabajo sugiere que el agrupamiento en tiempo de consulta y la inspección temporal pueden complementar las herramientas de búsqueda y generación al permitir a los investigadores refinar y verificar la evidencia detrás de las tendencias emergentes.

Los autores mantienen modestia en sus afirmaciones, señalando que los resultados de la configuración son "predeterminados prácticos" en lugar de óptimos universales, y que los estudios de usuarios son preliminares, llamando a evaluaciones controladas a mayor escala en trabajos futuros.