Autonomous Research Assistant: An AI-Powered System for Automated Paper Discovery, Summarization, Domain Classification, and Citation Generation

Resumen Técnico: Asistente de Investigación Autónomo

Planteamiento del Problema
El panorama académico está actualmente abrumado por el enorme volumen de nuevas investigaciones, con más de 200 millones de artículos indexados en las principales bases de datos. Los investigadores enfrentan desafíos significativos para mantenerse al día con este crecimiento, específicamente en tres áreas: descubrir estudios relevantes de manera eficiente, comprender rápidamente las contribuciones centrales de artículos individuales y gestionar las citas a través de diversos estándares de formato (por ejemplo, APA, MLA, IEEE). Las revisiones de literatura tradicionales son sumamente laboriosas y suelen tomar semanas, mientras que las herramientas existentes suelen abordar solo partes aisladas del flujo de trabajo (búsqueda, resumen o gestión de citas), obligando a los investigadores a cambiar entre múltiples plataformas y perder la continuidad organizacional.

Metodología y Arquitectura del Sistema
Los autores presentan el Asistente de Investigación Autónomo, una aplicación web de IA de pila completa (full-stack) diseñada para automatizar el flujo de trabajo de investigación de extremo a extremo. El sistema integra cuatro capacidades primarias: descubrimiento automatizado de artículos, resumen impulsado por IA, clasificación de dominios basada en aprendizaje automático y generación de citas en múltiples formatos.

• Arquitectura: El sistema está construido sobre una arquitectura de múltiples niveles y sin servidor (serverless). El frontend utiliza React 18 y TypeScript con Tailwind CSS para la capa de presentación, mientras que la gestión de estado es manejada por TanStack Query y React Hook Form. El backend se apoya en Deno Edge Functions, asegurando una ejecución sin servidor de baja latencia. La persistencia de datos se gestiona mediante PostgreSQL con Seguridad a Nivel de Fila (RLS) para garantizar el aislamiento y la privacidad de los datos del usuario. La autenticación se realiza mediante JWT.
• Descubrimiento y Resumen de Artículos: El sistema consulta la API de Semantic Scholar para acceder a una biblioteca de más de 200 millones de artículos. Emplea una lógica de reintento robusta (hasta tres intentos con retroceso exponencial) para manejar los límites de tasa (rate limits). Si la API falla, se activa un mecanismo de fallback de IA. Para el resumen, el sistema aprovecha Google Gemini 2.5 Flash para generar resúmenes abstractivos (2 a 3 oraciones) y extraer de 5 a 7 palabras clave relevantes de los resúmenes de los artículos en tiempo real.
• Clasificación de Dominios: Para categorizar los artículos en seis dominios de investigación distintos, los autores entrenaron un modelo de aprendizaje automático en el conjunto de datos de resúmenes de artículos de arXiv de la Universidad de Cornell.
  • Conjunto de Datos: Se seleccionaron 18,000 resúmenes a través de seis dominios disjuntos: Visión Computacional (cs.CV), Procesamiento de Lenguaje Natural (cs.CL), Astrofísica (astro-ph.GA), Combinatoria (math.CO), Neurociencia (q-bio.NC) y Física de Altas Energías (hep-th).
  • Preprocesamiento: El pipeline incluye normalización de mayúsculas/minúsculas, eliminación de caracteres no alfabéticos (excepto guiones), tokenización, eliminación de stopwords (incluyendo términos académicos genéricos) y lematización. Los títulos se anteponen a los resúmenes dos veces para reforzar el contexto.
  • Ingeniería de Características: Se utilizó la vectorización TF-IDF con un máximo de 50,000 características, utilizando unigramas hasta trigramas.
  • Selección de Modelos: Se compararon cinco clasificadores: Regresión Logística, Naive Bayes Multinomial, SVM Lineal, Clasificador SGD y Random Forest. El SVM Lineal con escalado de Platt y ajuste de hiperparámetros (C=1.0) resultó ser el modelo superior.
  • Estrategia de Despliegue: En lugar de desplegar directamente un modelo sklearn basado en Python en el entorno Deno (lo que requeriría una contenerización compleja), los autores utilizaron un enfoque de ingeniería de prompts. La taxonomía entrenada y la lógica de clasificación se codificaron en un prompt para Gemini 2.5 Flash, permitiendo que la Función de Borde (Edge Function) realice la clasificación de dominios junto con el resumen sin necesidad de un entorno de ejecución de Python.
• Generación de Citas: El sistema genera automáticamente citas en formatos APA, MLA e IEEE basadas en los metadatos recuperados, permitiendo la exportación con un solo clic.

Resultados Clave

• Desempeño de la Clasificación: El SVM Lineal ajustado logró una precisión de prueba del 97.25% con un puntaje F1 macro de 0.97 en una división estratificada de 80/20 (3,600 muestras de prueba). Esto superó a la Regresión Logística (97.06%), al Clasificador SGD (97.03%), al Naive Bayes Multinomial (96.69%) y a Random Forest (94.44%).
  • El análisis por clase mostró los puntajes F1 más altos para Astrofísica y NLP (0.98), con Visión Computacional ligeramente inferior (0.96) debido al solapamiento de vocabulario con NLP.
  • El modelo fue validado mediante validación cruzada de 5 pliegues (96.17% ± 0.45%) y una prueba personalizada de seis resúmenes creados manualmente, logrando un 100% de precisión.
• Latencia del Sistema: El pipeline de extremo a extremo para procesar 5 artículos toma entre 8 y 15 segundos. Los desgloses específicos incluyen aproximadamente 1.2 segundos para el resumen, ~0.8 segundos para la extracción de palabras clave y ~0.6 segundos para la clasificación de dominio por artículo.
• Eficiencia: El enfoque de TF-IDF + Linear SVM se entrenó en menos de 30 segundos en la versión gratuita de Google Colab, sin requerir GPU, lo que contrasta con los altos costos computacionales de los modelos basados en transformers como BERT o SciBERT.

Significancia y Reivindicaciones
El artículo sostiene que el Asistente de Investigación Autónomo demuestra con éxito que un flujo de trabajo completo de automatización de investigación puede entregarse como una aplicación web de grado de producción con sólidas garantías de seguridad. Sus contribuciones clave incluyen:

1. Flujo de Trabajo Holístico: Unificar el descubrimiento, el resumen, la clasificación y la citación en una sola interfaz, eliminando la necesidad de cambiar entre herramientas dispares.
2. ML Rentable: Demostrar que los enfoques de ML tradicional cuidadosamente diseñados (TF-IDF + Linear SVM) pueden lograr una precisión cercana al aprendizaje profundo (97.25%) para la clasificación de dominios, siendo significativamente más rápidos de entrenar y más económicos de desplegar que las alternativas basadas en transformers.
3. Despliegue Innovador: El uso de la ingeniería de prompts para incrustar una taxonomía de clasificación entrenada en una llamada de inferencia de un LLM permite realizar la clasificación de dominios dentro de un entorno Deno sin dependencias de Python, reduciendo la latencia y la complejidad de la infraestructura.
4. Ganancias de Productividad: El sistema reporta reducir el tiempo requerido para las revisiones de literatura manuales por un factor de tres (aproximadamente un ahorro de tiempo del 70%) y automatiza la tediosa tarea del formato de citas.

Los autores mantienen una postura modesta, reconociendo limitaciones tales como la dependencia de los metadatos de la API para la precisión de las citas, la restricción actual a seis dominios amplios (aunque expandibles) y la falta de análisis de texto completo de PDF en el prototipo actual. Se propone como trabajo futuro la clasificación jerárquica, el parsing de PDF mediante GROBID y funciones de colaboración compartida.