SciDER: Scientific Data-centric End-to-end Researcher

1. El Problema

Aunque los agentes basados en Modelos de Lenguaje Grande (LLM) han comenzado a transformar el ciclo de vida de la investigación científica (desde la ideación hasta la experimentación), los sistemas existentes enfrentan dos barreras críticas que limitan su autonomía real:

• Limitada Adaptabilidad a Datos Reales: La mayoría de los sistemas actuales están diseñados principalmente para conjuntos de datos públicos de aprendizaje automático (ML). Tienen dificultades para analizar y procesar de forma independiente datos experimentales crudos, diversos y del mundo real recolectados en laboratorios.
• Brecha de Dominio: Los asistentes de propósito general a menudo fallan en dominios especializados donde las ideas abstractas deben traducirse a formatos de datos experimentales precisos, a veces propietarios. Existe una desconexión entre el razonamiento abstracto y la síntesis de código ejecutable en campos multidisciplinarios como la física, la química o la biología.

Actualmente, no existe un sistema que automatice completamente el ciclo de vida de la investigación integrando el análisis de datos crudos, la generación de hipótesis y la ejecución de código experimental de manera autónoma y basada en datos.

2. Metodología: SciDER

SciDER es un sistema de investigación de extremo a extremo centrado en los datos, diseñado como un paquete modular de Python que utiliza LangGraph y litellm. Su arquitectura se basa en cuatro agentes especializados que colaboran en un flujo de trabajo cohesivo:

1. Agente de Ideación:
   • Realiza revisiones bibliográficas automáticas (arXiv, Semantic Scholar, PubMed).
   • Genera hipótesis y planes experimentales basados en el contexto específico de los datos del usuario.
   • Evalúa la novedad de las propuestas utilizando un "Juez LLM" que puntúa la unicidad, innovación y impacto.
2. Agente de Análisis de Datos (El núcleo del sistema):
   • Es el componente diferenciador. Parsea y analiza datos experimentales crudos subidos por el usuario (imágenes, CSV, JSON, formatos personalizados).
   • Limpia, estructura y genera informes de análisis detallados sobre la estructura, calidad, semántica y dependencias de los datos.
   • Este análisis "basado en datos" informa directamente la generación de código, asegurando que el software se adapte a la realidad de los datos y no solo a suposiciones teóricas.
3. Agente de Experimentación:
   • Fase de Codificación: Genera scripts ejecutables adaptados a las estructuras de datos identificadas. Utiliza frameworks externos (como OpenHands o Claude Code) para iterar y corregir errores de sintaxis o tipo.
   • Fase de Ejecución: Ejecuta el código, monitorea el progreso y detecta fallos (timeouts, pérdida alta, pruebas unitarias fallidas). Si ocurre un error, detiene el proceso y retroalimenta al agente de codificación para su corrección.
4. Agente Crítico (Critic):
   • Revisa todas las salidas de las etapas anteriores (análisis, código, resultados).
   • Identifica sesgos, inconsistencias lógicas o brechas de información.
   • Propone mejoras y desencadena un ciclo de reflexión y auto-afinamiento (iteración) hasta alcanzar un resultado robusto.

Mecanismo de Memoria Auto-Evolucionante

Una característica definitoria de SciDER es su sistema de memoria, adaptado de ReasoningBank:

• Categorización: Divide la memoria en corto plazo (contexto de la tarea actual) y largo plazo.
• Especificidad: La memoria a largo plazo se subdivide en específica de la tarea (guías generales para un dominio) y específica del proyecto (resultados e ideaciones de experimentos concretos).
• Funcionamiento: Utiliza RAG (Generación Aumentada por Recuperación) para recuperar fragmentos de razonamiento relevantes y insertarlos en el contexto del LLM. Esto permite el "aprendizaje en tiempo de prueba" (test-time learning), mejorando el rendimiento a medida que el sistema acumula experiencia en tareas y proyectos específicos.

3. Contribuciones Clave

1. Sistema Modular de Ciclo Completo: SciDER es el primer sistema que automatiza integralmente la ideación, el análisis de datos crudos, la experimentación y la mejora iterativa mediante agentes especializados.
2. Enfoque Centrado en Datos: A diferencia de los enfoques basados en scripts estáticos, SciDER basa la generación de código en el análisis autónomo de los datos experimentales reales, cerrando la brecha entre el razonamiento abstracto y la ejecución práctica.
3. Memoria Auto-Evolucionante: Implementa un mecanismo que permite al sistema aprender y recordar tanto a nivel de tarea como de proyecto, mejorando su competencia en exploración general y de dominio a lo largo del tiempo.

4. Resultados y Evaluación

SciDER fue evaluado en tres benchmarks principales, superando consistentemente a agentes de propósito general y modelos de última generación (SOTA):

• AI-Idea-Bench (Generación de Ideas):
  • SciDER superó a modelos como AI-Scientist y AI-Researcher.
  • Logró una puntuación de 47.06 en la evaluación de motivación de novedad (casi el doble que los SOTA anteriores) y 44.52 en la coincidencia experimental, demostrando una capacidad superior para generar ideas innovadoras y factibles alineadas con literatura de alto nivel.
• MLE-Bench (Experimentación General):
  • Basado en 75 competiciones reales de Kaggle.
  • SciDER alcanzó una tasa de medallas de oro del 36.40% (pass@1), superando significativamente a AIRA (28.64%) y ML-Master (18.10%), demostrando una capacidad comparable o superior a agentes especializados en ML.
• SciCode (Tareas Específicas de Dominio):
  • Evaluado en 16 subcampos científicos (física, química, biología, etc.).
  • SciDER logró una tasa de éxito del 15.38% en problemas principales y 42.71% en subproblemas, superando a modelos potentes como GPT-5 (13.85% y 38.26% respectivamente). Esto valida su eficacia en razonamiento científico complejo y síntesis de código.
• Evaluación Humana:
  • Con 13 expertos (doctorandos, profesores, investigadores industriales), el sistema obtuvo una puntuación media de 4.846/5.0 en utilidad, destacando por la reducción del flujo de trabajo y la precisión basada en datos.

5. Significado e Impacto

SciDER representa un avance significativo hacia la creación de un "socio de investigación" verdaderamente autónomo. Su importancia radica en:

• Democratización de la Investigación: Al proporcionar una interfaz web ligera y un paquete de Python fácil de usar, permite a expertos de dominio (como astrofísicos sin experiencia en ML) construir pipelines de aprendizaje automático complejos con intervención mínima.
• Cierre de la Brecha de Datos: Al centrarse en el análisis de datos crudos, SciDER resuelve el problema de la desconexión entre la teoría y la práctica experimental, algo que los asistentes de código genéricos no logran.
• Escalabilidad y Aprendizaje Continuo: Su mecanismo de memoria evolutiva sugiere un futuro donde los agentes de investigación no solo ejecutan tareas, sino que mejoran su competencia acumulativa a través de la experiencia, reduciendo las barreras técnicas y acelerando el ritmo de descubrimiento científico.

El sistema está disponible públicamente como un paquete modular, fomentando la adopción generalizada de agentes de investigación autónomos y basados en datos.