DOME Copilot: Making transparency and reproducibility for artificial intelligence methods simple

El DOME Copilot es una solución basada en modelos de lenguaje grande que extrae informes estructurados de métodos de inteligencia artificial en publicaciones científicas para garantizar la transparencia, la reutilización y la reproducibilidad de estos avances en la investigación biomédica.

Lo esencial

Imagina que la Inteligencia Artificial (IA) en la ciencia es como una cocina de alta tecnología donde los científicos crean recetas (métodos) increíbles para curar enfermedades o entender la vida. Pero hay un problema: muchos de estos científicos escriben sus recetas en un idioma secreto, con ingredientes ocultos o pasos que saltan a la imaginación. Es como si alguien te diera un pastel delicioso pero no te dijera si usó harina, azúcar o... arena.

Esto hace que sea imposible que otros cocineros (científicos) copien la receta, la mejoren o sepan si el pastel es seguro. A esto se le llama la "crisis de la reproducibilidad".

Aquí es donde entra DOME Copilot, el nuevo héroe de esta historia.

¿Qué es DOME Copilot?

Piensa en DOME Copilot como un traductor mágico y un organizador de despensa superinteligente.

1. El Traductor: Cuando un científico sube su artículo científico (que suele ser un PDF largo y aburrido), DOME Copilot lo lee instantáneamente. No es un humano cansado que tarda horas; es un robot que lee en segundos.
2. El Organizador: En lugar de dejar la información desordenada, DOME Copilot toma los datos dispersos y los coloca en una caja de herramientas estandarizada (llamada "DOME Registry"). Esta caja tiene compartimentos específicos: "¿Qué ingredientes usaste?", "¿Cuánto tiempo tardó?", "¿Dónde puedo descargar la receta?".

¿Por qué era necesario?

Antes, para poner esta información en la caja organizada, un científico tenía que hacerlo manualmente. Era como si te pidieran que, después de cocinar, escribieras una lista de la compra, los tiempos de cocción y las licencias de uso de cada utensilio, todo a mano.

• El problema: ¡Daba mucha pereza! A los científicos les costaba horas y muchos simplemente no lo hacían, dejando sus recetas "en negro" (invisibles para otros).
• La solución: DOME Copilot hace el trabajo sucio por ti. Lee el artículo, rellena la caja con la información necesaria y te la entrega lista para que tú solo la revises y firmes.

¿Cómo funciona su "magia"?

El sistema utiliza una Inteligencia Artificial (un modelo de lenguaje grande) que actúa como un detective muy bien entrenado:

• Lee el manuscrito: Extrae los datos clave.
• Llena los huecos: Si falta información, te avisa: "Oye, aquí no dijiste qué licencia tiene el código".
• Se hace más inteligente: En sus primeras versiones (v0), a veces era muy hablador o repetitivo. Pero con la versión final (v2), aprendió a ser breve y directo, como un buen chef que solo te da los ingredientes exactos sin contar historias largas.

¿Para qué sirve en la vida real?

El papel describe tres formas principales en las que este robot ayuda:

1. El "Autoexamen" para científicos: Antes de enviar su artículo, un investigador puede usar DOME Copilot para ver: "¡Oh! Se me olvidó decir qué computadora usé". Así corrige sus errores antes de publicar.
2. El "Asistente de Envío" para revistas: Cuando un científico envía su trabajo a una revista, el sistema puede generar automáticamente el formulario de transparencia. Esto hace que el proceso de revisión sea más rápido y justo para todos.
3. El "Arqueólogo Digital" para el pasado: Hay miles de artículos antiguos con métodos de IA que nadie ha organizado. DOME Copilot puede leer miles de estos documentos antiguos y crear las cajas organizadas para ellos, haciendo que la ciencia del pasado sea útil para el futuro.

En resumen

DOME Copilot es como un asistente personal que convierte el caos en orden. Toma los artículos científicos complejos y opacos, y los transforma en recetas claras, transparentes y fáciles de usar para todo el mundo.

Su objetivo final es simple: que la ciencia de la Inteligencia Artificial deje de ser una "caja negra" misteriosa y se convierta en una cocina abierta donde todos pueden ver, aprender y mejorar juntos. Y lo mejor de todo: ¡es gratuito y de código abierto, listo para que cualquiera lo use!

Resumen técnico

Resumen Técnico: DOME Copilot

1. El Problema

A pesar de los avances sin precedentes de la Inteligencia Artificial (IA) en las ciencias de la vida, existe una crisis de reutilización y reproducibilidad. Muchos métodos publicados actúan como "cajas negras" donde la información crucial para su interpretación científica está ausente, obfuscada o presentada en formatos no estandarizados.

• Barrera de Adopción: Aunque existen directrices de reporte (como las Recomendaciones DOME) para estructurar la información de los métodos de IA, su adopción es baja.
• Cuello de Botella Humano: La anotación manual de metadatos estructurados es un proceso tedioso que puede tomar varias horas por publicación. Los investigadores carecen de incentivos para realizar este trabajo adicional, y las editoriales luchan por hacer cumplir estas normas manualmente, lo que frena la transparencia y la escalabilidad de la curación de literatura científica.

2. Metodología

DOME Copilot es una solución basada en un Modelo de Lenguaje Grande (LLM) diseñada para extraer automáticamente informes estructurados de métodos de IA a partir de manuscritos (PDF).

• Arquitectura del Sistema:

  • Interfaz de Entrada: Utiliza una interfaz amigable (Gradio) para subir manuscritos y materiales suplementarios.
  • Procesamiento de Texto: Se emplea un flujo de trabajo de inferencia construido con LlamaIndex. Los contenidos del PDF se analizan y extraen.
  • Generación de Embeddings: El modelo Qwen3-Embeddings-4B genera representaciones vectoriales del texto, almacenadas en un índice vectorial para la recuperación de información.
  • Modelo Generador: Se utiliza un LLM de tamaño intermedio, Mistral Small 3.1 24B Instruct, seleccionado por su equilibrio entre velocidad y capacidad de resumen y estructuración de texto.
  • Tecnología Subyacente: El sistema emplea Generación Aumentada por Recuperación (RAG) y guías de prompts estructurados para asegurar que la salida cumpla con el esquema JSON de las Recomendaciones DOME.
  • Tiempo de Procesamiento: La generación de una anotación tarda aproximadamente 2 minutos, dependiendo del tamaño del documento.

• Desarrollo Iterativo (v0 a v2):

  • El sistema se refinó mediante observaciones de curadores expertos humanos sobre un subconjunto de 30 publicaciones.
  • Se ajustaron los system prompts para mejorar el estilo, reducir la redundancia y acortar la longitud de las respuestas (verificación de concisión).
  • Se implementó un mecanismo de validación humana posterior a la generación automática antes de la inclusión final en el registro.

3. Contribuciones Clave

1. Automatización de la Estructuración: Transforma manuscritos no estructurados en informes DOME-compliant (JSON) listos para su ingestión en el DOME Registry.
2. Escalabilidad: Permite procesar grandes volúmenes de literatura existente (archivos históricos) y nueva literatura, eliminando la barrera del esfuerzo humano manual.
3. Tres Casos de Uso Principales:
   • Auto-verificación: Ayuda a los desarrolladores a identificar lagunas metodológicas antes de la publicación.
   • Ayuda en el Flujo de Publicación: Redacta borradores de informes estructurados para editoriales y revisores, reduciendo la carga administrativa.
   • Curación Masiva: Permite la anotación de grandes corpus de literatura archivada para mejorar la descubribilidad y reutilización.
4. Infraestructura Abierta: El código y la infraestructura son de código abierto (GitHub) y están diseñados para ser desplegados en plataformas como AI4EOSC y integrados en portales de envío de revistas.

4. Resultados y Evaluación

El rendimiento del modelo DOME Copilot v2 se evaluó mediante métricas rigurosas:

• Similitud Semántica (BERTScore):
  • Se compararon 192 anotaciones generadas por la IA contra anotaciones humanas de un conjunto de datos de referencia (Dataset A).
  • Los resultados mostraron una similitud semántica estable, con puntuaciones BERTScore principalmente entre 0.35 y 0.50 (donde 1.0 es una coincidencia idéntica). Esto indica que la IA captura correctamente el significado contextual, a pesar de que las anotaciones humanas son a menudo más verbosas o incluyen fragmentos de texto crudos.
• Rendimiento en Escala (Dataset B y C):
  • Positivos (Dataset B): Se procesaron 1.012 publicaciones con IA. La tasa de éxito de extracción completa se alineó con las tendencias de reporte existentes (las fallas suelen deberse a campos subreportados en la literatura original, como la duración de ejecución).
  • Negativos (Dataset C): Se procesaron 1.012 publicaciones sin contenido relevante para DOME (ej. economía, revisiones bibliográficas). El modelo demostró una robusta capacidad para evitar alucinaciones: rechazó completamente más de la mitad de los casos negativos fuertes (546) y devolvió declaraciones de "información insuficiente" para los casos negativos suaves, sin generar anotaciones falsas.
• Optimización de Salida: La versión v2 logró una reducción significativa en la longitud de las respuestas (verbosidad) en comparación con la v0, asegurando una extracción de información más concisa y dirigida.

5. Significado e Impacto

DOME Copilot representa un cambio de paradigma en la gestión de la transparencia científica en IA:

• Resolución de un Problema Intractable: Aborda un problema que las directrices de reporte por sí solas no podían resolver debido a la falta de escalabilidad humana.
• Confianza y Reutilización: Al hacer que los métodos de IA sean transparentes y estructurados, facilita la reproducción de experimentos y la reutilización de modelos en la investigación biomédica.
• Integración Futura: Se prevé la integración de clasificadores de triaje de texto automatizados para eliminar incluso la identificación manual de literatura positiva, cerrando completamente el ciclo de curación automatizada.
• Adopción Global: Al integrarse con infraestructuras como Europe PMC y EBI Search, democratiza el acceso a metadatos estructurados de IA, beneficiando tanto a investigadores como a editores.

En conclusión, DOME Copilot es una prueba de concepto exitosa que utiliza la IA para mejorar la calidad y la transparencia de la propia literatura de IA, mitigando la crisis de reproducibilidad en las ciencias de la vida.