User-driven development and evaluation of an agentic framework for analysis of large pathway diagrams

Este artículo describe el desarrollo y evaluación impulsada por usuarios de Llemy, un sistema basado en modelos de lenguaje grande para explorar y resumir mapas de interacción molecular complejos, destacando la importancia de la colaboración continua con expertos para priorizar características y fomentar la adopción de modelos de lenguaje de pesos abiertos en la investigación.

Lo esencial

Imagina que el conocimiento biológico es como una biblioteca gigante y desordenada, llena de mapas complejos que explican cómo funciona el cuerpo humano, desde cómo el hígado procesa la grasa hasta cómo un virus ataca a las células. Estos "mapas" son enormes, llenos de líneas, nodos y conexiones que resultan abrumadores, especialmente para alguien que no es un experto.

Aquí es donde entra en juego este artículo, que presenta a Llemy, un nuevo "asistente inteligente" diseñado para ayudarte a navegar por esta biblioteca.

¿Qué es Llemy? (El Bibliotecario Robot)

Piensa en Llemy como un bibliotecario robot superpoderoso que conoce cada rincón de esta biblioteca de mapas biológicos. En lugar de que tú tengas que caminar entre estanterías infinitas buscando un hilo de información, tú le haces una pregunta (por ejemplo: "¿Cómo afecta el alcohol al metabolismo del hígado?") y Llemy:

1. Lee los mapas: Busca en los diagramas oficiales y complejos.
2. Consulta a un experto: Usa una Inteligencia Artificial (un modelo de lenguaje grande o LLM) para entender lo que leíste.
3. Te da una respuesta clara: Te resume la información en lenguaje sencillo y te dice exactamente de dónde sacó la respuesta, como si te dijera: "Esto lo encontré en la página 4 del mapa del hígado".

¿Cómo lo crearon? (La "Fiesta de Ideas" o Hackathon)

Los autores no se encerraron en un laboratorio a adivinar qué necesitaban los usuarios. En su lugar, organizaron una "fiesta de ideas" (un hackathon) durante dos días. Invitaron a expertos reales: médicos, biólogos y curadores de mapas.

Fue como un taller de cocina donde los chefs (los expertos) le decían al chef robot (los desarrolladores): "Oye, si le pregunto esto, quiero que me responda así". Así, Llemy se construyó desde abajo hacia arriba, basándose en lo que la gente realmente necesitaba, no en lo que los programadores pensaban que necesitaban.

¿Qué descubrieron? (La Prueba de Fuego)

Llemy se puso a prueba con 25 usuarios reales. Aquí están las lecciones principales, explicadas con analogías:

• La velocidad importa: Cuando Llemy tardaba mucho en responder, los usuarios pensaban que la respuesta era de menor calidad. Es como esperar demasiado en una fila de supermercado; empiezas a dudar de si el cajero está trabajando bien.
• Resumir es fácil, buscar es difícil: Llemy era muy bueno resumiendo un mapa completo (como contar un cuento), pero a veces se confundía cuando los usuarios le pedían encontrar un detalle muy específico o buscar algo que no estaba en el mapa. Es como pedirle a un guía turístico que te diga "¿Dónde está la tienda de zapatos más pequeña de la ciudad?" cuando él solo tiene el mapa de los museos.
• La confianza es clave: Los usuarios valoraban mucho que Llemy les mostrara sus fuentes. Si el robot decía "Esto lo leí aquí" y te daba un enlace que funcionaba, ganaba confianza. Si el enlace estaba roto, la confianza se iba al suelo.
• El problema de los nombres: A veces, Llemy se confundía con los nombres científicos de las cosas. Si un usuario decía "hígado" y el mapa usaba el nombre técnico "hepatocito", el robot a veces no los reconocía como lo mismo. Es como si alguien te preguntara por "papá" y el robot solo respondiera si le dices "padre".

¿Qué sigue? (El Futuro)

El equipo reconoce que Llemy aún no es perfecto. A veces da respuestas diferentes a la misma pregunta (como un amigo que cambia de opinión) y a veces se pierde en mapas demasiado grandes.

Su plan para el futuro es:

1. Hacerlo más rápido y preciso.
2. Mejorar su memoria para que entienda mejor los sinónimos y los nombres científicos.
3. Hacerlo de código abierto: Quieren que Llemy sea como un juego de construcción público, donde cualquiera pueda mejorar el robot, en lugar de depender de una empresa privada que cobra por usarlo.

En resumen

Este artículo nos cuenta la historia de cómo un grupo de científicos decidió no construir una herramienta tecnológica en una torre de marfil, sino construirla con las manos de la gente que la usaría. Llemy es un primer paso prometedor para convertir esos mapas biológicos aburridos y complicados en conversaciones útiles y claras, ayudando a que la ciencia sea más accesible para todos.

Resumen técnico

Título: Desarrollo y evaluación impulsados por el usuario de un marco agéntico para el análisis de diagramas de grandes vías biológicas

1. El Problema

El ecosistema de repositorios de conocimiento biomédico (mapas de interacciones moleculares, grafos de conocimiento, bases de datos de vías) está creciendo exponencialmente en tamaño y complejidad. Aunque estos recursos son vitales para la generación de hipótesis y el diseño experimental, presentan dos desafíos principales:

• Complejidad de navegación: Los mapas son manuales, siguen estándares como SBGN/SBML y están alojados en plataformas distribuidas (como MINERVA), lo que dificulta su exploración, especialmente para usuarios noveles.
• Falta de interfaces unificadas: La heterogeneidad de formatos y la gran cantidad de datos hacen que la interpretación de mecanismos moleculares complejos sea lenta y ardua.
• Vacío en soluciones específicas: Aunque existen modelos de lenguaje grandes (LLM) para tareas generales o extracción de literatura, no existe una solución dedicada que permita interactuar directamente con mapas de interacción molecular estructurados para su exploración y análisis.

2. Metodología

El artículo describe el desarrollo de Llemy, un sistema basado en LLM diseñado mediante un enfoque centrado en el usuario. La metodología se dividió en tres fases:

• Desarrollo Iterativo (Hackathon):

  • Se inició con un hackathon de dos días que reunió a expertos en hepatotoxicología, curadores de mapas, biólogos computacionales y expertos en LLM.
  • Se definieron requisitos basados en prompts reales de expertos, incluyendo consultas fuera del alcance del mapa y premisas falsas para probar la robustez del sistema.
  • Se creó un prototipo con agentes paralelos: uno para recuperar datos del mapa (vía API de MINERVA) y otro para investigación profunda (vía Perplexity), sintetizados por un tercer agente.

• Arquitectura del Sistema (Llemy):

  • Tecnología: Desarrollado en Python, utilizando Streamlit (frontend), LangChain (backend agéntico) y GPT-4.1-nano.
  • Flujo de trabajo: El usuario selecciona un mapa y un prompt. El sistema enriquece el prompt con instrucciones, recupera datos estructurados del mapa (nodos, reacciones, anotaciones) y los envía al LLM como contexto.
  • Salida: El LLM genera una respuesta que incluye referencias a la literatura y enlaces clicables a elementos específicos del mapa original, garantizando la trazabilidad y auditabilidad.
  • Despliegue: Disponible como contenedor Docker y en la nube (VHP4Safety), requiriendo claves API del usuario.

• Evaluación de Usuarios:

  • Participantes: 25 usuarios (curadores, desarrolladores y usuarios de mapas) reclutados a través de la comunidad Disease Maps.
  • Datos recolectados:
    • Dataset de Prompts: 157 interacciones evaluadas en tres métricas (Precisión, Concisión, Fiabilidad) en una escala de 1 a 5, junto con comentarios de texto libre.
    • Dataset de Resumen: Cuestionario final sobre la experiencia general, usabilidad y percepción de utilidad.
  • Análisis Estadístico: Se utilizaron modelos mixtos de enlace cumulativo (CLMM) en R para analizar el impacto del tiempo de respuesta y las diferencias entre categorías de tareas (Resumir, Encontrar, Analizar).

3. Contribuciones Clave

• Llemy: La primera herramienta agéntica diseñada específicamente para explorar y analizar mapas de interacción molecular mediante LLM, integrando datos estructurados de MINERVA con capacidades de razonamiento de IA.
• Marco de Evaluación Impulsado por el Usuario: Un enfoque metodológico que involucra a expertos de dominio desde la fase de prototipado (hackathon) hasta la evaluación final, permitiendo identificar necesidades reales y limitaciones técnicas.
• Categorización de Tareas: Definición de tres categorías principales de interacción con el sistema:
  1. Resumir: Síntesis de mecanismos o vías.
  2. Encontrar: Recuperación de elementos específicos o propiedades.
  3. Analizar: Cálculo de conectividad o razonamiento sobre perturbaciones.
• Transparencia y Auditabilidad: El sistema genera respuestas que vinculan directamente con los elementos del mapa y las fuentes bibliográficas, permitiendo a los usuarios verificar la información.

4. Resultados

• Rendimiento Perceptivo:
  • Las puntuaciones medias fueron: Precisión (4/5), Fiabilidad (4/5) y Concisión (3/5).
  • Tiempo de Respuesta: Existe una correlación negativa significativa; tiempos de respuesta más largos se asocian con percepciones de menor calidad.
  • Categorías de Tareas: Las tareas de "Resumir" obtuvieron las puntuaciones más altas. Las tareas de "Encontrar" mostraron una distribución más amplia y puntuaciones más bajas, sugiriendo dificultades en la recuperación precisa de elementos dentro del contexto del mapa.
• Calidad de la Respuesta:
  • Aciertos: El sistema es capaz de proporcionar resúmenes comprensivos y reconocer sus limitaciones cuando la información no está en el mapa.
  • Errores: Los fallos principales incluyen errores fácticos, no localizar contenido existente, "alucinaciones" (referencias a reacciones inexistentes) y problemas con sinónimos y nomenclatura (ej. nombres HGNC vs. abreviaturas comunes).
• Feedback General:
  • La usabilidad fue calificada como alta (>80% de puntuación 4 o 5).
  • Se identificó una variabilidad significativa en las respuestas para consultas similares (un problema conocido de los LLM), lo que afecta la fiabilidad percibida.
  • El 75% de los usuarios estimó que ahorra tiempo utilizar Llemy.

5. Significado y Conclusiones

• Potencial para la Ciencia Abierta: Llemy demuestra que los LLM pueden reducir la barrera de complejidad en el análisis de diagramas biológicos, actuando como una puerta de entrada para la exploración de bases de datos estructuradas.
• Necesidad de Desarrollo Continuo: El estudio subraya la importancia de mantener un ciclo de desarrollo impulsado por el usuario y la necesidad de transitar hacia modelos LLM de pesos abiertos (open-weight). Esto permitiría un control mayor sobre la reproducibilidad, la privacidad de los datos y la adaptación a entornos de investigación de código abierto, a pesar de los desafíos de infraestructura.
• Hoja de Ruta Futura: Se propone mejorar la arquitectura para reducir la latencia, implementar flujos de trabajo específicos por tarea, integrar funcionalidades directamente en la plataforma MINERVA mediante plugins y desarrollar benchmarks estandarizados para evaluar el rendimiento de diferentes modelos en tareas de biología de sistemas.

En resumen, el artículo valida la viabilidad de utilizar agentes de IA para interactuar con conocimiento biológico estructurado, pero destaca que la consistencia de las respuestas y la gestión de la terminología son áreas críticas que requieren mejoras técnicas y una evaluación continua por parte de la comunidad científica.