MyeGPT: an AI agent for Multiple Myeloma

MyeGPT es una aplicación de navegador impulsada por inteligencia artificial que permite a los investigadores de mieloma múltiple validar hipótesis y visualizar resultados del complejo conjunto de datos CoMMpass mediante la conversión de consultas en lenguaje natural en análisis automatizados y basados en datos, sin requerir habilidades de programación.

Lo esencial

Imagina que tienes una biblioteca masiva y extremadamente detallada de registros médicos para un tipo específico de cáncer de sangre llamado Mieloma Múltiple. Esta biblioteca, conocida como el estudio CoMMpass, contiene las "historias de vida" de 1.143 pacientes. Incluye sus síntomas, historial de tratamientos, composición genética y cuánto tiempo vivieron. Sin embargo, hay un inconveniente: esta biblioteca está escrita en un código secreto (lenguajes de programación informática complejos) que solo unos pocos bibliotecarios especializados (bioinformáticos) pueden leer. Para un médico o investigador habitual, intentar encontrar una respuesta específica, como "¿Los pacientes con una determinada mutación genética viven más tiempo?", es como intentar encontrar una aguja en un pajar mientras se llevan puestos guantes y vendas en los ojos.

Aquí entra en escena MyeGPT.

¿Qué es MyeGPT?

Piensa en MyeGPT como un bibliotecario superinteligente y bilingüe que ha memorizado toda la biblioteca CoMMpass. No necesitas conocer el código secreto para hablar con él. Puedes preguntarle simplemente en inglés claro, tal como le preguntarías a una persona: "Muéstrame las tasas de supervivencia para los pacientes que tuvieron una recaída después de su primer tratamiento", o "Compara la salud general de los pacientes con niveles altos versus normales de una proteína específica".

MyeGPT no solo adivina la respuesta. Actúa como un detective que:

1. Comprende tu pregunta.
2. Excava en la base de datos para encontrar las páginas exactas de datos necesarias.
3. Hace las matemáticas para calcular la respuesta.
4. Dibuja una imagen (un gráfico o diagrama) para mostrarte los resultados.

¿Cómo funciona?

Los investigadores construyeron a este "bibliotecario" utilizando un tipo de Inteligencia Artificial llamada IA Agente. A diferencia de un chatbot estándar que solo charla, un "agente" puede realmente hacer cosas.

• El Cerebro (LLM): Esta es la parte que entiende tu lenguaje y planifica los pasos para resolver el problema.
• Las Herramientas: MyeGPT tiene un conjunto de herramientas digitales. Cuenta con una "herramienta de búsqueda" para encontrar las definiciones correctas en el manual de la biblioteca, una "herramienta de base de datos" para ejecutar consultas complejas y una "herramienta de dibujo" para crear gráficos.
• La Memoria (Base de Conocimientos): Antes de comenzar, el equipo alimentó a MyeGPT con un manual de instrucciones de 52 páginas que explica exactamente qué significa cada columna en la base de datos. Esto asegura que no se confunda sobre a qué se refieren realmente términos como "respuesta al tratamiento" o "número de copias".

¿Funcionó? (La Prueba de Manejo)

Los investigadores no solo lo construyeron; lo sometieron a una prueba de manejo rigurosa para ver si era seguro y preciso.

1. La Prueba de Cultura General: Le hicieron a MyeGPT 20 preguntas difíciles que requerían matemáticas complejas y excavación de datos. Compararon sus respuestas contra un "estándar de oro" creado por expertos humanos.

   • El Resultado: La mejor versión de MyeGPT obtuvo una puntuación de 79,4 sobre 100. Fue lo suficientemente buena para ser útil, aunque no perfecta. Curiosamente, un modelo de IA más pequeño y económico funcionó casi tan bien como los gigantes y costosos, convirtiéndolo en una opción rentable.

2. La Prueba de "Reproducción": Le pidieron a MyeGPT que recreara estudios famosos que ya habían sido publicados por humanos.

   • El Resultado: MyeGPT reprodujo con éxito los hallazgos de dos estudios importantes. Calculó tasas de supervivencia y patrones de expresión génica que coincidían casi perfectamente con el trabajo de los investigadores humanos originales.

3. La Prueba de "Humano vs. Máquina": Pidieron tanto a MyeGPT como a expertos humanos que clasificaran a los pacientes en grupos de riesgo (Alto Riesgo vs. Riesgo Estándar).

   • El Resultado: El acuerdo entre la IA y los humanos fue increíblemente alto (96,5 %). Esto significa que la IA "piensa" de manera muy similar a un experto humano al analizar estos datos.

¿Qué puede hacer ahora mismo?

El documento muestra a MyeGPT manejando tres tipos de tareas:

• Simples: "¿Cuántos pacientes tomaron el fármaco X?" (Una búsqueda rápida).
• Medias: "¿Los pacientes con el Gen Y responden mejor al fármaco Z?" (Comparar dos conjuntos de datos diferentes).
• Complejas: "Escanea todo el código genético de los 1.143 pacientes para encontrar cualquier gen que pueda estar vinculado al fracaso del tratamiento". (Una búsqueda masiva a nivel de genoma).

Limitaciones Importantes (La Letra Pequeña)

Los autores son muy claros sobre lo que MyeGPT no es:

• No es un médico. No puedes preguntarle: "¿Debería darle este fármaco específico a este paciente específico?". El documento establece explícitamente que MyeGPT es solo para investigación y generación de hipótesis. Dado que la IA puede cometer errores y los datos provienen de un estudio observacional (no de un ensayo clínico controlado), sus consejos nunca deben utilizarse para tomar decisiones médicas reales para pacientes.
• Necesita un entorno de investigación. Está diseñado para ayudar a los científicos a explorar datos en sus portátiles o incluso en sus teléfonos inteligentes, pero aún no es una herramienta clínica para hospitales.

La Conclusión

MyeGPT es una herramienta de prueba de concepto que cierra la brecha entre conjuntos de datos médicos complejos y masivos y los investigadores que desean utilizarlos. Convierte una biblioteca que requiere un doctorado en ciencias de la computación para navegar en una interfaz de chat conversacional. Aunque no está listo para reemplazar a los médicos, actúa como un poderoso "copiloto" para los científicos, ayudándoles a hacer preguntas y encontrar respuestas en el vasto océano de datos del Mieloma Múltiple mucho más rápido que antes.

Resumen técnico

Resumen Técnico: MyeGPT – Un Agente de IA para el Mieloma Múltiple

Enunciado del Problema
El estudio CoMMpass del MMRF representa un recurso emblemático para la investigación del mieloma múltiple, que comprende datos clínicos y moleculares exhaustivos de 1.143 pacientes. Sin embargo, la complejidad del conjunto de datos, que incluye únicamente 763 campos clínicos junto con datos multi-ómicos (WGS, WES, RNA-seq, FISH), crea una curva de aprendizaje pronunciada para los investigadores. Las herramientas existentes, como el Laboratorio Virtual del MMRF o las bibliotecas de R (MMRFBiolinks, MMRFVariant), ofrecen alcances de análisis limitados que no pueden acomodar fácilmente la prueba de hipótesis transversales o consultas personalizadas. Además, los agentes de IA de propósito general enfrentan barreras en este dominio: carecen de acceso preconfigurado a conjuntos de datos de acceso controlado como CoMMpass, lo que a menudo requiere que los usuarios carguen datos sensibles, y tienen dificultades con la nomenclatura específica del campo y las relaciones semánticas inherentes al esquema de CoMMpass.

Metodología
Los autores desarrollaron MyeGPT (Myeloma Generative Pretrained Transformer), un sistema de IA agéntica especializado diseñado para funcionar como un "bioinformático de IA" para el mieloma múltiple.

• Arquitectura: MyeGPT utiliza el paradigma ReAct (Razonamiento y Actuación). Opera en ciclos alternos donde un Modelo de Lenguaje Grande (LLM) razona sobre una consulta en lenguaje natural del usuario, formula un plan y ejecuta acciones utilizando herramientas específicas.
• Infraestructura de Datos: El sistema se respalda en una base de datos PostgreSQL que contiene 17 tablas interconectadas derivadas de la versión IA22 de CoMMpass (y IA16a para translocaciones específicas). Esto incluye demografía clínica, respuestas al tratamiento, datos de supervivencia, variantes del exoma, variaciones en el número de copias y métricas derivadas como llamadas de cromotripsis y firmas mutacionales.
• Base de Conocimientos: Para cerrar la brecha entre las consultas en lenguaje natural y el esquema de la base de datos, los autores implementaron un sistema de Generación Aumentada por Recuperación (RAG). Un conjunto de documentación de 52 páginas que describe los campos de CoMMpass se indexa como un almacén de vectores de incrustación de texto. El agente recupera páginas de documentación relevantes basándose en la similitud de la consulta antes de intentar generar consultas SQL.
• Herramientas: MyeGPT emplea un conjunto de herramientas:
  • Búsqueda de Documentos: Recupera documentación de esquemas relevante mediante similitud vectorial.
  • Consulta SQL de LangChain: Genera y prueba consultas SQL con una cláusula LIMIT para evitar la hinchazón de tokens durante la depuración.
  • Consulta SQL en Python: Ejecuta consultas SQL validadas en un entorno Python aislado, guardando los resultados completos en el disco.
  • REPL de Python: Realiza análisis estadístico, gráficos y cálculos.
• Evaluación: Los autores construyeron el Conjunto de Pruebas Cuantitativas CoMMpass (CQTS), que comprende 20 preguntas de respuesta numérica categorizadas por dificultad (Simple, Intermedia, Compleja). Las métricas de evaluación incluyeron una puntuación compuesta de Precisión de Razonamiento (RAC) (ponderada tanto para el método como para la corrección de la respuesta) y la Puntuación Neta de Promotores (NPS). También evaluaron modelos de incrustación de texto para la precisión de la recuperación de documentos.

Contribuciones Clave

1. Agente de Conjunto de Datos Especializado: MyeGPT sirve como prueba de concepto para un agente "curador de conjuntos de datos" que posee conocimiento profundo y preconfigurado de un conjunto de datos biomédico específico y complejo, eliminando la necesidad de que los usuarios carguen datos o mapeen manualmente los nombres de los campos.
2. Estrategias de Optimización de Costos: Los autores detallan importantes optimizaciones de ingeniería para reducir el costo de la IA agéntica. Mediante el uso de RAG para recuperar solo las páginas de documentación necesarias y la imposición de un proceso SQL de dos pasos (depuración con LIMIT seguido de ejecución completa), redujeron el costo por ejecución de referencia de aproximadamente 10 $ a aproximadamente 0,10 $ (una reducción de ~100 veces).
3. Marco de Evaluación: El artículo introduce un protocolo de evaluación riguroso (CQTS) con criterios de puntuación que recompensan los pasos de razonamiento lógico, no solo las respuestas finales, lo que permite diferenciar entre modelos que fallan debido a límites de recursión y aquellos que fallan por falta de conocimiento.

Resultados

• Rendimiento de Referencia: En la Referencia de Respuesta Numérica, Claude Opus 4.5 de Anthropic logró la puntuación compuesta de Precisión de Razonamiento (mRAC) más alta de 0,794 y un NPS de +11, con cero respuestas de puntuación cero. Entre los modelos de OpenAI, el GPT-5 mini de bajo presupuesto tuvo un rendimiento competitivo (mRAC 0,681, NPS +6), ofreciendo un equilibrio favorable entre rendimiento y costo.
• Modelos de Incrustación: Para la recuperación de documentos, gemini-embedding-001 de Google y text-embedding-003-large de OpenAI (3072 dimensiones) demostraron un rendimiento superior (precisión en el primer intento ~67-68%) en comparación con modelos de menor dimensión.
• Reproducción de Hallazgos Conocidos:
  • Clasificación de Alto Riesgo Funcional (FHR): Cuando se le encargó clasificar a los pacientes en las categorías de Riesgo Estándar (SR), Riesgo Genómico Alto (GHR) y FHR, MyeGPT (utilizando varios LLM) mostró una alta fiabilidad inter-evaluador con expertos humanos. El acuerdo más alto fue entre Claude Sonnet 4.5 y un evaluador humano (κ de Cohen = 0,965).
  • Análisis de Subtipo PR: MyeGPT reprodujo con éxito los análisis de supervivencia y los resultados de expresión génica diferencial de la publicación de Skerget et al. (2024) sobre CoMMpass IA22. Si bien existían discrepancias menores (atribuidas a métodos de corrección de lotes y manejo de fechas censuradas), los tamaños del efecto y los valores p coincidían estrechamente con el estudio original.
• Escenarios Nuevos: El sistema ejecutó con éxito tareas que van desde consultas univariadas simples (por ejemplo, distribución de las razones de finalización del tratamiento) hasta pantallas genómicas complejas (por ejemplo, identificar mutaciones enriquecidas en pacientes FHR frente a pacientes SR y realizar regresión de Cox por gen).

Significado y Afirmaciones
El artículo sitúa a MyeGPT no como una herramienta de apoyo a la decisión clínica, sino como un motor de aceleración de la investigación. Los autores declaran explícitamente que, debido a la naturaleza no determinista de los LLM y al diseño observacional del estudio CoMMpass, la herramienta se limita al análisis exploratorio de datos y la generación de hipótesis.

El principal significado reclamado es la capacidad de reducir la barrera técnica para los investigadores de mieloma, permitiendo un análisis "sobre la marcha" a través de un navegador de teléfono inteligente sin requerir habilidades de programación. MyeGPT demuestra que la IA agéntica especializada puede navegar eficazmente conjuntos de datos biomédicos complejos y multimodales, transformando consultas en lenguaje natural en análisis estadísticos reproducibles y visualizaciones. Los autores alientan la creación de agentes especializados similares para otros conjuntos de datos (por ejemplo, TCGA) para democratizar el acceso a datos biomédicos a gran escala.