Longevity Bench: Are SotA LLMs ready for aging research?

Este artículo presenta LongevityBench, un conjunto de tareas diseñado para evaluar la capacidad de los modelos de lenguaje fundamentales para comprender la biología del envejecimiento e interpretar diversos tipos de datos biológicos, con el fin de determinar su utilidad en la investigación sobre la longevidad.

Lo esencial

¡Hola! Imagina que el envejecimiento es como un libro de recetas gigante y muy complejo que contiene la historia de cómo nuestro cuerpo cambia desde que nacemos hasta que nos hacemos mayores. Este libro está escrito en muchos idiomas diferentes: hay páginas con números (como análisis de sangre), otras con códigos genéticos (ADN), y otras con descripciones de cómo se sienten las células.

Hasta ahora, los científicos han intentado enseñarle a las Inteligencias Artificiales (IA) a leer este libro para ayudarnos a vivir más y mejor. Pero, ¿realmente las IAs más inteligentes del mundo entienden lo que leen, o solo están "adivinando" basándose en patrones superficiales?

Aquí es donde entra en escena "LongevityBench", el nuevo examen de la clase.

🧪 ¿Qué es LongevityBench?

Piensa en LongevityBench como un examen de conducir muy difícil, pero en lugar de probar si sabes conducir un coche, prueba si una IA sabe "conducir" la biología del envejecimiento.

Los creadores de este examen (un equipo de expertos en medicina y biología) diseñaron una serie de pruebas para ver si las IAs más famosas (como las de Google, OpenAI, Anthropic, etc.) realmente entienden cómo funciona el cuerpo humano al envejecer.

📝 Las Pruebas (El "Examen")

El examen no es una sola pregunta de "sí o no". Es una mezcla de diferentes tipos de retos, como si fuera un juego de video con varios niveles:

1. El Oráculo de la Vida: Se le da a la IA la historia clínica y los análisis de sangre de una persona y se le pregunta: "¿Vivirá esta persona más de 10 años?".
2. La Carrera de Mutaciones: Se le muestran dos versiones modificadas de un ratón o una mosca (con genes cambiados) y se le pregunta: "¿Cuál de los dos vivirá más tiempo?".
3. El Detective del ADN: Se le muestran patrones químicos en el ADN (como huellas dactilares de la edad) y se le pide que adivine la edad de la persona.
4. El Traductor de Células: Se le dan listas de genes o proteínas y se le pide que complete la lista o prediga qué otras están activas.

🏆 Los Resultados: ¿Quién aprobó?

Después de poner a 15 de las IAs más potentes del mundo a prueba, los resultados fueron una mezcla de sorpresas y decepciones:

• Los "Alumnos Ejemplares": Las IAs de Google (Gemini 3 Pro) y OpenAI (GPT-5) obtuvieron las mejores notas generales. Fueron como los estudiantes que sacaron un 9 en matemáticas y un 8 en historia.
• Los "Especialistas": Algunas IAs fueron geniales en un área pero malas en otra. Por ejemplo, una IA fue excelente adivinando quién sobreviviría al cáncer, pero otra fue terrible adivinando la edad basada en proteínas.
• El Problema de la "Memorización": Aquí viene lo más interesante. Las IAs a menudo fallaban cuando cambiaba la forma de hacer la pregunta.
  • La analogía: Imagina que le preguntas a un estudiante: "¿Quién es más alto, Juan o Pedro?" y responde correctamente. Pero si le preguntas "¿Quién es más bajo?", se confunde y falla. Esto sugiere que las IAs no tienen una comprensión profunda de la biología (como un humano que entiende la lógica), sino que están adivinando patrones basados en cómo se les formuló la pregunta.

🚧 Los "Puntos Ciegos" (Donde fallan)

El examen reveló algunos problemas graves:

1. El miedo a la muerte: Cuando se les pedía a las IAs que predijeran exactamente cuántos meses viviría alguien, tendían a ser demasiado pesimistas. Si una persona tenía una enfermedad grave, la IA asumía que moriría pronto, ignorando que a veces la gente se recupera y vive muchos años más. Es como si el IA pensara: "Tiene gripe, ¡seguro muere mañana!".
2. El idioma de las proteínas: Las IAs entendían bastante bien el lenguaje de los genes (ADN), pero se perdían completamente cuando se trataba de proteínas (las piezas de trabajo de las células). Fue como pedirles que hablaran en un idioma que apenas conocían.
3. La dependencia del formato: Si cambiabas un poco la pregunta, el resultado cambiaba drásticamente. Esto significa que aún no son "compañeros de investigación" totalmente fiables, porque no tienen una "brújula interna" de la biología.

💡 ¿Qué significa esto para el futuro?

El mensaje principal de este estudio es: "¡Cuidado con confiar ciegamente!".

Las IAs actuales son herramientas increíbles que pueden ayudar a los científicos a escribir código, buscar información o hacer borradores. Pero aún no están listas para tomar decisiones médicas finales o para descubrir nuevos secretos sobre el envejecimiento por sí solas.

Los autores proponen usar este examen (LongevityBench) no solo para ver quién gana, sino para entrenar a las IAs. Es como un gimnasio para la inteligencia artificial: si les damos más ejercicios de biología real, quizás en el futuro tendremos IAs que realmente entiendan la vida, no solo que imiten sus patrones.

En resumen: Las IAs son estudiantes muy inteligentes que han memorizado muchos libros de texto, pero aún necesitan aprender a pensar como biólogos antes de que podamos confiarles la llave de la inmortalidad. 🧬🤖

Resumen técnico

Resumen Técnico: LongevityBench

1. El Problema

El envejecimiento es un proceso biológico universal e informativo que abarca múltiples capas organizativas y tipos de datos (ómicos, clínicos, genéticos). Aunque los modelos de aprendizaje profundo se han utilizado durante una década en investigación sobre el envejecimiento (relojes de envejecimiento, descubrimiento de biomarcadores), la reciente adopción de Modelos de Lenguaje Grandes (LLM) de propósito general en flujos de trabajo científicos plantea una pregunta crítica: ¿Poseen estos modelos una comprensión interna coherente de la biología del envejecimiento o simplemente memorizan correlaciones superficiales?

Hasta la fecha, no existía un marco de evaluación sistemático para determinar si los LLMs comerciales pueden interpretar datos biológicos de bajo nivel (como perfiles de metilación o transcriptomas) y derivar conclusiones a nivel de fenotipo (como la supervivencia o la edad cronológica) en el contexto del envejecimiento. La falta de tales benchmarks genera incertidumbre sobre la fiabilidad de estos modelos como compañeros de investigación.

2. Metodología

Los autores presentan LongevityBench, un marco de evaluación integral diseñado para probar la competencia de los LLMs en biología del envejecimiento.

• Construcción del Dataset:

  • Se agregaron datos de 7 fuentes públicas diversas (NHANES-IV, Open Genes, Synergy Age, TCGA, GEO, GTEx, y datos de proteómica Olink).
  • Se generaron 30,193 prompts (aprox. 50 millones de tokens) cubriendo múltiples modalidades de datos: transcriptómica, metilación del ADN, proteómica, genómica, pruebas clínicas de sangre y anotaciones de lenguaje natural.
  • Las tareas se estructuraron en varios formatos para evaluar la robustez semántica:
    • Clasificación binaria/multiclase: (ej. ¿Sobrevivirá >10 años? ¿Qué grupo de edad?).
    • Comparación por pares: (ej. ¿Qué individuo vive más tiempo?).
    • Regresión: (ej. Predicción exacta de tiempo hasta la muerte en meses).
    • Generativa: (ej. Completar listas de genes altamente expresados).

• Modelos Evaluados:

  • Se probaron 15 LLMs de vanguardia (SotA) de cinco proveedores principales: OpenAI (GPT-4.1, GPT-5, o3, etc.), Google (Gemini 2.5/3), Anthropic (Claude Sonnet 4.5), xAI (Grok) y DeepSeek.
  • Las métricas de rendimiento variaron según la tarea: Exactitud (Accuracy) para clasificación, Error Absoluto Medio (MAE) para regresión y Índice de Jaccard para tareas generativas.

• Marco de Entrenamiento (MMAI Gym):

  • LongevityBench se integra en el "MMAI Gym for Science", un pipeline iterativo que utiliza ajuste fino supervisado (SFT) y por refuerzo (RFT) para alinear los modelos con la verdad empírica biológica.

3. Contribuciones Clave

1. Primer Benchmark Específico para Envejecimiento: LongevityBench es la primera evaluación estandarizada que cubre múltiples modalidades de datos biológicos y escalas (desde moléculas hasta fenotipos de supervivencia) para evaluar LLMs en biogerontología.
2. Análisis de Dependencia del Formato: El estudio demuestra que el rendimiento de los modelos es altamente sensible al formato de la pregunta (binario vs. par vs. regresión), revelando inconsistencias en su "comprensión" biológica.
3. Líderes y Lagunas de Competencia: Identifica qué modelos dominan en qué dominios específicos, proporcionando una guía práctica para investigadores que buscan herramientas de IA.
4. Infraestructura para el Desarrollo Futuro: Establece una base para entrenar modelos de IA de próxima generación que comprendan la realidad biológica en lugar de solo realizar coincidencia de patrones.

4. Resultados Principales

• Rendimiento General:

  • Gemini 3 Pro (Google) se posicionó como el mejor modelo global con un rango promedio de 5.00, seguido por GPT-5 y o3 (OpenAI) con 5.06.
  • No existe un modelo único que domine todas las tareas; el rendimiento varía drásticamente según la modalidad de datos.

• Desempeño por Modalidad:

  • Datos Clínicos (NHANES): Los modelos obtuvieron excelentes resultados en clasificación binaria (predicción de supervivencia >10 años, con exactitud >0.88 para los mejores), pero el rendimiento cayó a niveles cercanos al azar en comparaciones por pares.
  • Supervivencia al Cáncer (TCGA): Claude Sonnet 4.5 lideró en esta tarea (0.697 de exactitud), destacando su capacidad para interpretar datos de expresión génica en tumores.
  • Ómicas (Transcriptómica y Metilación): Los modelos mostraron dificultades significativas. En comparaciones por pares de edad basadas en transcriptomas, el rendimiento fue indistinguible del azar (0.48–0.55). Sin embargo, en tareas de clasificación multiclase (predicción de rango de edad), el rendimiento mejoró, sugiriendo que los patrones están codificados pero no se extraen bien en formatos comparativos.
  • Proteómica: Fue el dominio más desafiante. La generación de perfiles proteicos mostró un rendimiento muy bajo (Índice de Jaccard < 0.03), probablemente debido a la escasez de datos de proteómica en los corpus de entrenamiento y a la falta de correlación directa con niveles de ARN.

• Sesgos y Limitaciones Detectadas:

  • Compresión de Regresión: En tareas de predicción de tiempo hasta la muerte (TTD), los modelos tendieron a subestimar sistemáticamente la supervivencia a largo plazo, comprimiendo las predicciones hacia el rango de 50-100 meses, ignorando casos de supervivencia prolongada (>250 meses).
  • Inestabilidad por Formato: Un modelo puede ser el mejor en una tarea binaria y el peor en una tarea de pares con los mismos datos subyacentes (ej. Gemini 3 Flash vs. Gemini 3 Pro en tareas de supervivencia). Esto indica una falta de comprensión causal coherente.
  • Uso de Contexto: Algunos modelos (como o3) mantuvieron un rendimiento estable independientemente de si se proporcionaba contexto biológico adicional (anotaciones GO), sugiriendo que ya internalizaron esa información durante su entrenamiento, mientras que otros mejoraron significativamente con más contexto.

5. Significado e Implicaciones

• Para la Comunidad Científica: LongevityBench actúa como una herramienta de calibración de confianza. Los investigadores deben seleccionar modelos específicos para tareas específicas (ej. Claude para cáncer, Gemini para datos clínicos generales) y no confiar en rankings generales.
• Advertencia de Uso: Los LLMs actuales no deben considerarse herramientas definitivas para la toma de decisiones clínicas o biológicas sin validación experimental, especialmente en tareas generativas o de regresión donde los sesgos sistemáticos son evidentes.
• Futuro de la IA en Biología: El benchmark subraya la necesidad de entrenar modelos específicos para ciencias de la vida que integren representaciones biológicas coherentes. LongevityBench servirá como un objetivo de entrenamiento para cerrar las brechas de competencia identificadas, moviendo la IA desde la "memorización de hechos" hacia la "comprensión de mecanismos biológicos".

En conclusión, aunque los LLMs de vanguardia muestran potencial prometedor en tareas de clasificación clínica, aún no están listos para operar de manera autónoma en la investigación del envejecimiento debido a su inconsistencia en la interpretación de datos ómicos complejos y su falta de robustez frente a variaciones en el formato de las preguntas.