🤖 AI

TxBench-PP: Analyzing AI Agent Performance on Small-Molecule Preclinical Pharmacology

Este artículo presenta TxBench-PP, un referente verificable para evaluar agentes de IA en tareas de farmacología preclínica de moléculas pequeñas utilizando datos de ensayos del mundo real, revelando que incluso los modelos más avanzados actuales fallan al recuperar de manera confiable decisiones preclínicas precisas.

Autores originales: Hannah Le, Ramesh Ramasamy, Alex Urrutia, Mahsa Yazdani, Tim Proctor, Kenny Workman

Publicado 2026-06-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hannah Le, Ramesh Ramasamy, Alex Urrutia, Mahsa Yazdani, Tim Proctor, Kenny Workman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un equipo de asistentes de investigación impulsados por IA, súper inteligentes, para ayudarte a decidir qué nuevos medicamentos construir. Tienes una pila masiva de datos desordenados del mundo real provenientes de laboratorios —gráficos, fotos de microscopio y resultados de pruebas químicas— y necesitas que estos asistentes miren la evidencia y te digan: "Este fármaco parece prometedor, sigamos adelante con él", o "Este es peligroso o inútil, deséchemoslo".

Este artículo, TxBench-PP, es una boleta de calificaciones sobre qué tan bien se desempeñaron estos asistentes de IA en ese trabajo específico.

La Gran Idea: Un "Examen de Conducir" para la IA

Los autores crearon una prueba especial llamada TxBench-PP. Piensa en esto como un examen de conducir, pero en lugar de un coche, la IA está conduciendo un programa de descubrimiento de fármacos.

La Trampa: No se limitaron a pedirle a la IA que recitara hechos de un libro de texto (como "¿Qué hace la aspirina?"). Eso es fácil para la IA porque han memorizado internet.
El Verdadero Desafío: Le dieron a la IA una carpeta nueva y desordenada de datos frescos de un experimento de laboratorio real y le preguntaron: "Basándote únicamente en estos números e imágenes específicos, ¿qué deberíamos hacer?".
El Objetivo: Ver si la IA puede actuar como un científico que observa la evidencia, o si simplemente adivina basándose en lo que recuerda de su entrenamiento.

Los Resultados: La IA es Todavía un Novato

Los investigadores probaron 16 combinaciones diferentes de modelos de IA (los "cerebros") y herramientas de software (las "manos"). Ejecutaron la prueba 4,800 veces en total.

Aquí está el veredicto: La IA aún no está lista para conducir sola.

La Mejor Puntuación: El sistema de IA con mejor desempeño obtuvo aproximadamente un 59% de las respuestas correctas. En un salón de clases, esa es una nota reprobatoria. En una empresa farmacéutica real, equivocarse 4 de cada 10 veces es peligroso porque podría significar desperdiciar millones de dólares o, peor aún, avanzar con un fármaco peligroso.
El Golpe de Realidad: Incluso la IA más "inteligente" no logró obtener la respuesta correcta en la misma tarea tres veces seguidas. Era inconsistente.

¿Dónde se Equivocó la IA?

Los autores examinaron de cerca los errores y descubrieron que la IA no solo estaba "olvidando" cosas. Estaba cometiendo tipos específicos de errores científicos:

La Trampa del "Libro de Texto": A veces, la IA veía una imagen de una célula muriendo e ignoraba los datos reales frente a ella. En su lugar, recordaba una historia famosa de un libro de texto sobre un fármaco diferente y aplicaba esa historia aquí. Ignoró la evidencia para encajar con una narrativa ya escrita.
Malas Matemáticas y Malos Filtros: La IA a menudo fallaba en el "control de calidad". Imagina a un científico mirando un gráfico y diciendo: "Oh, ese pico extraño es solo un error técnico, lo ignoraré", cuando en realidad, ese pico era la parte más importante de los datos. La IA frecuentemente descartaba datos importantes o mantenía datos basura.
El Problema del "Todo o Nada": Cuando se le pedía elegir el mejor fármaco de una lista de 10, la IA a menudo elegía el que parecía "aceptable" pero pasaba por alto el que era verdaderamente excelente, o elegía uno peligroso porque parecía activo. Le costaba tomar la decisión difícil de "matar este proyecto" frente a "avanzar este proyecto".

El "Instrumento" Importa

Un hallazgo interesante fue que el software que la IA utilizaba para realizar el trabajo importaba tanto como la propia IA.

Piensa en la IA como un chef brillante.
El Arnés A le dio al chef un cuchillo afilado y una tabla de cortar limpia.
El Arnés B le dio al mismo chef un cuchillo de mantequilla desafilado y una tabla sucia.
El chef con las buenas herramientas (llamado "Pi" en el artículo) cocinó platos mucho mejores que el mismo chef con las malas herramientas, a pesar de que el "chef" (el modelo de IA) era idéntico.

La Conclusión Final

Este artículo es un golpe de realidad. Aunque la IA promete acelerar el descubrimiento de fármacos, todavía no se le puede confiar la toma de decisiones críticas de "ir/no ir" por sí sola.

Los agentes de IA actuales son como pasantes que son muy buenos leyendo el manual, pero que aún necesitan a un científico sénior que vigile sus hombros, revise sus matemáticas y se asegure de que no están ignorando la realidad desordenada de los datos del laboratorio. Son útiles, pero aún no son lo suficientemente confiables como para dirigir el espectáculo.

Resumen Técnico: TxBench-PP

Planteamiento del Problema

Los agentes de inteligencia artificial (IA) prometen acelerar el descubrimiento de fármacos al comprimir los ciclos de interpretación y toma de decisiones. Sin embargo, el despliegue práctico de estos agentes en flujos de trabajo industriales se ve obstaculizado por la falta de métodos de evaluación estandarizados y confiables. Los benchmarks actuales para agentes biológicos suelen enfatizar tareas de análisis verificables, pero tienen dificultades para capturar la complejidad del ecosistema del descubrimiento de fármacos, el cual abarca diversas categorías de ensayos, etapas de desarrollo y modalidades terapéuticas.

Específicamente, la farmacología de moléculas pequeñas en la etapa preclínica involucra decisiones críticas sobre potencia, interacción con el objetivo (target engagement), mecanismo de acción (MoA), farmacodinamia (PD), seguridad y eficacia in vivo. Estas decisiones determinan si un candidato molecular avanza, se retiene, se repite o se descarta. Tales decisiones suelen ser previas a experimentos costosos y dependen de un juicio experto fragmentado. Un desafío significativo es distinguir si un agente puede derivar conclusiones precisas a partir de los datos del mundo real suministrados frente a depender de hechos de la literatura memorizados o mecanismos bien conocidos. Los sistemas actuales carecen de una verificación fiable sobre decisiones de programas realistas derivadas de datos brutos de ensayos.

Metodología

Los autores presentan TxBench-PP (TherapeuticsBench Preclinical Pharmacology), un benchmark verificable diseñado para evaluar agentes de IA en farmacología preclínica de moléculas pequeñas. Sirve como una sección enfocada de la hoja de ruta más amplia de TherapeuticsBench.

Construcción del Benchmark

Alcance: El benchmark consta de 100 evaluaciones indexadas por etapa del programa, tipo de ensayo y estructura de la tarea. Cubre ocho etapas del programa: contexto de enfermedad/modelo, cribado/confirmación de hits, respuesta a fármacos/farmacogenómica, validación de objetivos causales, MoA/PD, caracterización compuesto-objetivo, desarrollabilidad/seguridad/PK, y eficacia traslacional. (El soporte de objetivos genéticos humanos se reserva para trabajos futuros).
Datos y Contexto: Cada evaluación proporciona artefactos de flujo de trabajo realistas (por ejemplo, cribados de dosis-respuesta, proteómica, imágenes, datos de DMPK) de un punto de decisión local específico. Los agentes operan en un entorno de codificación para inspeccionar archivos.
Diseño de Tareas: Las tareas están diseñadas intencionalmente para penalizar las soluciones memorizadas. La respuesta pretendida debe estar sustentada estrictamente por los artefactos de datos suministrados, no por conocimiento externo. Muchas tareas incluyen "brechas de bloqueo de decisión" (por ejemplo, desajuste de especie de toxicidad, cobertura insuficiente de fármaco libre) que están ocultas para el agente pero se utilizan para el análisis de fallos post-hoc.
Calificación: Las respuestas están estructuradas y se califican de manera determinista. Los evaluadores comprueban conjuntos de etiquetas, tolerancias numéricas, relaciones de orden de rango y elecciones categóricas. Una trayectoria solo pasa si la respuesta estructurada final satisface todos los criterios específicos de la tarea.

Configuración Experimental

Modelos y Harnesses: El estudio evaluó 16 configuraciones de modelo-harness, que comprenden 11 modelos distintos (incluyendo Claude Opus 4.6–4.8, GPT-5.4–5.5, Gemini 3.1 Pro–3.5 Flash, Kimi K2P6, Grok 4.20–4.3 y Sonnet 4.6) a través de tres harnesses de agentes: Pi, Claude Code y OpenAI Codex.
Ejecución: Cada configuración se ejecutó en las 100 tareas con tres intentos independientes, generando 4,800 trayectorias de agentes.
Análisis: Los autores realizaron revisiones manuales de trayectorias fallidas en 1,834 casos para categorizar los errores en brechas de juicio científico (método, calibración, percepción) y problemas de comportamiento (sobreajuste, falta de inversión).

Resultados Clave

Rendimiento General

Ningún sistema recuperó de manera fiable las decisiones de farmacología preclina. Incluso la configuración más fuerte, Claude Opus 4.8 / Pi, logró una tasa de éxito final del 59.3% (178/300; IC del 95%, 51.1–67.6). El segundo mejor, GPT-5.5 / Pi, aprobó el 55.3% (166/300).

Fiabilidad: La configuración superior falló en 122 de 300 intentos y aprobó solo 41 de 100 tareas en las tres réplicas.
Intervalos de Confianza: Los intervalos de confianza de los mejores modelos se solapan, lo que indica un "grupo de cabeza" en lugar de un único ganador claro.

Análisis de Errores

La revisión manual de los fallos reveló que la mayoría de los errores fueron brechas legítimas en el juicio científico más que simples fallos de recuperación de datos:

Errores Científicos (71% de los fallos asignables): Dominados por errores de método (omisión de QC, elecciones estadísticas incorrectas, capas de datos erróneas) y errores de calibración (umbrales inapropiados).
Patrones de Comportamiento: El 67% de los fallos involucró a agentes que interactuaron con los datos y realizaron análisis plausibles pero llegaron a conclusiones incorrectas. Solo el 12% abandonó respuestas correctas y el 9% dependió de literatura memorizada.
Recuento de Pasos: El aumento del esfuerzo (recuento de pasos) no correlacionó de manera fiable con la precisión. Por ejemplo, Gemini 3.5 Flash realizó la mayor cantidad de pasos (55.0) pero logró una tasa de éxito menor (51%) que los modelos con menos pasos.

Rendimiento por Tarea y Etapa

Etapas del Programa: Las tasas de éxito variaron significamente según la etapa, oscilando entre el 27% en la priorización de hits/cribado y el 55% en la respuesta a fármacos.
Tipos de Tarea:
- Alto Rendimiento: Las tareas de exposición/PK y descubrimiento de biomarcadores promediaron tasas de éxito de ~57%. Estas suelen requerir valores calculados o llamadas binarias.
- Bajo Rendimiento: Las tareas de priorización de hits y quimioinformática promediaron ~24%. Estas requerían seleccionar un subconjunto defendible de entre muchos candidatos plausibles. Ningún modelo superó el 45% en estas tareas.
Decisiones de Programa: En decisiones complejas de "avanzar/retener" que requieren la síntesis de múltiples endpoints, los modelos pasaron solo el 35% de los intentos. Notablemente, las puntuaciones generales del benchmark no predijeron el rendimiento en estas decisiones de programa específicas (Spearman $\rho$ = 0.08).

Impacto del Harness

La elección del harness del agente influyó significitivamente en el rendimiento. Dentro de la misma familia de modelos, el harness Pi superó consistentemente a Claude Code y OpenAI Codex (por ejemplo, +4.4 a +5.5 puntos porcentuales). Esto sugiere que las puntuaciones reportadas son propiedades de la configuración modelo-harness, no del modelo por sí solo.

Significancia y Reclamaciones

El artículo afirma que TxBench-PP proporciona una "vara de medir" necesaria para evaluar sistemas agénticos en decisiones locales de farmacología preclínica.

Estado Actual: Aunque los agentes pueden completar algunas tareas correctamente, no son todavía fiables como asistentes científicos para la farmacología preclínica. Con frecuencia fallan al distinguir artefactos técnicos de señales biológicas y tienen dificultades con la toma de decisiones calibrada en escenarios complejos de evidencia múltiple.
Limitación de Alcance: Los autores declaran explícitamente que TxBench-PP es un benchmark enfocado en la farmacología preclínica de moléculas pequeñas. No debe utilizarse para realizar afirmaciones generales sobre otras áreas como el soporte de objetivos genéticos humanos, la selección de modelos de enfermedad completa, la traslación clínica o modalidades de no moléculas pequeñas (ej. biológicos, oligonucleótidos).
Dirección Futura: Este trabajo establece una base para la hoja de ruta más amplia de TherapeuticsBench, con planes futuros para extenderse hacia tareas clínicas, verticalmente hacia la farmacogenómica y a través de diversas modalidades hacia anticuerpos, terapias celulares y terapias génicas.

En resumen, el artículo concluye que queda un trabajo sustancial antes de que los agentes de IA puedan integrarse de manera fiable y reproducible en los flujos de trabajo de la biología preclínica, ya que los sistemas actuales exhiben brechas significativas en el juicio científico y en la robustez de la toma de decisiones.