Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment
Este artículo presenta un marco de evaluación de LLM-como-Juez alineado con humanos para el sistema de descubrimiento de fármacos agéntico ChatInvent, el cual define dimensiones de calidad específicas, valida y optimiza un modelo juez mediante la anotación de expertos para lograr una alta alineación, y revela que el fraseo informal no impide el rendimiento.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de alto riesgo del descubrimiento de fármacos, los científicos pasan años diseñando moléculas, construyéndolas en el laboratorio y probándolas para ver si pueden curar enfermedades. Este proceso es lento, costoso y está lleno de decisiones complejas. Recientemente, un nuevo tipo de inteligencia artificial ha entrado en escena: sistemas que no solo responden preguntas, sino que toman medidas. Estos se denominan sistemas agénticos. A diferencia de un chatbot estándar que simplemente genera texto, un agente puede planificar un experimento de varios pasos, recurrir a software especializado para calcular propiedades químicas y recuperar datos de vastas bases de datos científicas. Actúa más como un asistente de investigación digital que realmente puede hacer el trabajo, no solo hablar de él. Sin embargo, a medida que estos asistentes digitales se vuelven más capaces, surge un problema crítico: ¿cómo sabemos si están haciendo un buen trabajo? Las formas tradicionales de calificar las respuestas de las computadoras, que a menudo dependen de comparar palabras con una respuesta correcta, fallan cuando la tarea es abierta y creativa. Además, pedir a expertos humanos que califiquen cada una de las salidas es demasiado lento para seguir el ritmo de estas nuevas máquinas. La comunidad científica necesitaba una forma de evaluar estos agentes que fuera tanto rápida como confiable.
Un equipo de investigadores de AstraZeneca y la Universidad de Gotemburgo abordó este desafío construyendo un sistema donde una inteligencia artificial actúa como juez de otra. Se centraron en una herramienta específica llamada ChatInvent, un asistente agéntico diseñado para ayudar a los científicos a navegar por las etapas del desarrollo de fármacos. Los investigadores sabían que dejar que una IA se calificara a sí misma era arriesgado, ya que estos modelos pueden ser sesgados o inconsistentes. Para resolver esto, diseñaron un marco de prueba riguroso para asegurar que la IA "juez" estuviera de acuerdo con los expertos humanos. Definieron cuatro cualidades específicas que una buena respuesta debe tener: si la respuesta era completa, si la información era relevante para la pregunta, qué tan clara y bien organizada estaba la estructura del texto, y si el agente se mantenía dentro de su rol asignado sin intentar hacer cosas que no debía hacer. También incluyeron una verificación estricta para ver si el agente utilizaba las herramientas informáticas correctas para realizar el trabajo.
Para encontrar al mejor juez, el equipo probó cuatro modelos de IA diferentes y potentes, incluyendo opciones de grandes empresas tecnológicas y proyectos de código abierto. Pidieron a cinco expertos en química e inteligencia artificial que calificaran un conjunto de 35 preguntas y respuestas. Estos expertos recibieron las mismas instrucciones e información que los jueces de IA. Luego, los investigadores compararon las puntuaciones dadas por los humanos contra las puntuaciones dadas por cada modelo de IA. Encontraron que, si bien los expertos humanos no siempre estaban de acuerdo entre sí perfectamente, los modelos de IA eran sorprendentemente consistentes. Un modelo, en particular, se alineó muy de cerca con la opinión mayoritaria de los humanos. Los investigadores luego utilizaron un pequeño conjunto de ejemplos, anotados por los expertos humanos, para perfeccionar (fine-tune) este juez de IA con mejor desempeño. Este proceso, conocido como optimización, mejoró la capacidad del juez para coincidir con el pensamiento humano, elevando su puntuación de acuerdo del 80% al 86%.
Con un juez confiable en su lugar, el equipo evaluó 70 preguntas nuevas que el sistema ChatInvent nunca había visto antes. Los resultados revelaron tanto fortalezas como debilidades en el desempeño del agente. El sistema era excelente para mantenerse en el tema, organizar sus respuestas con claridad y utilizar las herramientas adecuadas para recopilar información. Sin embargo, tenía dificultades con la completitud. En casi el 40% de los casos, el agente proporcionaba una respuesta parcial, olvidando a menudo incluir detalles específicos como dónde encontrar un archivo generado o una propiedad química solicitada. Los investigadores descubrieron que esto no se debía a que el agente malinterpretara la pregunta, sino a que a veces fallaba al ejecutar un paso final en su flujo de trabajo. Curiosamente, la forma en que se hacía la pregunta marcaba la diferencia. El equipo probó preguntas que variaban desde lo muy formal hasta lo muy casual. Encontraron que el fraseo excesivamente formal no ayudaba al agente a desempeñarse mejor; de hecho, un fraseo ligeramente más informal o neutral a veces conducía a mejores resultados. Esto sugiere que el agente podría beneficiarse de tener su propio sistema interno que reescriba el prompt rígido o complejo de un usuario en una versión más clara antes de comenzar a trabajar.
El estudio concluye que, si bien estos sistemas agénticos poseen una gran promesa para acelerar el descubrimiento de fármacos, aún no son perfectos. Los investigadores demostraron que es posible construir un sistema de evaluación robusto y automatizado que refleje el juicio humano, siempre que el juez esté cuidadosamente alineado con las opiniones de los expertos. Este enfoque permite a los desarrolladores identificar rápidamente dónde están fallando sus agentes —como en la omisión de rutas de archivos o datos incompletos— sin necesidad de contratar a un equipo de calificadores humanos para cada prueba. El trabajo sirve como un plano para el futuro, mostrando que para que la inteligencia artificial sea verdaderamente útil en la ciencia, primero debemos enseñarle cómo calificar su propio trabajo con el mismo cuidado y precisión que usaría un experto humano.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.