En un laboratorio, un científico rara vez sigue una receta impresa exactamente como está escrita. El mundo de la biología de laboratorio húmedo está definido por la adaptación. Un protocolo, que es simplemente un conjunto detallado de instrucciones para un experimento, es a menudo un punto de partida. Cuando un investigador traslada ese experimento a un nuevo tipo de célula, a una máquina diferente o a un entorno químico ligeramente distinto, debe modificar los pasos. Esto no se trata solo de cambiar un número; se trata de comprender cómo un cambio repercute en el resto del proceso. Si un científico altera la temperatura en el primer paso, es posible que deba ajustar el tiempo en el tercer paso, o cambiar un producto químico en el último. Hacer esto correctamente requiere una comprensión profunda y práctica de la causa y el efecto, donde un pequeño error en la mitad puede arruinar los resultados al final. Durante décadas, este tipo de razonamiento ha sido una habilidad puramente humana, que depende de la experiencia y la intuición que las computadoras han luchado por imitar.

Investigadores de Benchling, una empresa que construye software para científicos, han creado una nueva forma de probar si la inteligencia artificial puede dominar este tipo específico de pensamiento. Introdujeron una prueba llamada BenchBench-Protocol. En lugar de pedirle a una computadora que resuelva un problema inventado o recite hechos de un libro de texto, le dieron un desafío del mundo real: tomar un protocolo científico publicado y modificarlo para una nueva situación, tal como lo haría un científico humano. El equipo no inventó estos desafíos desde cero. Observaron miles de experimentos reales realizados por científicos reales en la plataforma Benchling. Encontraron instancias donde un científico tomó un protocolo estándar y publicado y lo cambió para adaptarse a sus necesidades específicas. Al comparar las instrucciones originales con la versión modificada por el científico, los investigadores extrajeron la lógica exacta que utilizó el humano. Luego, convirtieron estos cambios de la vida real en 149 preguntas de prueba distintas. Cada pregunta pide a una inteligencia artificial que explique cómo adaptaría un protocolo y, crucialmente, que justifique por qué esos cambios son necesarios.

Para asegurar que estas pruebas fueran justas y precisas, los investigadores no dependieron de computadoras para calificar las respuestas. Convocaron a expertos humanos. Cada una de las 149 tareas fue revisada por científicos que poseen títulos avanzados y han trabajado al menos tres años en un laboratorio. Estos expertos verificaron que las preguntas tuvieran sentido, que las reglas para una respuesta correcta fueran científicamente sólidas y que la tarea realmente reflejara el tipo de trabajo que realiza un científico real. Mantuvieron solo las tareas que recibieron las calificaciones más altas de calidad y relevancia. El conjunto final cubre nueve áreas diferentes de la biología, desde el trabajo con proteínas y células hasta la secuenciación de ADN y el cultivo de microbios. El objetivo era crear un referente que mida si una máquina puede razonar a través de las consecuencias derivadas de un cambio, en lugar de simplemente adivinar la respuesta correcta.

Los investigadores pusieron entonces a prueba nueve modelos diferentes de inteligencia artificial. Estos modelos recibieron el protocolo original, una descripción del nuevo objetivo experimental y acceso a herramientas de búsqueda para encontrar información. Se les pidió que escribieran una respuesta de texto libre explicando cómo modificar el protocolo. Las respuestas fueron calificadas contra las reglas verificadas por expertos. Los resultados mostraron que, si bien estos modelos han progresado significámente, aún tienen un largo camino por recorrer. El modelo con mejor desempeño, Claude Opus 5, logró una puntuación del 59.2 por ciento. Esto significa que abordó correctamente los cambios necesarios y sus consecuencias en poco más de la mitad de los casos. Los otros modelos puntuaron entre el 34.1 por ciento y el 47.1 por ciento. Incluso el mejor de los modelos dejó una gran cantidad de crédito sin ganar, lo que indica que la prueba es difícil y que los modelos aún no son perfectos.

El estudio también analizó qué sucede cuando se le permite a un modelo intentar la misma pregunta varias veces, simulando a un científico que podría realizar una simulación o revisar algunas opciones diferentes antes de decidir. Cuando los investigadores tomaron la mejor respuesta de diez intentos, las puntuaciones mejoraron, pero la brecha entre los modelos cambió. Algunos modelos que eran promedio en un solo intento se volvieron mucho más fuertes cuando se les dieron múltiples oportunidades, mientras que otros se mantuvieron constantes. Esto sugiere que diferentes modelos tienen diferentes fortalezas; algunos son más confiables, mientras que otros son más propensos a producir una respuesta brillante si tienen suerte. Sin embargo, incluso con diez intentos, el mejor modelo todavía no capturó todos los puntos disponibles, demostrando que el benchmark aún no está "saturado" o es demasiado fácil para la tecnología actual.

Los investigadores encontraron que los modelos se desempeñaron de manera diferente dependiendo del tipo de tarea. Fueron relativamente buenos en tareas que requerían observar evidencia experimental y extraer una conclusión lógica. Sin embargo, tuvieron más dificultades con tareas que requerían "conocimiento tácito", el tipo de presentimiento o intuición que tiene un experto sobre cuál es el enfoque más probable o mejor en una situación real y desordenada. Esto fue particularmente evidente en la resolución de problemas, donde un modelo necesita determinar por qué falló un experimento y cómo solucionarlo. Los modelos también variaron en cuánto utilizaron sus herramientas de búsqueda. Algunos modelos, como Grok, consumieron una cantidad masiva de datos al buscar extensamente en internet, mientras que otros fueron más conservadores. El estudio señaló que estos entornos de alto razonamiento, que permitían a los modelos pensar profundamente y buscar ampliamente, conllevaban un alto costo en términos de potencia de cómputo y tiempo.

En última instancia, este trabajo proporciona una forma fundamentada de medir el progreso en la inteligencia artificial para la ciencia. Al construir la prueba basada en modificaciones reales hechas por científicos reales, los investigadores evitaron la trampa de crear problemas artificiales que podrían no reflejar la complejidad del trabajo real de laboratorio. Los hallazgos muestran que, si bien la inteligencia artificial se está convirtiendo en una herramienta útil para los científicos, aún no es un reemplazo para el juicio humano en el laboratorio. Los modelos pueden recordar hechos y seguir instrucciones, pero todavía luchan con el razonamiento matizado y paso a paso requerido para adaptar un protocolo científico de manera segura y efectiva. A medida que estas herramientas se vuelvan más comunes en la investigación, los referentes como BenchBench-Protocol serán esenciales para entender dónde tienen éxito y dónde todavía necesitan aprender. El camino a seguir no consiste solo en hacer los modelos más inteligentes, sino en enseñarles a comprender la cadena de causa y efecto que define el método científico.