Experimental reasoning in large language models

La ciencia siempre ha sido una conversación entre una pregunta y el mundo físico. Un investigador propone una idea, diseña una prueba para ver si el mundo está de acuerdo, y luego observa qué sucede. Si el resultado es inesperado, el investigador cambia el plan e intenta de nuevo. Este ciclo de preguntar, actuar y ajustar es el motor del descubrimiento. Durante décadas, los científicos han intentado construir máquinas que puedan hacer este trabajo por ellos. Los primeros intentos se centraron en la automatización: robots que podían seguir un conjunto estricto de instrucciones, como un chef que sigue una receta al pie de la letra. Estas máquinas son excelentes en la repetición, pero tienen dificultades cuando la cocina se incendia o falta un ingrediente. No pueden pensar sobre la marcha. La pregunta ahora es si la nueva generación de inteligencia artificial, específicamente los modelos de lenguaje extensos, puede hacer más que simplemente seguir órdenes. ¿Pueden estos programas informáticos razonar realmente a través de un experimento científico, decidiendo qué hacer a continuación basándose en lo que ven, tal como lo haría un científico humano?

Un equipo de investigadores de la Universidad de Duke se propuso responder a esto construyendo un sistema que llaman PEARL. Conectaron un programa informático estándar, diseñado para comprender y generar lenguaje humano, a un robot de laboratorio sencillo y una cámara web. El robot podía mover líquidos entre recipientes pequeños, y la cámara podía observar los resultados. Los investigadores le dieron al sistema un objetivo, como "crear un arcoíris en la bandeja de recipientes", pero no le proporcionaron una guía paso a paso sobre cómo hacerlo. No le dijeron al sistema qué colores mezclar, en qué orden, ni siquiera qué botellas contenían qué tintes. El sistema tuvo que descubrir todo el proceso por sí mismo. Tuvo que observar las herramientas disponibles, decidir qué mezclar, realizar la acción, observar el resultado y luego decidir si había tenido éxito o si necesitaba intentar algo diferente.

El sistema funcionaba dividiendo el proceso de pensamiento en diferentes roles que se comunicaban entre sí. Una parte del sistema planificaba el experimento, otra predecía lo que sucedería y una tercera vigilaba los errores. Cuando el robot mezclaba dos líquidos y el color resultaba incorrecto, el sistema no se limitaba a seguir adelante. Se detenía, observaba la evidencia y se daba cuenta de que su predicción era incorrecta. Luego revisaba su plan e intentaba una nueva mezcla. En una prueba, los investigadores pidieron al sistema que hiciera color púrpura usando solo tintes rojos y verdes. El sistema se dio cuenta correctamente de que esto era imposible y se negó a mezclarlos, pidiendo una instrucción mejor en su lugar. En otra prueba, un humano rotó secretamente la bandeja de recipientes mientras el sistema trabajaba. El sistema notó que los colores estaban en los lugares equivocados, actualizó su mapa mental de la bandeja y ajustó sus acciones para mezclar los líquidos correctos en las nuevas ubicaciones. Hizo esto sin que se le dijera que la bandeja se había movido.

Los investigadores llevaron esto más allá pidiéndole al sistema que realizara una prueba bioquímica real para medir la velocidad a la que trabaja una enzima. Esto requería mediciones precisas y una temporización cuidadosa. El sistema tenía que decidir cuánto líquido mezclar, cuándo tomar una foto y cómo analizar los cambios de color a lo largo del tiempo. Cuando los investigadores introdujeron un problema, como añadir demasiado líquido a un recipiente por error, el sistema detectó el error, ignoró los datos erróneos y utilizó los datos restantes correctos para completar el cálculo. Cuando la mezcla inicial era demasiado fuerte para medirse con precisión, el sistema se dio cuenta de que necesitaba más información. En lugar de adivinar, diseñó un nuevo experimento más pequeño solo para diluir la mezcla y ver los colores reales. Luego utilizó esa nueva información para corregir el experimento principal. En cada escenario, el sistema tradujo con éxito un objetivo vago en una acción física, interpretó el resultado y decidió qué hacer a continuación.

El estudio también probó cuánto apoyo necesitaba el sistema para tener éxito. Los investigadores intentaron ejecutar las mismas tareas con una configuración más simple que tenía menos roles internos y ningún registro compartido de la historia del experimento. Esta versión más simple a menudo fallaba al conectar los puntos entre lo que veía y lo que debía hacer a continuación. Podía detectar un problema pero olvidar solucionarlo, o perderse en la secuencia de pasos. Sin embargo, cuando el sistema contaba con un registro persistente del experimento y unos pocos roles especializados para revisar el trabajo de los demás, tenía éxito casi siempre. Esto sugiere que la capacidad de razonar a través de un experimento proviene en gran medida de la inteligencia subyacente del modelo de lenguaje en sí, pero que un poco de estructura ayuda a mantener el enfoque y la fiabilidad.

Estos hallazgos sugieren un cambio en cómo podríamos pensar la automatización de laboratorio. En lugar de programar robots para que sigan todas las posibles contingencias de antemano, pronto podríamos darles un objetivo y dejar que ellos mismos se encarguen de los detalles. El sistema no necesitó una receta escrita previamente para manejar una bandeja rotada o un tinte concentrado; resolvió esas situaciones en el momento. Los investigadores enfatizan que esto no es todavía un científico totalmente autónomo que pueda inventar nuevas teorías o plantear preguntas profundas sobre el universo. Los experimentos se limitaron a tareas específicas con resultados visuales. Sin embargo, el trabajo muestra que los modelos informáticos de propósito general ya pueden actuar como una capa de pensamiento entre un objetivo científico y el mundo físico. Pueden observar, interpretar y adaptarse, convirtiendo el acto de la experimentación en parte del proceso de razonamiento mismo. Esto desplaza el campo desde la simple automatización hacia un futuro donde las máquinas pueden participar directamente en el proceso científico, gestionando lo inesperado y aprendiendo de lo que ven.