Large language models do not replace chemists in a closed-loop catalysis experiment

Resumen Técnico: Los Modelos de Lenguaje de Gran Escala No Reemplazan a los Químicos en un Experimento de Catálisis de Bucle Cerrado

Planteamiento del Problema
El estudio aborda la capacidad de los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) para servir como agentes de razonamiento autónomos en experimentos científicos complejos, de alta dimensionalidad y con ruido. Si bien los LLM han demostrado competencia en la recuperación de conocimientos y en la generación de hipótesis de un solo paso, su desempeño en entornos de laboratorio de bucle cerrado y de largo horizonte —caracterizados por la deriva experimental, el ruido de medición y la necesidad de adaptación iterativa— permanece en gran medida inexplorado. Los autores buscaron comparar el razonamiento de un LLM frente a frente contra expertos humanos en un problema de catálisis coloidal de 25 dimensiones, donde la solución óptima era desconocida y el sistema exhibía una estocasticidad significativa.

Metodología
Los investigadores utilizaron un robot móvil (KUKA LBR iiwa 14) integrado con "Opsight", un software de optimización agéntica, para llevar a cabo una campaña de 528 experimentos destinada a maximizar la producción de hidrógeno utilizando nanoestructuras de marcos orgánicos covalentes (nanoCOFs) como fotocatalizadores.

• Diseño Experimental: El espacio del problema involucraba 25 dimensiones, incluyendo cuatro nanoCOFs, 12 semiconductores inorgánicos, tres agentes de sacrificio, tres surfactantes, modificadores de pH y un precursor de cocatalizador de platino. Esto creó un espacio combinatorio de aproximadamente $5.92 \times 10^{16}$ formulaciones potenciales.
• Fases de Ejecución:
  • Fase 0 (Pre-experimento): Se le proporcionó al LLM (GPT-5.1) 10 recursos de trasfondo (artículos, tablas de datos, espectros) para generar una estrategia de búsqueda inicial.
  • Fase 1 (Optimización de puertas abiertas): El LLM condujo 320 experimentos sin un presupuesto fijo, con el objetivo de maximizar la actividad. Navegó la el ruido experimental y un cambio a mitad de la campaña en la configuración de medición (reduciendo el tiempo de fotólisis para evitar la saturación del detector).
  • Fase 2 (Renormalización): El sistema se ajustó a un tiempo de fotólisis de 15 minutos para asegurar una respuesta lineal del detector. Se instruyó al LLM para que reanclara su análisis de datos.
  • Fase 3 (Comparación de Presupuesto Fijo): Se realizó una comparación directa durante 160 experimentos entre el LLM (ejecutado dos veces con diferentes prompts) y un equipo de cuatro expertos humanos en la materia. Ambos agentes tuvieron acceso a todos los datos previos. El equipo humano también utilizó señales visuales (comportamiento de fase) que no estaban disponibles para el LLM.

Resultados Clave

• Desempeño: En la fase final de 160 experimentos, el equipo humano identificó una formulación de catalizador que fue, en promedio, un 22% más activa que la mejor formulación encontrada por la ejecución más débil del LLM y estadísticamente comparable a la ejecución más fuerte del LLM. El equipo humano encontró la actividad individual más alta (126 ± 8 µmol h⁻¹) frente a la mejor del LLM (117 ± 17 µmol h⁻¹).
• Velocidad y Costo: El LLM razonó 35 veces más rápido que el equipo humano (59.2 minutos frente a 34.7 horas-persona) y se estimó que era aproximadamente 1,900 veces menos costoso en términos de costos de razonamiento.
• Estrategia de Exploración: El equipo humano exploró un espacio químico más amplio (31 formulaciones categóricas distintas) con menos redundancia. El LLM fue altamente explotador, centrándose en un subconjunto estrecho de variables (1 de 18 formulaciones distintas) y realizando experimentos repetidos innecesarios.
• Errores de Razonamiento: El LLM exhibió "errores silenciosos", incluyendo:
  • Un error de cálculo estequiométrico en la Fase 0 respecto al peso molecular del precursor de Pt.
  • Limitaciones de la ventana de contexto en la Fase 3 que causaron que revirtiera al análisis de datos de 60 minutos, a pesar de las instrucciones de usar los datos de 15 minutos.
  • Inconsistencias lógicas, como concluir que el SDS mejoraba la dispersibilidad en la Fase 3, contradiciendo su propia predicción correcta de la Fase 0 de que el SDS induciría la agregación (un hecho confirmado por observaciones de potencial zeta y comportamiento de fase fuera de línea).
• Descubrimiento: Tanto el LLM como los humanos identificaron que la adición del surfactante aniónico SDS aumentó significamente la actividad, aunque el LLM descubrió esto mediante la experimentación en lugar de recuperarlo del conocimiento previo. Ningún agente identificó con éxito las heterouniones orgánico-inorgánicas productivas.

Contribuciones Clave

1. Primer Benchmark Directo: Este estudio proporciona una comparación directa y comparativa poco común entre el razonamiento de un LLM y el razonamiento de un experto humano en un experimento de bucle cerrado, de alta dimensionalidad y con ruido, en el mundo real.
2. Identificación de Limitaciones: Demuestra que, si bien los LLM pueden navegar espacios químicos complejos y adaptarse a algunos cambios experimentales, sufren de limitaciones de memoria, errores lógicos silenciosos y una tendencia hacia la sobre-explotación sin supervisión humana.
3. Análisis de Costo-Beneficio: El trabajo cuantifica la compensación entre la eficiencia de velocidad/costo del razonamiento de máquina y la profundidad/fiabilidad del razonamiento humano, sugiriendo que la división óptima del trabajo depende del costo y el perfil de riesgo de los experimentos.

Significancia y Reivindicaciones
Los autores concluyen que los LLM no son reemplazos "listos para usar" del razonamiento experto en problemas científicos complejos. Si bien el LLM (GPT-5.1) dirigió con éxito una campaña a largo plazo y encontró hipótesis productivas, no logró igualar la eficacia general de los expertos humanos en la fase final de optimización debido a fallos de razonamiento y falta de percepción sensorial (por ejemplo, la incapacidad de ver cambios de fase).

El artículo argumenta que el futuro de los laboratorios autónomos reside en sistemas híbridos que combinen la velocidad y el bajo costo del razonamiento de máquina con el juicio perceptivo, la supervisión y la capacidad de corrección de errores de los expertos humanos. Los autores postulan que para experimentos rápidos, económicos y de bajo riesgo, el razonamiento de máquina es altamente ventajoso, pero a medida que los experimentos se vuelven más lentos, costosos o peligrosos, la intervención humana o la supervisión cercana se vuelven críticas para mitigar los riesgos de los errores silenciosos de la máquina. El estudio enfatiza que diseñar sistemas donde los humanos y los LLM trabajen de manera colaborativa, en lugar de intentar la autonomía total, es el camino más eficiente en recursos hacia adelante.