LLM-Guided Open Hypothesis Learning from Autonomous Scanning Probe Microscopy Experiments

Este trabajo presenta un marco de microscopía de sonda de barrido autónomo que integra la regresión simbólica con modelos de lenguaje grandes para generar y evaluar nuevas hipótesis físicas a partir de datos experimentales escasos, descubriendo con éxito leyes de crecimiento interpretables voltaje-tiempo para la conmutación de dominios ferroeléctricos sin modelos preespecificados.

Lo esencial

Imagina a un científico trabajando en un laboratorio con un microscopio superpotente. En el pasado, este científico tendría que decidir exactamente qué medir, ejecutar la prueba, observar los resultados y luego decidir qué hacer a continuación. Esto es lento y depende en gran medida de la propia intuición del científico.

En los últimos años, los científicos han construido laboratorios "autónomos". Estos son como coches autónomos para la ciencia: la computadora controla el microscopio, realiza experimentos y ajusta la configuración para encontrar los mejores resultados lo más rápido posible. Sin embargo, hay un truco: estos laboratorios autónomos suelen ser muy buenos para optimizar (encontrar la mejor configuración) pero terribles para descubrir nuevas leyes. Pueden decirte "este voltaje produce el punto más grande", pero no pueden decirte por qué ni escribir una nueva regla de la física que lo explique. Quedan atrapados dentro de una caja de ideas que les dio el programador humano.

Este artículo presenta un nuevo sistema que rompe esa caja. Enseña a la computadora no solo a encontrar la mejor respuesta, sino a inventar nuevas teorías basadas en lo que observa.

Así es como funciona el sistema, usando una analogía simple:

El sistema de dos cerebros

Piensa en este nuevo sistema como un equipo de dos robots muy diferentes trabajando juntos en un rompecabezas.

1. El "Buscador de Patrones" (Regresión Simbólica)
Imagina un robot que es increíblemente bueno en matemáticas pero carece de sentido común. Le das unos pocos puntos de datos dispersos (como unos pocos puntos en una gráfica) y empieza a gritar miles de fórmulas matemáticas diferentes que podrían conectar esos puntos.

• Qué hace: Genera suposiciones locas como "El tamaño del punto es igual al voltaje multiplicado por la raíz cuadrada del tiempo" o "El tamaño es igual al voltaje más un número aleatorio".
• El Problema: Como carece de sentido común, podría sugerir fórmulas que son matemáticamente perfectas pero físicamente imposibles (como decir que un punto se hace más pequeño cuando aumentas la potencia). Es como un estudiante que ha memorizado un libro de texto de matemáticas pero no entiende cómo funciona el mundo real.

2. El "Profesor de Física" (El Modelo de Lenguaje Grande)
Ahora, imagina un segundo robot que es un profesor de física superinteligente. Este robot ha leído todos los libros de texto de física jamás escritos. No hace las matemáticas él mismo; en su lugar, actúa como un juez.

• Qué hace: Examina las miles de fórmulas locas generadas por el "Buscador de Patrones" y dice: "Espera un momento. Esa fórmula dice que el punto crece hacia atrás en el tiempo? Eso es imposible. Tírala".
• La Magia: Clasifica las fórmulas según si tienen sentido en el mundo real. Selecciona las que siguen las reglas de la física (como "los puntos deberían hacerse más grandes con más voltaje") y explica por qué son buenas.

El Experimento: Creando Burbujas Eléctricas Minúsculas

Para probar esto, los investigadores utilizaron un microscopio especial para pinchar un pequeño trozo de material llamado PZT (un tipo de cerámica que retiene una carga eléctrica). Cuando les dan un voltazo eléctrico, crece una pequeña "burbuja" de carga conmutada.

• El Objetivo: Querían encontrar la regla que explica cuán grande se vuelve esa burbuja en función de cuánto tiempo la voltazan y con qué intensidad la voltazan.
• El Proceso:
  1. Inicio: Comenzaron con solo cinco suposiciones aleatorias (cinco configuraciones de voltaje diferentes).
  2. El Bucle:
     • El "Buscador de Patrones" observó los cinco resultados y escribió 50 reglas matemáticas posibles.
     • El "Profesor de Física" las leyó, les dio puntuaciones y seleccionó la mejor.
     • Luego, la computadora usó esa mejor regla para decidir dónde aplicar el voltaje a continuación para aprender más.
     • Repitieron esto 10 veces, añadiendo más datos en cada ronda.

El Resultado: De Adivinar a Entender

Al principio, el "Buscador de Patrones" estaba confundido. Sugirió reglas tontas, como "El tamaño de la burbuja depende solo del tiempo, no del voltaje". El "Profesor de Física" les dio puntuaciones bajas y dijo: "No, eso no tiene sentido".

A medida que el experimento continuó y la computadora recopiló más datos, el "Buscador de Patrones" comenzó a sugerir reglas más inteligentes. Finalmente, el "Profesor de Física" eligió un ganador: una regla que decía que la burbuja crece basándose en ambos, el voltaje y el tiempo, siguiendo específicamente un patrón donde el crecimiento se ralentiza con el tiempo (como un movimiento de "fluencia").

¿Por qué es esto importante?
En experimentos anteriores, los científicos tenían que decirle a la computadora: "Aquí hay tres reglas posibles; elige la mejor". La computadora solo elegía de la lista.
En este nuevo experimento, la computadora creó la regla ella misma a partir de los datos, y el "Profesor de Física" confirmó que era real. El sistema no solo encontró la mejor configuración; descubrió una nueva forma de describir cómo se comporta el material.

La Conclusión

Este artículo muestra una manera de transformar la ciencia autónoma de un "motor de búsqueda" (que solo encuentra la mejor respuesta en una lista) a un "científico" (que puede escribir nuevas leyes de la física). Al combinar un robot matemático que genera ideas con un robot de IA que verifica si esas ideas tienen sentido, el sistema puede aprender reglas físicas complejas por sí mismo, comenzando desde casi nada.

Resumen técnico

Resumen Técnico: Aprendizaje de Hipótesis Abiertas Guiado por LLM a partir de Experimentos Autónomos de Microscopía de Sonda de Escaneo

Enunciado del Problema
La experimentación autónoma se ha establecido como un paradigma para la optimización en bucle cerrado en microscopía y ciencia de materiales, utilizando principalmente la optimización bayesiana (BO) para ajustar parámetros instrumentales o descubrir relaciones estructura-propiedad dentro de espacios de búsqueda fijos. Sin embargo, los flujos de trabajo actuales están fundamentalmente limitados por su dependencia de funciones objetivo y espacios de hipótesis predefinidos. Si bien estos sistemas convergen eficientemente hacia óptimos dentro de modelos especificados por humanos, carecen del mecanismo para generar nuevas leyes físicas o interpretar datos experimentales mediante la generación de hipótesis abiertas. Los enfoques existentes de "aprendizaje de hipótesis" típicamente seleccionan entre un conjunto predefinido de modelos diseñados por humanos en lugar de derivar relaciones directamente de los datos. Esto crea una brecha en los sistemas autónomos jerárquicos donde el conocimiento interpretable debe generarse, evaluarse y propagarse a través de capas de decisión sin estar restringido por clases de modelos humanos previas.

Metodología
Los autores proponen un marco de "aprendizaje de hipótesis abiertas" que integra la regresión simbólica con la evaluación física basada en Modelos de Lenguaje Grande (LLM) para transicionar de la optimización en bucle cerrado al descubrimiento de hipótesis abiertas. El flujo de trabajo consta de tres componentes principales:

1. Regresión Simbólica para la Generación de Hipótesis:
   En lugar de ajustar parámetros dentro de una estructura de modelo fija, el sistema emplea regresión simbólica (utilizando la biblioteca PySR) para buscar directamente en el espacio de expresiones matemáticas. Dado el escaso volumen de datos experimentales, este módulo genera una frontera de Pareto de expresiones analíticas candidatas que equilibran la precisión predictiva (pérdida) contra la complejidad del modelo. Este proceso es puramente impulsado por datos, produciendo ecuaciones candidatas explícitas sin incorporar restricciones físicas durante la fase de generación.

2. Evaluación Física Basada en LLM:
   Para abordar la limitación de que las expresiones estadísticamente óptimas pueden carecer de validez física, el marco introduce un evaluador estructurado basado en LLM. Al LLM se le proporcionan las ecuaciones candidatas, las definiciones de variables y un resumen rico en contexto de principios físicos establecidos (específicamente sobre el crecimiento de dominios ferroeléctricos, generado mediante un pipeline de investigación profunda). El LLM actúa como validador en lugar de generador, puntuando a los candidatos basándose en:

   • No trivialidad: Dependencia de variables relevantes (por ejemplo, tanto voltaje como tiempo).
   • Monotonía: Coherencia con las tendencias esperadas.
   • Comportamiento de Escala: Alineación con regímenes conocidos (por ejemplo, equilibrio termodinámico, crecimiento cinético, fluencia).
   • Patología: Ausencia de singularidades o divergencias no físicas.
     La salida incluye una puntuación cuantitativa de plausibilidad y una traza de razonamiento en lenguaje natural que explica la evaluación.

3. Diseño Experimental Adaptativo:
   La hipótesis seleccionada guía el siguiente paso experimental. El sistema calcula los residuos entre el modelo seleccionado y los datos experimentales. Se entrena un Proceso Gaussiano (GP) sobre estos residuos para modelar la incertidumbre. Luego, se aplica Optimización Bayesiana (BO) con una función de adquisición de Límite Superior de Confianza (UCB) al modelo de residuos para seleccionar nuevas condiciones de medición. Esto apunta a regiones donde la hipótesis actual es incompleta, refinando iterativamente el modelo.

Implementación Experimental
El marco se demostró en experimentos autónomos de Microscopía de Fuerza Piezoeléctrica (PFM) que investigaron el cambio de dominio ferroeléctrico en una película delgada de titanato de circonato de plomo (PZT).

• Configuración: Se aplicaron pulsos de voltaje (1–10 V) con duraciones variables (0.01–10 s) a una ubicación fija para inducir el cambio de dominio. El tamaño resultante del dominio (radio efectivo) se midió mediante DART-PFM.
• Proceso: El experimento comenzó con cinco mediciones semilla aleatorias. Durante 10 ciclos iterativos, el sistema adquirió 5 nuevos puntos de datos por ciclo basándose en la estrategia de BO impulsada por residuos, resultando en un total de 55 mediciones.
• Evaluación: Los modelos candidatos fueron clasificados por el LLM utilizando un prompt diseñado para hacer cumplir reglas físicas (por ejemplo, requiriendo dependencia tanto de $V$ como de $t$).

Resultados Clave

• Evolución de las Hipótesis: Comenzando con cinco puntos semilla, la regresión simbólica produjo inicialmente modelos triviales o físicamente incompletos (por ejemplo, dependencias constantes o de una sola variable). A medida que el conjunto de datos creció mediante muestreo adaptativo, el espacio de hipótesis evolucionó para incluir expresiones acopladas de voltaje-tiempo.
• Comparación de Criterios de Selección:
  • Selección Impulsada por Datos: El criterio estándar "mejor" de PySR (equilibrando pérdida y complejidad) favoreció un modelo lineal simple solo de voltaje ($r \propto V$) en iteraciones posteriores porque ofrecía una relación pérdida-complejidad favorable, a pesar de descuidar la dependencia temporal crítica para el crecimiento en tiempo finito.
  • Selección Guiada por LLM: El evaluador LLM rechazó el modelo solo de voltaje por violar la regla de "no trivialidad" (falta de dependencia temporal). Seleccionó un modelo de la forma $r = V(0.000786 \log t + 0.00781)$.
• Consistencia Física: El modelo seleccionado por el LLM se identificó como consistente con "cinética controlada por desorden" o "comportamiento de fluencia", donde la velocidad de la pared de dominio depende exponencialmente del inverso del campo eléctrico, lo que conduce a una dependencia temporal logarítmica. Este resultado se alinea con hallazgos previos en el campo, pero se derivó aquí sin especificar previamente la clase de modelo.
• Rendimiento Predictivo: Cuando se evaluó en puntos de datos futuros (adquiridos después de la selección del modelo), los modelos seleccionados por el LLM demostraron una precisión predictiva comparable a los modelos de pérdida mínima pero con menor varianza. Crucialmente, los modelos seleccionados por el LLM generalizaron mejor que los modelos "mejores" de PySR penalizados únicamente por complejidad, que a menudo subajustaban la física.

Significado y Afirmaciones
El artículo afirma establecer una ruta para integrar la regresión simbólica, el razonamiento físico y la experimentación adaptativa en flujos de trabajo científicos autónomos jerárquicos. La contribución principal es la demostración de que la microscopía autónoma puede ir más allá de la optimización dentro de espacios de búsqueda fijos hacia generar leyes físicas interpretables directamente a partir de datos.

Las afirmaciones clave incluyen:

1. Descubrimiento de Hipótesis Abiertas: El marco permite la generación de relaciones físicas candidatas sin depender de un conjunto predefinido de clases de modelos diseñados por humanos.
2. Clasificación Consciente de la Física: El evaluador LLM distingue con éxito entre modelos estadísticamente eficientes pero físicamente incompletos y aquellos que son interpretables y consistentes con mecanismos conocidos (por ejemplo, identificando el régimen de fluencia).
3. Propagación del Conocimiento: El razonamiento en lenguaje natural proporcionado por el LLM sirve como un artefacto de conocimiento transferible, permitiendo que los agentes aguas abajo comprendan por qué se seleccionó un modelo, en lugar de simplemente recibir una puntuación numérica.
4. Validación: El enfoque identificó con éxito una ley de crecimiento de paredes de dominio cinética, similar a la fluencia, en PZT, un resultado consistente con estudios previos de aprendizaje de hipótesis que dependían de modelos predefinidos, validando así el enfoque de generación "abierta".

Los autores señalan que, si bien la implementación actual utiliza regresión simbólica para formas analíticas, el marco más amplio está diseñado para acomodar modelos numéricos o basados en simulación en iteraciones futuras. La obra posiciona esta metodología como un paso hacia sistemas autónomos que participan activamente en el proceso de descubrimiento en lugar de simplemente ejecutar tareas de optimización predefinidas.