LLM-Guided Open Hypothesis Learning from Autonomous Scanning Probe Microscopy Experiments

Este artigo apresenta uma estrutura de microscopia de sonda de varredura autônoma que integra regressão simbólica com modelos de linguagem de grande escala para gerar e avaliar novas hipóteses físicas a partir de dados experimentais esparsos, descobrindo com sucesso leis de crescimento interpretáveis de tensão-tempo para a comutação de domínios ferroelétricos sem modelos pré-especificados.

O essencial

Imagine um cientista trabalhando em um laboratório com um microscópio superpoderoso. No passado, esse cientista teria que decidir exatamente o que medir, executar o teste, observar os resultados e, em seguida, decidir o que fazer a seguir. Isso é lento e depende fortemente da própria intuição do cientista.

Nos últimos anos, cientistas construíram laboratórios "autônomos". Eles são como carros autônomos para a ciência: o computador controla o microscópio, executa experimentos e ajusta as configurações para encontrar os melhores resultados o mais rápido possível. No entanto, há uma pegadinha: esses laboratórios autônomos geralmente são muito bons em otimizar (encontrar a melhor configuração), mas terríveis em descobrir novas leis. Eles podem dizer "essa tensão faz o maior ponto", mas não podem dizer por que ou escrever uma nova regra da física que explique isso. Eles estão presos dentro de uma caixa de ideias que o programador humano lhes deu.

Este artigo apresenta um novo sistema que rompe essa caixa. Ele ensina o computador não apenas a encontrar a melhor resposta, mas a inventar novas teorias com base no que observa.

Veja como o sistema funciona, usando uma analogia simples:

O Sistema de Dois Cérebros

Pense neste novo sistema como uma equipe de dois robôs muito diferentes trabalhando juntos em um quebra-cabeça.

1. O "Buscador de Padrões" (Regressão Simbólica)
Imagine um robô que é incrivelmente bom em matemática, mas não tem senso comum. Você lhe dá alguns pontos de dados esparsos (como alguns pontos em um gráfico), e ele começa a gritar milhares de fórmulas matemáticas diferentes que poderiam conectar esses pontos.

• O que ele faz: Gera palpites malucos como "O tamanho do ponto é igual à tensão vezes a raiz quadrada do tempo" ou "O tamanho é igual à tensão mais um número aleatório".
• O Problema: Como não tem senso comum, pode sugerir fórmulas que são matematicamente perfeitas, mas fisicamente impossíveis (como dizer que um ponto fica menor quando você aumenta a potência). É como um aluno que decorou um livro didático de matemática, mas não entende como o mundo real funciona.

2. O "Professor de Física" (O Modelo de Linguagem Grande)
Agora, imagine um segundo robô que é um professor de física superinteligente. Esse robô leu todos os livros didáticos de física já escritos. Ele não faz a matemática em si; em vez disso, atua como um juiz.

• O que ele faz: Examina as milhares de fórmulas malucas geradas pelo "Buscador de Padrões" e diz: "Espere um pouco. Essa fórmula diz que o ponto cresce para trás no tempo? Isso é impossível. Descarte-a."
• A Magia: Ele classifica as fórmulas com base no fato de fazerem sentido no mundo real. Seleciona aquelas que seguem as regras da física (como "pontos devem ficar maiores com mais tensão") e explica por que elas são boas.

O Experimento: Crescendo Pequenas Bolhas Elétricas

Para testar isso, os pesquisadores usaram um microscópio especial para tocar em um pequeno pedaço de material chamado PZT (um tipo de cerâmica que armazena carga elétrica). Quando eles o atingem com eletricidade, uma pequena "bolha" de carga comutada cresce.

• O Objetivo: Eles queriam encontrar a regra que explica o quão grande essa bolha fica com base no tempo de duração do choque elétrico e na intensidade do choque.
• O Processo:
  1. Início: Começaram com apenas cinco palpites aleatórios (cinco configurações diferentes de choque).
  2. O Loop:
     • O "Buscador de Padrões" olhou para os cinco resultados e escreveu 50 regras matemáticas possíveis.
     • O "Professor de Física" leu-as, atribuiu pontuações e escolheu a melhor.
     • O computador então usou essa melhor regra para decidir onde aplicar o choque a seguir para aprender mais.
     • Eles fizeram isso 10 vezes, adicionando mais dados a cada rodada.

O Resultado: De Adivinhar a Entender

No início, o "Buscador de Padrões" estava confuso. Ele sugeriu regras tolas, como "O tamanho da bolha depende apenas do tempo, não da tensão". O "Professor de Física" deu baixas pontuações a essas e disse: "Não, isso não faz sentido".

À medida que o experimento continuou e o computador coletou mais dados, o "Buscador de Padrões" começou a sugerir regras mais inteligentes. Finalmente, o "Professor de Física" escolheu um vencedor: uma regra que dizia que a bolha cresce com base tanto na tensão quanto no tempo, seguindo especificamente um padrão onde o crescimento diminui com o tempo (como um movimento de "creep").

Por que isso é importante?
Em experimentos anteriores, os cientistas tinham que dizer ao computador: "Aqui estão três regras possíveis; escolha a melhor". O computador apenas escolhia da lista.
Neste novo experimento, o computador criou a regra em si a partir dos dados, e o "Professor de Física" confirmou que ela era real. O sistema não apenas encontrou a melhor configuração; descobriu uma nova maneira de descrever como o material se comporta.

A Conclusão

Este artigo mostra uma maneira de transformar a ciência autônoma de um "motor de busca" (que apenas encontra a melhor resposta em uma lista) em um "cientista" (que pode escrever novas leis da física). Ao combinar um robô matemático que gera ideias com um robô de IA que verifica se essas ideias fazem sentido, o sistema pode aprender regras físicas complexas por conta própria, começando de quase nada.

Resumo técnico

Resumo Técnico: Aprendizado de Hipóteses Abertas Guiado por LLM a partir de Experimentos Autônomos de Microscopia de Sonda de Varredura

Declaração do Problema
A experimentação autônoma estabeleceu-se como um paradigma para otimização em malha fechada em microscopia e ciência dos materiais, utilizando principalmente a otimização bayesiana (BO) para ajustar parâmetros instrumentais ou descobrir relações estrutura-propriedade dentro de espaços de busca fixos. No entanto, os fluxos de trabalho atuais são fundamentalmente limitados por sua dependência de funções objetivo pré-definidas e espaços de hipóteses. Embora esses sistemas converjam eficientemente para ótimos dentro de modelos especificados por humanos, carecem do mecanismo para gerar novas leis físicas ou interpretar dados experimentais por meio da geração aberta de hipóteses. As abordagens existentes de "aprendizado de hipóteses" tipicamente selecionam entre um conjunto pré-definido de modelos desenhados por humanos, em vez de derivar relações diretamente dos dados. Isso cria uma lacuna em sistemas autônomos hierárquicos, onde conhecimento interpretável deve ser gerado, avaliado e propagado através de camadas de decisão sem estar restrito a classes de modelos humanos prévios.

Metodologia
Os autores propõem um framework de "aprendizado de hipóteses abertas" que integra regressão simbólica com avaliação física baseada em Modelos de Linguagem Grande (LLM) para transitar da otimização em malha fechada para a descoberta aberta de hipóteses. O fluxo de trabalho consiste em três componentes principais:

1. Regressão Simbólica para Geração de Hipóteses:
   Em vez de ajustar parâmetros dentro de uma estrutura de modelo fixa, o sistema emprega regressão simbólica (usando a biblioteca PySR) para buscar o espaço de expressões matemáticas diretamente. Dados dados experimentais esparsos, este módulo gera uma frente de Pareto de expressões analíticas candidatas que equilibram a precisão preditiva (perda) contra a complexidade do modelo. Este processo é puramente orientado por dados, produzindo equações candidatas explícitas sem incorporar restrições físicas durante a fase de geração.

2. Avaliação Física Baseada em LLM:
   Para abordar a limitação de que expressões estatisticamente ótimas podem carecer de validade física, o framework introduz um avaliador estruturado de LLM. O LLM recebe as equações candidatas, definições de variáveis e um resumo rico em contexto de princípios físicos estabelecidos (especificamente sobre o crescimento de domínios ferroelétricos, gerado via um pipeline de pesquisa profunda). O LLM atua como validador, e não como gerador, classificando candidatos com base em:

   • Não trivialidade: Dependência de variáveis relevantes (por exemplo, tensão e tempo).
   • Monotonicidade: Consistência com tendências esperadas.
   • Comportamento de Escala: Alinhamento com regimes conhecidos (por exemplo, equilíbrio termodinâmico, crescimento cinético, fluência).
   • Patologia: Ausência de singularidades ou divergências não físicas.
     A saída inclui uma pontuação quantitativa de plausibilidade e um rastro de raciocínio em linguagem natural explicando a avaliação.

3. Design Experimental Adaptativo:
   A hipótese selecionada guia a próxima etapa experimental. O sistema calcula os resíduos entre o modelo selecionado e os dados experimentais. Um Processo Gaussiano (GP) é treinado nesses resíduos para modelar a incerteza. A Otimização Bayesiana (BO) com uma função de aquisição de Limite Superior de Confiança (UCB) é então aplicada ao modelo de resíduos para selecionar novas condições de medição. Isso visa regiões onde a hipótese atual está incompleta, refinando iterativamente o modelo.

Implementação Experimental
O framework foi demonstrado em experimentos autônomos de Microscopia de Força Piezoelétrica (PFM) investigando a comutação de domínios ferroelétricos em um filme fino de titanato zirconato de chumbo (PZT).

• Configuração: Pulsos de tensão (1–10 V) com durações variáveis (0,01–10 s) foram aplicados a uma localização fixa para induzir a comutação de domínios. O tamanho resultante do domínio (raio efetivo) foi medido via DART-PFM.
• Processo: O experimento começou com cinco medições de semente aleatória. Ao longo de 10 ciclos iterativos, o sistema adquiriu 5 novos pontos de dados por ciclo com base na estratégia de BO orientada por resíduos, resultando em um total de 55 medições.
• Avaliação: Modelos candidatos foram classificados pelo LLM usando um prompt projetado para impor regras físicas (por exemplo, exigindo dependência de ambas $V$ e $t$).

Principais Resultados

• Evolução das Hipóteses: Começando com cinco pontos de semente, a regressão simbólica inicialmente produziu modelos triviais ou fisicamente incompletos (por exemplo, dependências constantes ou de variável única). À medida que o conjunto de dados crescia através da amostragem adaptativa, o espaço de hipóteses evoluiu para incluir expressões acopladas de tensão-tempo.
• Comparação de Critérios de Seleção:
  • Seleção Orientada por Dados: O critério "melhor" padrão do PySR (equilibrando perda e complexidade) favoreceu um modelo linear simples apenas de tensão ($r \propto V$) em iterações posteriores, pois oferecia uma relação perda-complexidade favorável, apesar de negligenciar a dependência temporal crítica para o crescimento em tempo finito.
  • Seleção Guiada por LLM: O avaliador de LLM rejeitou o modelo apenas de tensão por violar a regra de "não trivialidade" (falta de dependência temporal). Ele selecionou um modelo da forma $r = V(0,000786 \log t + 0,00781)$.
• Consistência Física: O modelo selecionado pelo LLM foi identificado como consistente com "cinética controlada por desordem" ou "comportamento de fluência", onde a velocidade da parede de domínio depende exponencialmente do inverso do campo elétrico, levando a uma dependência temporal logarítmica. Este resultado alinha-se com achados anteriores no campo, mas foi derivado aqui sem pré-especificar a classe do modelo.
• Desempenho Preditivo: Quando avaliado em pontos de dados futuros (adquiridos após a seleção do modelo), os modelos selecionados pelo LLM demonstraram precisão preditiva comparável aos modelos de perda mínima, mas com menor variância. Crucialmente, os modelos selecionados pelo LLM generalizaram melhor do que os modelos "melhores" do PySR penalizados apenas por complexidade, que frequentemente subajustaram a física.

Significado e Alegações
O artigo afirma estabelecer uma rota para integrar regressão simbólica, raciocínio físico e experimentação adaptativa em fluxos de trabalho científicos autônomos hierárquicos. A contribuição principal é a demonstração de que a microscopia autônoma pode ir além da otimização dentro de espaços de busca fixos para gerar leis físicas interpretáveis diretamente a partir dos dados.

As principais alegações incluem:

1. Descoberta Aberta de Hipóteses: O framework permite a geração de relações físicas candidatas sem depender de um conjunto pré-definido de classes de modelos desenhados por humanos.
2. Classificação Consciente da Física: O avaliador de LLM distingue com sucesso entre modelos estatisticamente eficientes, mas fisicamente incompletos, e aqueles que são interpretáveis e consistentes com mecanismos conhecidos (por exemplo, identificando o regime de fluência).
3. Propagação de Conhecimento: O raciocínio em linguagem natural fornecido pelo LLM serve como um artefato de conhecimento transferível, permitindo que agentes a jusante entendam por que um modelo foi selecionado, em vez de apenas receber uma pontuação numérica.
4. Validação: A abordagem identificou com sucesso uma lei de crescimento de parede de domínio cinética, semelhante à fluência, em PZT, um resultado consistente com estudos anteriores de aprendizado de hipóteses que confiaram em modelos pré-definidos, validando assim a abordagem de geração "aberta".

Os autores observam que, embora a implementação atual utilize regressão simbólica para formas analíticas, o framework mais amplo é projetado para acomodar modelos numéricos ou baseados em simulação em iterações futuras. O trabalho posiciona esta metodologia como um passo em direção a sistemas autônomos que participam ativamente do processo de descoberta, em vez de meramente executar tarefas de otimização pré-definidas.