Unmodeled states and uncertain action outcomes in agentic scanning tunneling microscopy

Resumo Técnico: Estados Não Modelados e Resultados de Ações Incertezas em Microscopia de Varredura por Tunelamento Agêntica

Definição do Problema
Agentes científicos autônomos estão sendo cada vez mais implantados para controlar instrumentos físicos, mas frequentemente operam sob a premissa de que os estados experimentais e os resultados das ações são suficientemente especificados. Na realidade, experimentos físicos envolvem "estados não modelados" e "resultados de ações incertos". Intervenções podem alterar estados físicos ocultos de maneiras imprevisíveis que só se tornam aparentes através de medições subsequentes. Isso cria um desafio crítico para os agentes: como interpretar as consequências de suas ações quando a informação física relevante (estados ocultos) não é diretamente observável e quando a dinâmica de transição do sistema é incompletamente compreendida. Os autores definem isso como "incerteza de ação-resultado", distinta da incerteza de percepção, onde a intervenção de um agente pode degradar um sistema em vez de melhorá-lo, sem uma forma determinística de prever o resultado antecipadamente.

Metodologia
Os autores investigam este problema utilizando o condicionamento de pontas de Microscopia de Varredura por Tunelamento (STM), uma tarefa que tradicionalmente exige extensa perícia humana devido às condições inacessíveis do ápice da ponta e aos resultados estocásticos. Eles introduzem o Quailbot, um harness de agente que integra agentes de Grandes Modelos de Linguagem (LLMs) diretamente no laço de retroalimentação (feedback loop) do instrumento.

• Arquitetura do Sistema: O Quailbot vincula intervenções físicas com leituras experimentais (readbacks). Ele fornece ao LLM quatro ferramentas de CLI de controle de instrumento: Get (ler parâmetros), Set (escrever valores), Ramp (etapas de parâmetros) e Act (invocar ações nomeadas).
• Definição de Estado: O sistema distingue entre estados públicos (configurações expostas diretamente e leituras como voltagem de polarização e corrente) e estados ocultos (informação física decisiva experimentalmente, mas não observável, como a configuração atômica do ápice da ponta).
• Aprendizado por Aprendizado (Apprenticeship): Os agentes de LLM passaram por um breve aprendizado com um especialista humano. Durante esta fase, o agente aprendeu conhecimento procedimental (ex: agitação da ponta, pulso de polarização) e julgamento específico do domínio (distinguir detritos de superfície de artefatos da ponta). O agente utilizou módulos de memória e habilidades para consolidar este treinamento, permitindo que refinasse estratégias baseadas em históricos de ações e novas medições.
• Configuração Experimental: Os experimentos foram conduzidos em um STM de baixa temperatura usando pontas de tungstênio em amostras de FeTe a 4 K. Os agentes foram testados utilizando modelos de fronteira (gpt-5.6-sol, claude-opus-5) e um probe deliberadamente menos inteligente (gpt-5.4-mini).

Principais Contribuições e Resultados
O estudo demonstra que agentes de LLM podem realizar o condicionamento de pontas de ponta a ponta de forma autônoma, mas também destaca os modos de falha específicos decorrentes de estados não modelados.

1. Entrega Autônoma de Ponta a Ponta: Em execuções de "lançamento único" (onde o agente recebe um comando de tarefa e opera sem intervenção humana adicional), agentes de LLM de fronteira condicionaram pontas com sucesso de estados iniciais sabotados até pontos finais prontos para medição.

   • Uma execução reduziu o estado da ponta de um "ápice duplo" (pontuação BraggZ de 20,7) para uma ponta única e estável, com resolução atômica (pontuação BraggZ de 295,4) em 70,8 minutos.
   • O agente demonstrou raciocínio adaptativo, como retirar a ponta ao detectar uma protuberância ou aumentar os passos de caminhada do piezo ao encontrar características de sujeira triangular.
   • Uma segunda execução com um modelo diferente (claude-opus-5) e uma ponta diferente condicionou a ponta com sucesso, apesar de um travamento do piezo walker, adaptando sua estratégia de relocação para passos menores e verificados. Esta execução também produziu uma ponta de spin-polarizada, evidenciada pela modulação qAFM na transformada de Fourier, apesar de a polarização de spin não ser um objetivo explícito.

2. Limites da Autonomia em Cenários Não Modelados: O estudo expôs sistematicamente os limites da autonomia dos agentes quando os estados relevantes eram ocultos ou não modelados:

   • Ponta Curvada: Quando um operador humano intencionalmente curvou uma ponta sem informar o agente, o agente falhou em identificar a causa raiz. Ele reconheceu anormalidades de imagem e picos de corrente, mas os atribuiu a "segundos ápices de tunelamento" ou contaminação de superfície. Ele esgotou suas opções de condicionamento sem resolver a rede, exigindo a intervenção humana.
   • Walker Jam Não Divulgado: Quando ocorreu um travamento do walker sem divulgação prévia, o agente reconheceu o comportamento anormal, mas não conseguiu diagnosticar o travamento. Ele assumiu incorretamente que a ponta havia saído do cristal para o epóxi. Somente após o operador humano divulgar o travamento e ajustar manualmente a voltagem de acionamento (uma capacidade desabilitada no espaço de trabalho do agente), o agente se recuperou.
   • Rotação da Amostra: Em um caso onde o agente não conseguiu encontrar uma região limpa da superfície, ele sugeriu a substituição da ponta. O operador humano resolveu o problema rotacionando mecanicamente o suporte da amostra em 120 graus — uma intervenção física fora da interface de software do agente. O agente então obteve sucesso, sugerindo que a ponta já estava próxima da condição necessária.

3. Dependência de Modelo: Um modelo menos inteligente (gpt-5.4-mini) falhou em se adaptar a um walker jam divulgado, emitindo comandos de deslocamento cada vez maiores sem ajustar sua estratégia, resultando em nenhuma entrega bem-sucedida.

Significância e Alegações
O artigo afirma que, embora os agentes de LLM possam navegar com sucesso em fluxos de trabalho experimentais complexos e incertos, sua autonomia é fundamentalmente limitada pela observabilidade e pelos limites de ação da interface do instrumento.

• Modos de Falha: Os autores identificam uma classe de falha onde os agentes reconhecem anomalias, mas não conseguem identificar a causa subjacente se a informação necessária for não modelada ou indisponível através da interface. Isso contrasta com os benchmarks convencionais que frequentemente colapsam tais questões em falhas gerais de raciocínio.
• Requisitos para Autonomia Futura: Os resultados argumentam que a experimentação física autônoma futura exige agentes capazes de inferir estados ocultos e não modelados, rastrear os resultados de suas ações e operar dentro das restrições de instrumentos reais.
• Design de Instrumentos: Os autores concluem que instrumentos científicos "prontos para agentes" devem fornecer acesso a funções de controle e informações diagnósticas essenciais, manter registros claros vinculando ações a resultados e suportar verificação automatizada. No entanto, eles observam que a padronização de software sozinha não pode revelar estruturas atômicas ou prever os efeitos estocásticos de pulsos de condicionamento; sensores ou atuadores adicionais podem ser necessários para preencher a lacuna entre as interfaces digitais e a realidade física.

O estudo não alega que os LLMs resolveram o problema dos estados não modelados, mas sim que eles oferecem uma rota distinta para lidar com a incerteza através de planejamento iterativo e reflexão, enquanto simultaneamente expõem os limites específicos onde a intervenção humana permanece necessária.