SimuScan-Agent: language-model orchestration of synthetic-data-driven autonomous atomic force microscopy

Resumo Técnico: SimuScan-Agent

Definição do Problema

A microscopia de força atômica (AFM) é uma plataforma versátil para caracterização em escala nanométrica, mas investigações de grande área permanecem ineficientes devido ao desacoplamento da aquisição de dados da análise em tempo real. Os fluxos de trabalho convencionais dependem tipicamente de varredura raster exaustiva, o que leva a uma sobreamostragem substancial de regiões não informativas ou à terminação prematura antes que dados estatisticamente representativos sejam coletados. Isso é particularmente problemático para amostras heterogêneas ou de população esparsa, onde características cientificamente relevantes ocupam apenas uma pequena fração da superfície. Além disso, a realização de uma AFM autônoma requer a coordenação de múltiplos modelos especializados para percepção, controle e tomada de decisão, um processo dificultado pela dificuldade de gerar grandes conjuntos de dados de treinamento precisamente rotulados e pela necessidade de profunda expertise em aprendizado de máquina (ML) e programação para orquestrar essas ferramentas.

Metodologia

Os autores introduzem o SimuScan-Agent, um framework que utiliza um Modelo de Linguagem de Grande Escala (LLM) como uma camada de orquestração para traduzir objetivos em linguagem natural em fluxos de trabalho adaptativos de AFM. O sistema opera através de uma arquitetura modular coordenada via Protocolo de Contexto de Modelo (MCP), delegando a execução a módulos especializados e independentemente verificados, em vez de atuar como um controlador direto do microscópio.

1. Fontes Morfológicas Multimodais e Geração de Dados Sintéticos
Para enfrentar o gargalo dos dados de treinamento, o framework integra três rotas complementares para definir morfologias de objetos, que são então processadas através de um pipeline de simulação baseado em física (SimuScan 2.0):

• Geração Procedural: O LLM traduz descrições em linguagem natural em funções Python parametrizadas (PyGenerator) para definir geometrias de objetos.
• Modelos Generativos: Modelos de imagem de propósito geral fornecem referências visuais para morfologias complexas (ex: estruturas de DNA, aglomerados de nanopartículas), que servem como referências, em vez de verdade fundamental direta.
• Recuperação de Literatura: Um componente de Geração Aumentada por Recuperação (RAG) extrai referências morfológicas da literatura científica.
  Crucialmente, essas entradas morfológicas são alimentadas no SimuScan, que simula a formação da imagem de AFM (incluindo convolução ponta-amostra, ruído e distorções de scanner) para produzir conjuntos de dados sintéticos precisamente rotulados sem anotação manual.

2. Modelos de Aprendizado de Máquina
Os conjuntos de dados sintéticos são usados para treinar dois modelos complementares:

• Segmentação de Instância: Um modelo YOLOv8 treinado para detecção e segmentação de objetos online.
• Representação Morfológica: Uma Rede Triplet treinada para aprender representações latentes contínuas de formas de objetos, permitindo a identificação de estruturas representativas e atípicas.

3. Exploração Adaptativa e Orquestração
O LLM orquestra o fluxo de trabalho selecionando ferramentas e coordenando ações. Durante a aquisição experimental, o sistema emprega uma estratégia de exploração ativa probabilística multiclasse. Uma abordagem Bayesiana atualiza modelos de ocupação espacial específicos por classe após cada varredura. Uma função de utilidade seleciona os locais de medição subsequentes com base na ocupação de classe prevista, incerteza, déficits de amostragem restantes e custos de movimento do scanner. Isso permite que o sistema priorize populações raras e reduza a varredura redundante.

Principais Resultados

O framework foi validado através de simulações e de um experimento físico em uma amostra nanoestruturada contendo quatro classes geométricas (elipses, hexágonos, quadrados e triângulos).

• Eficiência de Simulação: Em simulações comparando cinco estratégias de aquisição, a estratégia de busca ativa reduziu o número de medições e a área amostrada em aproximadamente 71% em relação à varredura raster padrão. Requeriu uma mediana de 38 imagens (13% da grade) comparado a 172,5 imagens (43% da grade) para a varredura raster.
• Desempenho Experimental: Em uma exploração experimental de ~10 mm², o SimuScan-Agent amostrou apenas 17,2% das posições disponíveis (579 imagens) para reconstruir distribuições espaciais específicas de classe.
  • O sistema detectou com sucesso classes abundantes (elipses, hexágonos, quadrados) e aproximou-se dos alvos para classes raras, embora a população mais rara (triângulos) tenha permanecido abaixo de seu alvo devido a limites de tempo.
  • A reconstrução espacial, quantificada pelo Coeficiente de Sobreposição (OVL) contra o design nominal, melhorou rapidamente com a cobertura (ex: a sobreposição de quadrados aumentou de ~60% com 2% de cobertura para 81% com 17,2% de cobertura).
• Biblioteca Morfológica: O sistema construiu uma biblioteca de nível de objeto onde os embeddings aprendidos separaram com sucesso as quatro classes. Usando uma métrica k-vizinhos mais próximos (kNN) no espaço latente, o framework identificou tanto estruturas representativas quanto objetos atípicos exibindo defeitos de fabricação ou artefatos de aquisição.

Significância e Alegações

O artigo afirma que o SimuScan-Agent preenche a lacuna entre o desenvolvimento de modelos impulsionados por dados sintéticos e a exploração experimental direcionada a objetivos. Suas principais contribuições são:

1. Acessibilidade: Ao usar linguagem natural para orquestrar fluxos de trabalho complexos, o framework reduz as barreções para pesquisadores sem expertise especializada em programação ou ML, permitindo que definam objetivos experimentais e coordenem a geração de dados, treinamento e aquisição.
2. Eficiência e Escalabilidade: A abordagem demonstra que a aquisição impulsionada por decisões pode superar significativamente a amostragem esparsa não adaptativa e a aquisição raster, permitindo a investigação de populações dispersas e heterogeneidade espacial de longo alcance, mantendo a resolução nanométrica.
3. Fluxo de Trabalho Integrado: Conecta a geração de dados sintéticos baseada em física, o treinamento de modelos e a aquisição adaptativa em um único fluxo de trabalho rastreável e reproduzível.
4. Além da Imagem: A biblioteca morfológica de nível de objeto resultante permite a caracterização quantitativa e a classificação de estruturas com base em representações aprendidas, indo além da simples imagem para a análise inteligente da variabilidade da amostra.

Os autores observam que, embora o sistema reduza a necessidade de anotação manual e programação, permanecem desafios em relação à avaliação iterativa da diversidade de dados sintéticos e à confiabilidade da reconstrução espacial para populações extremamente esparsas. Eles posicionam este trabalho como uma fundação para sistemas de AFM mais inteligentes, capazes de adaptar estratégias experimentais com base no que aprendem durante a medição.