Unsupervised segmentation and clustering workflow for efficient processing of 4D-STEM and 5D-STEM data

Este artigo apresenta um fluxo de trabalho de segmentação e agrupamento não supervisionado que utiliza a similaridade local de padrões de difração para identificar domínios cristalinos distintos em dados 4D-STEM e 5D-STEM, permitindo compressão de dados, melhoria da qualidade do sinal e mapeamento eficiente de orientação, fase e tensão.

O essencial

O Problema: Um "Mar" de Dados Confusos

Imagine que você está tentando entender como uma cidade cresce olhando para ela de um avião. Você tira uma foto de cada quarteirão. Agora, imagine que, em vez de tirar uma foto, você tira milhões de fotos de cada quarteirão, mostrando não apenas a rua, mas também a estrutura interna de cada prédio, o tipo de tijolo usado e a tensão nas vigas.

Isso é o que os cientistas fazem com o Microscópio Eletrônico de Transmissão (STEM). Eles escaneiam uma amostra minúscula (como nanopartículas de ouro) e geram um "mar" de dados gigantesco (chamado de dados 4D ou 5D). O problema é que esse mar é tão grande e barulhento (cheio de estática, como uma TV fora do ar) que é impossível para um computador ou um humano analisar cada ponto individualmente sem ficar louco ou demorar anos. Além disso, em experimentos "ao vivo" (como ver o ouro crescendo na água), os dados chegam em tempo real, criando uma enxurrada ainda maior.

A Solução: O "Detetive de Vizinhos" Inteligente

Os autores deste artigo criaram um novo método de agrupamento (clustering) que funciona como um detetive muito esperto e organizado. Em vez de analisar cada pixel (ponto da imagem) sozinho, o método pergunta: "Quem são meus vizinhos e nós somos parecidos?"

Aqui está como o processo funciona, passo a passo:

1. A Limpeza (O Filtro de Ruído)

Antes de começar a organizar, o método dá uma "lavada" nos dados. Imagine que você tem uma foto granulada e cheia de poeira. O algoritmo aplica um filtro suave que remove a poeira (ruído) mas mantém os contornos importantes. Ele olha para cada ponto e compara com seus vizinhos imediatos. Se o vizinho parece muito parecido, ele ajuda a limpar a imagem daquele ponto.

2. O Jogo do "Encontre os Parecidos" (O Algoritmo de Marcha)

Agora vem a parte mágica. O algoritmo usa uma técnica chamada "Marching Squares" (que podemos imaginar como um jogo de "caminhar em quadrados").

• Ele escolhe um ponto de partida (uma semente).
• Ele olha para os 8 vizinhos ao redor.
• Se o vizinho tiver uma "assinatura" de luz (padrão de difração) muito parecida com a da semente, ele é convidado a entrar no grupo.
• O grupo cresce, convidando os vizinhos dos novos membros, como uma bola de neve rolando ladeira abaixo, até que não haja mais ninguém parecido para entrar.

Isso cria ilhas de similaridade. Em vez de ter 260.000 pontos individuais, o computador agora vê apenas 50 ou 100 "ilhas" (agrupamentos) que representam regiões com a mesma estrutura cristalina.

3. A Mágica da Média (Melhorando a Sinalização)

Aqui está o truque de mestre: em vez de analisar cada uma das 260.000 fotos individuais, o computador pega todas as fotos dentro de uma "ilha" e faz uma média delas.

• Analogia: Imagine que você está em uma sala barulhenta tentando ouvir alguém sussurrando. Se você ouvir uma pessoa, é difícil. Mas se 100 pessoas sussurarem a mesma frase ao mesmo tempo, você consegue ouvir perfeitamente.
• Ao fazer a média dos padrões de difração de todos os pontos de uma "ilha", o sinal fica super forte e claro, e o ruído desaparece.

Por que isso é incrível?

1. Velocidade Relâmpago: Analisar 260.000 pontos leva muito tempo. Analisar 100 "ilhas" leva segundos. É como tentar ler um livro palavra por palavra versus ler apenas os capítulos principais.
2. Mapas Precisos: Com os dados limpos e agrupados, os cientistas podem criar mapas de orientação (para onde os cristais estão apontando) e tensão (se o material está esticado ou apertado) com uma precisão que antes era impossível em ambientes barulhentos (como dentro de uma célula líquida).
3. Economia de Espaço: Os dados ficam milhares de vezes menores, o que facilita salvar e compartilhar.

O Exemplo Prático: O Ouro que Cresce na Água

Os autores testaram isso observando nanopartículas de ouro crescendo dentro de uma célula líquida (como ver uma planta crescer em tempo real, mas em escala nanométrica).

• Sem o método: A imagem seria um borrão confuso de luz e sombra, difícil de distinguir onde termina um grão de ouro e começa a água.
• Com o método: O algoritmo desenhou contornos perfeitos ao redor de cada cristal de ouro, mostrando exatamente como eles cresceram, onde se encontraram e como estavam tensionados, mesmo com a água e o ruído ao redor.

Conclusão

Em resumo, os autores criaram uma ferramenta que transforma um caos de dados complexos em um mapa organizado e limpo. É como ter um tradutor que pega uma conversa confusa de milhares de pessoas e a resume em 10 frases claras e precisas. Isso permite que cientistas vejam a estrutura da matéria com detalhes incríveis, mais rápido e com menos esforço computacional, abrindo portas para novas descobertas em materiais e nanotecnologia.

O código dessa ferramenta é gratuito e está disponível para que qualquer pessoa possa usá-la e melhorar ainda mais nossa compreensão do mundo microscópico.

Resumo técnico

Título do Artigo

Fluxo de trabalho não supervisionado de segmentação e agrupamento para processamento eficiente de dados 4D-STEM e 5D-STEM.

1. O Problema

A Microscopia Eletrônica de Transmissão de Varredura Quatro-Dimensional (4D-STEM) permite mapear informações de difração com resolução espacial na escala de nanômetros, fornecendo insights detalhados sobre estrutura local, orientação e tensão. No entanto, o aumento da dimensionalidade dos dados e da densidade de amostragem, especialmente em experimentos in situ (5D-STEM, que adicionam uma dimensão temporal), apresenta desafios críticos:

• Volume de Dados: Os conjuntos de dados são massivos, exigindo métodos computacionais que reduzam os dados sem perder detalhes estruturais fundamentais.
• Ruído e Baixa Relação Sinal-Ruído: Detectores modernos permitem medições rápidas e de baixa dose, resultando em padrões de difração com baixo sinal-ruído, dificultando a análise direta.
• Limitações de Métodos Atuais: As abordagens tradicionais (seleção manual de regiões ou limiarização global) frequentemente ignoram variações físicas sutis entre posições de sonda vizinhas. Métodos de agrupamento existentes (como K-means, DBSCAN ou redes neurais) são sensíveis a parâmetros definidos pelo usuário, podem falhar em capturar regiões de formato irregular ou aninhadas, e nem sempre estão integrados em fluxos de trabalho unificados para 4D/5D-STEM.

2. Metodologia

Os autores desenvolveram um framework de agrupamento (clustering) não supervisionado baseado no algoritmo de Marching Squares, implementado como um módulo no pacote Python de código aberto py4DSTEM. O processo ocorre em quatro etapas principais:

1. Pré-processamento e Filtragem Correlativa:

   • Aplicação de um filtro de média ponderada baseada em correlação no espaço recíproco.
   • Cada padrão de difração é comparado com seus vizinhos espaciais. Padrões com alta correlação (indicando estrutura cristalina similar) são usados para refinar o sinal, aumentando a relação sinal-ruído sem suavizar excessivamente as fronteiras entre domínios distintos.
   • Uso de uma função de peso radial para suprimir o feixe central e realçar características de difração em ângulos mais altos.

2. Cálculo da Matriz de Similaridade:

   • Calcula-se a similaridade (coeficiente de correlação normalizada) entre o padrão de difração de cada ponto de sonda e seus vizinhos imediatos (8 vizinhos).
   • Gera-se um mapa escalar de similaridade média ($\bar{S}$) para cada posição na imagem real.

3. Segmentação e Agrupamento (Marching Squares):

   • O algoritmo identifica regiões espacialmente coerentes onde a similaridade local excede um limiar definido pelo usuário ($T$).
   • O processo começa a partir do pixel não atribuído com a maior similaridade (semente) e cresce iterativamente, adicionando vizinhos que atendem ao critério de similaridade, formando contornos fechados que delimitam domínios cristalinos distintos.
   • Regiões de fundo ou com sinal insuficiente são mascaradas.

4. Refinamento e Redução de Dados:

   • Padrões de difração dentro de cada cluster são medidos (médias), gerando um único padrão representativo por cluster.
   • Isso reduz a dimensão dos dados de $N_{probes}$ (ex: $512 \times 512$) para $N_{clusters}$ (tipicamente $10^{-2}$ a $10^{-3}$ do original), criando um cubo de dados 3D reduzido ($N_{clusters}, q_x, q_y$).

3. Contribuições Principais

• Framework Generalizável: Uma abordagem robusta que funciona com poucos parâmetros ajustáveis (principalmente o limiar de similaridade e o tamanho mínimo do cluster), adaptável a diversos tipos de amostras e condições experimentais.
• Redução Massiva de Dados: Permite a compressão de dados em várias ordens de magnitude, facilitando o armazenamento, visualização e processamento, especialmente crucial para dados 5D-STEM (in situ).
• Melhoria de Sinal: A média dos padrões dentro dos clusters melhora significativamente a relação sinal-ruído, revelando feixes de Bragg de alta angulação que seriam invisíveis nos dados brutos.
• Integração de Software: Implementação nativa no ecossistema py4DSTEM, tornando a ferramenta acessível e reprodutível para a comunidade científica.

4. Resultados

O método foi validado utilizando dados de 4D-STEM de nanopartículas de ouro (Au) crescendo em uma célula líquida in situ sob irradiação eletrônica:

• Qualidade do Sinal: Os padrões de difração médios dos clusters mostraram feixes de Bragg muito mais nítidos e visíveis em comparação com os dados brutos ou pré-processados sem agrupamento.
• Eficiência Computacional: O mapeamento de orientação (ACOM - Automated Crystal Orientation Mapping) foi acelerado drasticamente. Em vez de processar ~262.000 padrões de difração ($512 \times 512$), o algoritmo processou apenas os padrões médios dos clusters, reduzindo o custo computacional em ordens de magnitude.
• Precisão de Orientação: A validação cruzada (checkerboard) demonstrou que o uso de pré-processamento + clustering reduziu o erro angular médio de mapeamento de orientação de 7,32° (dados brutos) para 2,03°.
• Mapeamento de Tensão: O método permitiu a geração de mapas de orientação e tensão (dilação) robustos. Embora a média possa misturar sinais em fronteiras complexas, a abordagem permitiu identificar gradientes de tensão e limites de grão mesmo em ambientes líquidos ruidosos.

5. Significado e Impacto

Este trabalho estabelece um fluxo de trabalho escalável e fisicamente significativo para a análise de microscopia eletrônica multidimensional.

• Viabilidade para Experimentos In Situ: A capacidade de reduzir dados em tempo real ou pós-processamento torna viável a análise de experimentos 5D-STEM contínuos, que geram volumes de dados anteriormente intratáveis.
• Acessibilidade: Ao ser um módulo de código aberto com poucos parâmetros, democratiza a análise avançada de dados 4D-STEM para pesquisadores sem formação profunda em ciência de dados.
• Fundação para Futuras Análises: A segmentação espacialmente coerente serve como base para análises mais complexas, como a detecção de limites de twin, fronteiras de grãos e correlações estruturais em sistemas policristalinos complexos.

Em resumo, a metodologia proposta transforma dados 4D/5D-STEM brutos e ruidosos em representações estruturais claras e compactas, permitindo uma caracterização quantitativa precisa de orientação e tensão em nanoescala.