Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy

1. Formulação do Problema

A Microscopia Eletrônica de Transmissão (TEM) gera vastas quantidades de dados, mas mais de 90% delas permanecem não publicadas e não utilizadas, sendo frequentemente descartadas para economizar espaço de armazenamento. Esses conjuntos de dados "sobrantes" são ricos em detalhes e variação, mas raramente são utilizados porque:

• Heterogeneidade de Dados: A TEM de ciência dos materiais envolve amostras diversas, modos operacionais e configurações de aquisição, tornando difícil treinar modelos que generalizem entre diferentes condições.
• Ruído e Eficiência de Dose: A TEM moderna prioriza a eficiência de dose (minimizando danos por elétrons), resultando em dados muito ruidosos. Os modelos atuais de remoção de ruído por aprendizado de máquina (ML) são tipicamente treinados do zero para níveis de ruído ou amostras específicas, carecendo de robustez a mudanças nos parâmetros do instrumento (por exemplo, aumento, tempo de permanência, corrente do feixe).
• Falta de Dados Emparelhados: Os conjuntos de dados de código aberto existentes são ou pequenos, sintéticos, ou carecem dos metadados de aquisição ricos e emparelhados necessários para treinar modelos que compreendam a relação entre a aparência da imagem e o estado do instrumento.

O desafio central é aproveitar esses arquivos não utilizados, ricos em metadados, para criar fluxos de trabalho de ML generalizáveis que possam entender estados do instrumento, realizar transferência de estilo e remover ruído de imagens sem exigir novos dados de treinamento emparelhados para cada mudança de parâmetro.

2. Metodologia

Os autores propõem o Pré-treinamento Contrastivo de Imagem-Metadados (CIMP), um framework inspirado no CLIP (Pré-treinamento Contrastivo de Linguagem-Imagem), adaptado para o domínio específico da Microscopia Eletrônica de Varredura de Campo Escuro Anular de Alto Ângulo (HAADF-STEM).

A. Construção do Conjunto de Dados

• Fonte: 7.330 imagens HAADF-STEM coletadas de um único microscópio Titan em um laboratório de pesquisa de materiais anonimizado.
• Conteúdo: Abrange mais de 30 sistemas de materiais distintos (principalmente catalisadores heterogêneos como Pt/CeO2, Pd/ZrO2) com mais de 130 amostras.
• Metadados: Cada imagem é emparelhada com sete parâmetros de aquisição:
  1. Tamanho do pixel
  2. Tempo de permanência
  3. Ângulo de convergência do feixe
  4. Corrente do feixe
  5. Ganho do detector
  6. Offset do detector
  7. Ângulo de coleta interno
• Conjuntos de Avaliação: Séries específicas de imagens tiradas da mesma amostra com parâmetros únicos variados (tempo de permanência, ganho, offset) foram reservadas para avaliação qualitativa, garantindo nenhum vazamento de dados durante o treinamento.

B. Arquitetura CIMP

• Objetivo: Aprender um espaço de incorporação conjunta onde imagens HAADF-STEM e seus vetores de metadados são alinhados via perda contrastiva.
• Codificadores:
  • Codificador de Imagem: Um ResNet-18 (treinado do zero) mostrou-se superior ou igual a Vision Transformers (ViT) pré-treinados no ImageNet, provavelmente devido à lacuna de domínio significativa entre imagens naturais e micrografias STEM.
  • Codificador de Metadados: Um Perceptron Multicamadas (MLP) processando os 7 parâmetros de aquisição.
• Treinamento: Utiliza uma perda contrastiva InfoNCE. O modelo aprende a associar uma imagem ao seu vetor de metadados correto entre um lote de amostras negativas.

C. Aplicações a Montante

As incorporações aprendidas servem como base para duas tarefas principais:

1. Recuperação por Sonda Linear: Testar se parâmetros de aquisição específicos podem ser decodificados linearmente a partir das incorporações visuais congeladas.
2. Transferência de Estilo Generativa: Um gerador baseado em GAN (U-Net com condicionamento FiLM) utiliza as incorporações CIMP para traduzir uma imagem experimental para o estilo que ela teria sob diferentes parâmetros de aquisição.
   • Condicionamento: O gerador recebe uma imagem de origem e dois vetores de incorporação (metadados de origem $e_{id}$ e metadados de destino $e_{tgt}$).
   • Funções de Perda: Perda adversarial ($L_{LSGAN}$), consistência de ciclo ($L_{cyc}$), perda de identidade ($L_{id}$) e uma perda de incorporação perceptual ($L_{emb}$) garantindo que a saída corresponda ao estilo de destino no espaço CIMP.

3. Contribuições Principais

1. Lançamento de Conjunto de Dados: O primeiro conjunto de dados emparelhado de imagem-metadados em grande escala (7.330 imagens) para HAADF-STEM experimental, cobrindo diversos materiais e configurações de instrumentos.
2. Framework CIMP: Um método de pré-treinamento inovador que aprende um espaço de incorporação conjunta para imagens TEM e metadados, tratando essas incorporações como uma camada fundamental para tarefas a montante, em vez de um modelo específico para uma tarefa.
3. Remoção de Ruído Informada pela Física: Demonstrando que a rede de transferência de estilo, quando condicionada a aumentos virtuais no tempo de permanência e na corrente do feixe, atua como um removedor de ruído superior em comparação com bases de referência auto-supervisionadas como Noise2Void.
4. Decodificabilidade Linear: Provando que o objetivo contrastivo, sem supervisão direta dos valores de metadados, resulta em incorporações onde sete parâmetros físicos distintos são individualmente recuperáveis.

4. Resultados

A. Aprendizado de Incorporação e Recuperação

• Hiperparâmetros: O desempenho ótimo foi alcançado com recortes de imagem de 512x512, uma base ResNet-18 e um tamanho de lote efetivo de 512.
• Precisão de Recuperação: O modelo alcançou uma precisão de recuperação Top-1 de 0,844 (associando uma imagem ao seu vetor de metadados correto).
• Comparação de Base: ResNet-18 (treinado do zero) superou ViT pré-treinado no ImageNet (84,4% vs 82,8% Top-1), destacando a especificidade de domínio dos dados STEM.

B. Recuperação de Metadados (Sondas Lineares)

• Usando regressão Ridge em incorporações congeladas, o modelo recuperou com sucesso todos os sete parâmetros.
• Desempenho:
  • Ganho do Detector: Melhor recuperado (SMAPE ≈ 5,3%, $R^2 > 0,82$).
  • Parâmetros transformados por log (Tamanho do pixel, Tempo de permanência, Corrente do feixe): Mostraram $R^2$ mais baixo (0,66–0,78) e SMAPE mais alto (28–47%) devido à natureza multiplicativa dos erros após re-exponenciação, mas ainda eram linearmente decodificáveis.
• Significado: Isso confirma que as incorporações capturam uma representação "fatorada" de parâmetros físicos em vez de colapsar em um único eixo "ruído vs. limpo".

C. Transferência de Estilo e Remoção de Ruído

• Tendências Qualitativas: O gerador mimetizou com sucesso tendências físicas (por exemplo, maior tempo de permanência = mais suave/menos ruidoso; maior corrente do feixe = mais brilhante).
  • Nota: O modelo aprendeu vieses do conjunto de dados (por exemplo, ângulo de convergência correlacionado com corrente do feixe devido a mudanças no diafragma) em vez de física pura em alguns casos.
• Métricas Quantitativas: Em conjuntos de avaliação retidos, o GAN CIMP superou a linha de base "sem edição" na transferência de Ganho (SSIM, PSNR, LPIPS) e igualou a linha de base para Tempo de Permanência.
• Desempenho de Remoção de Ruído:
  • Comparado ao Noise2Void, o GAN CIMP produziu imagens mais realistas.
  • O Noise2Void sofreu com artefatos de tabuleiro de xadrez e conteúdo de fundo alucinado.
  • O GAN CIMP preservou detalhes estruturais enquanto reduzia efetivamente o ruído ao aumentar virtualmente a dose de elétrons.

5. Significado e Impacto

• Mudança de Paradigma: Move a análise de dados TEM de "treinar do zero para cada condição específica" para "pré-treinar em arquivos para aprender física de instrumentos generalizável".
• Utilização de Dados: Valida que dados experimentais "sobrantes" são um recurso valioso para treinar modelos de ML robustos, potencialmente desbloqueando os 90% de dados TEM não utilizados.
• Generalizabilidade: As incorporações CIMP podem servir como sinais de condicionamento para tarefas de segmentação, análise ou recuperação, tornando fluxos de trabalho de ML robustos a variações nas configurações do microscópio.
• Recurso para a Comunidade: O lançamento do conjunto de dados e do código reduz a barreira para outros laboratórios adotarem métodos orientados a dados, encorajando uma cultura de compartilhamento de dados em microscopia eletrônica.

6. Limitações

• Condições de Contorno: O modelo luta com valores extremos de parâmetros (por exemplo, saturação/clipping de imagem) porque tais "dados ruins" são tipicamente descartados por operadores e ausentes do conjunto de treinamento.
• Escala do Conjunto de Dados: Embora seja o maior de seu tipo em TEM de materiais, 7.330 imagens é pequeno comparado a conjuntos de dados de visão computacional (por exemplo, 1,28 milhão de imagens do ImageNet), limitando a escala do treinamento do modelo.
• Viés do Conjunto de Dados: O modelo às vezes aprende correlações presentes no conjunto de dados específico (por exemplo, tamanho do diafragma afetando tanto o ângulo de convergência quanto a corrente do feixe) em vez de leis físicas puras.

Em conclusão, este trabalho estabelece uma nova fundação para TEM de materiais ao demonstrar que o pré-treinamento contrastivo em arquivos ricos em metadados cria representações poderosas e conscientes da física que habilitam tarefas generativas avançadas e remoção de ruído robusta.