Context Determines Optimal Architecture in Materials Segmentation

Resumo Técnico: O Contexto Determina a Arquitetura Ótima em Segmentação de Materiais

Declaração do Problema
As arquiteturas de segmentação atuais na ciência dos materiais são tipicamente avaliadas em modalidades de imagem únicas, o que obscurece variações críticas de desempenho relevantes para a implantação no mundo real. Os autores observam que uma arquitetura ótima para uma modalidade de imagem frequentemente apresenta desempenho inferior em outra. Em seus benchmarks, os modelos com melhor desempenho exibem uma dispersão de 48 pontos percentuais na pontuação de Interseção sobre União (IoU) (variando de 0,47 a 0,95), apesar de protocolos de treinamento idênticos. Essa variação sugere que os vieses indutivos interagem de forma não trivial com as estatísticas específicas da modalidade. Além disso, os benchmarks padrão relatam o desempenho agregado em vez de fornecer orientação de implantação para modalidades e sistemas de materiais específicos. Essa lacuna cria riscos significativos de implantação: modelos de segmentação podem exibir erros de alta confiança sob desvio de covariável (ex: variação de lote, diferenças de preparação ou deriva de imagem), produzindo máscaras semanticamente plausíveis, mas incorretas, que se propagam não detectadas para análises quantitativas subsequentes, como frações de porosidade ou distribuições de tamanho de grão falhas.

Metodologia
Para abordar a necessidade de uma avaliação condicionada ao contexto, os autores propõem um framework de avaliação configurável de três componentes para segmentação de imagens de materiais através de modalidades heterogêneas (SEM, AFM, XCT e microscopia óptica). O framework mapeia entradas heterogêneas para perfis padronizados, produz máscaras de segmentação com sinais de confiabilidade e gera mapas de calor de interpretabilidade.

1. Módulo de Configuração Cross-Modal: Este módulo padroniza especificações de dataset ($D$), descrições de tarefa ($T$) e escolhas de modelo ($M$) em um perfil de configuração ($C$). O perfil é um documento JSON estruturado que define:

   • Propriedades do dataset: Modalidade, sistema de material e metadados.
   • Objetivos da tarefa: Especificações em linguagem natural (ex: "Identificar contornos de grão") e métricas de desempenho.
   • Especificações do modelo: Combinações de encoders (ResNet50, SE-ResNeXt101) e decoders (UNet, DeepLabv3, DeepLabv3+).
     O framework avalia seis combinações de encoder-decoder através de sete datasets para determinar se os rankings arquiteturais são estáveis ou dependentes de contexto.

2. Avaliação com Controle de Qualidade e Sinais de Feedback: Dado uma configuração, este módulo executa o fluxo de trabalho de avaliação para produzir máscimas de segmentação ($Z$) e sinais de confiabilidade ($Q$). Ele utiliza detecção de Out-of-Distribution (OOD) (via embeddings autossupervisionados e estimativa de tipicidade) para quantificar a calibração do modelo sob potencial desvio de covariável. Esses sinais (AUROC, F1, precisão) atuam como avisos acionáveis, identificando desvios de distribuição antes que se manifestem como erros de segmentação.

3. Integração de Conhecimento Especialista via Feedback Contrafactual: Para validar se as representações aprendidas codificam estruturas relevantes ao domínio, o framework gera explicações contrafactuais. Uma função de intérprete constrói entradas perturbadas aplicando kernels de perturbação localizados a regiões de interesse específicas. Ela computa um mapa de calor de influência ($H$) medindo a sensibilidade $\ell_1$ das previsões a essas perturbações. Isso revela quais características microestruturais são críticas para a decisão, permitindo que especialistas verifiquem se o modelo se baseia em características fisicamente significativas (ex: gradientes topográficos) em vez de artefatos específicos do dataset.

Resultados Principais
Ao avaliar seis combinações de encoder-decoder através de sete datasets abrangendo quatro modalidades de imagem, o estudo revela uma dependência sistemática de contexto no desempenho arquitetural:

• Desempenho do Encoder: O SE-ResNeXt101 superou consistentemente o ResNet50 como encoder em todas as configurações.
• Dependência de Contexto do Decoder: A escolha do decoder ótimo está estritamente ligada à dificuldade da tarefa e às características dos dados:
  • Caracterização de Superfície de Alto Contraste (AFM, SEM de Superfície): O UNet pareado com SE-ResNeXt101 alcançou desempenho superior (IoU > 0,90). As conexões de salto (skip connections) do UNet foram fundamentais para preservar gradientes espaciais finos, críticos para a delineação de contornos em imagens 2D de alto contraste.
  • Monitoramento de Processos Dinâmicos: A mesma combinação SE-ResNeXt101 + UNet rendeu desempenho moderado (IoU 0,65–0,76) para tarefas como monitoramento de poça de fusão (melt-pool), onde os desafios derivam da variação temporal em vez de incompatibilidade arquitetural.
  • Análise Volumétrica de Múltiplas Escalas (XCT, Fratografia): Para tarefas 3D complexas envolvendo corrosão sob tensão ou fratografia, a mudança para o DeepLabv3+ como decoder melhorou significativamente o desempenho (IoU 0,47–0,75). O atrous spatial pyramid pooling do DeepLabv3+ capturou efetivamente padrões de defeitos em múltiplas escalas e lidou melhor com morfologias irregulares de redes de trincas subsuperficiais do que o UNet.
• Variância de Desempenho: A mesma arquitetura (SE-ResNeXt101 + UNet) alcançou um IoU de 0,901 em análise de cristalitos, mas apenas 0,652 para monitoramento de manufatura, uma disparidade de 25 pontos percentuais que seria mascarada por um relatório agregado.

Significância e Alegações
O artigo afirma abordar uma lacuna prática na caracterização de materiais, onde pesquisadores carecem de ferramentas para selecionar arquiteturas para suas configurações de imagem específicas ou avaliar a confiabilidade do modelo em novas amostras. Ao demonstrar que "o contexto determina a arquitetura ótima", os autores argumentam que os benchmarks estáticos e agregados são insuficientes para fluxos de trabalho científicos.

A significância do framework reside em sua capacidade de fornecer:

1. Orientação de Arquitetura: Evidência de que os vieses indutivos devem ser combinados com as características da imagem (ex: UNet para 2D de alto contraste, DeepLabv3+ para complexidade volumétrica).
2. Sinais de Confiabilidade: Mecanismos para detectar falhas silenciosas via detecção de OOD, prevenindo a propagação de erros para a análise científica subsequente.
3. Interpretabilidade: Explicações contrafactuais que permitem aos especialistas do domínio validar se os modelos estão focando em características microestruturais fisicamente significativas.

Os autores concluem que a combinação de controle de qualidade com feedback interpretável por especialistas apoia a implantação confiável em fluxos de trabalho científicos onde falhas silenciosas acarretam custos reais, permitindo um ciclo iterativo desde a especificação da tarefa até a seleção de arquitetura, avaliação de qualidade e validação por especialistas.