An Explainable Deep Learning Framework for Integrated Steel Microstructure Classification and Surface Defect Analysis

Resumo Técnico: Um Framework de Aprendizado Profundo Explicável para Classificação Integrada de Microestrutura de Aço e Análise de Defeitos de Superfície

Definição do Problema
O controle de qualidade automatizado na fabricação de aço exige a análise simultânea de dois aspectos distintos, porém complementares: a microestrutura interna (que determina as propriedades mecânicas) e os defeitos de superfície (que comprometem a integridade estrutural). As abordagens existentes tratam tipicamente esses aspectos como tarefas isoladas, utilizando modelos e fluxos de trabalho separados, o que limita sua aplicabilidade prática em sistemas de inspeção integrados. Além disso, muitos estudos relatam métricas de desempenho de execução única sem validação estatística, e poucos incorporam explicabilidade ou estimativa de severidade em um pipeline unificado. Essa falta de integração força os engenheiros a reconciliar saídas desconectadas, enquanto a natureza de "caixa-preta" dos modelos de aprendizado profundo dificulta a confiança em ambientes industriais regulamentados.

Metodologia
O estudo propõe um framework de aprendizado profundo unificado e de modo duplo que integra quatro componentes principais em um único pipeline:

1. Classificação de Microestrutura: Utilizando o conjunto de dados de Aço com Ultra-Alto Carbono (UHCS), o sistema emprega transferência de aprendizado (transfer learning) com uma arquitetura ResNet50 para classificar seis classes microestruturais (ex: esferoidita, perlita e suas combinações). Para lidar com o desequilíbrio de classes (notadamente uma razão de 74:1 entre esferoidita e perlita+widmanstätten), foi aplicada uma perda de entropia cruzada ponderada (weighted cross-entropy loss). O sistema fornece as três melhores previsões (Top-3) com pontuações de confiança para lidar com ambiguidades visuais.
2. Detecção de Defeitos de Superfície: Utilizando o conjunto de dados de defeitos de superfície NEU, o framework emprega um modelo de detecção de objetos YOLOv8 para localizar e classificar seis tipos de defeitos (fissuras/crazing, inclusão, manchas, superfície picada, escama laminada e arranhões).
3. Estimativa de Severidade Baseada em Regras: Um módulo transparente converte as saídas de detecção em níveis de severidade acionáveis (BAIXA, MÉDIA, ALTA). Esta lógica baseia-se no número de caixas delimitadoras (bounding boxes) detectadas e em suas pontuações médias de confiança, em vez de um modelo de severidade aprendido.
4. Explicabilidade (Grad-CAM): O Mapeamento de Ativação de Classe Baseado em Gradiente (Gradient-weighted Class Activation Mapping) é integrado ao ramo de classificação para visualizar as regiões da imagem que influenciam as decisões do modelo, garantizando que o modelo foque em características microestruturais fisicamente significativas.

O sistema opera em uma configuração de modo duplo controlada (modo UHCS para classificação/explicabilidade; modo NEU para detecção/severidade) gerenciada por um controlador central. Para garantir o rigor estatístico, todos os modelos foram treinados e avaliados ao longo de três execuções independentes com diferentes sementes aleatórias.

Resultos Principais

• Desempenho de Classificação: O modelo ResNet50 com transferência de aprendizado alcançou uma acurácia de 88,52% ± 1,05% e um F1-score de 88,59% ± 1,09% ao longo de três execuções. Isso superou significativamente uma CNN de linha de base treinada do zero (76,67% de acurácia) e a EfficientNetB3 (87,04% de acurácia). No entanto, o modelo teve dificuldades com a classe "perlita+widmanstätten" devido à extrema escassez de dados (apenas 10 amostras no total), atingindo 0,0% de acurácia em várias execuções.
• Desempenho de Detecção: O modelo YOLOv8 alcançou uma precisão média média (mAP@0.5) de 0,715 ± 0,005. O desempenho variou conforme o tipo de defeito; defeitos distintos como "inclusão" e "arranhões" tiveram bom desempenho, enquanto "fissuras/crazing" provou ser desafiador, resultando em um recall de 0,000 (embora a precisão tenha sido 1,000, indicando que o modelo raramente o detectou, mas estava correto quando o fazia).
• Severidade e Explicabilidade: A estimativa de severidade baseada em regras permaneceu estável sob análise de sensibilidade, com 87% das atribuições consistentes sob perturbações de limiar de ±0,05. As visualizações de Grad-CAM confirmaram que o modelo atentou para características microestruturais relevantes (ex: contornos de grão e redes de carbetos) em vez de artefatos de fundo. As pontuações de confiança correlacionaram-se com a complexidade metalúrgica, com classes distintas atingindo confiança de 1,000 e classes ambíguas atingindo pontuações menores (ex: 0,674 para perlita+widmanstätten).

Principais Contribuições
A principal contribuição deste trabalho é a integração de classificação de microestrutura, detecção de defeitos de superfície, estimativa de severidade e explicabilidade em um framework unificado e modular, avaliado em dois conjuntos de dados de aço distintos. Diferente de trabalhos anteriores que abordam essas tarefas de forma independente, este sistema fornece um fluxo de trabalho coerente para a avaliação automatizada da qualidade do aço. Adicionalmente, o estudo enfatiza a confiabilidade estatística ao relatar a média e o desvio padrão ao longo de três execuções de treinamento independentes, abordando uma lacuna comum de reprodutibilidade na literatura de IA para ciência dos materiais.

Significância e Alegações
Os autores alegam que este framework vai além de previsões isoladas de modelos para fornecer uma ferramenta de inspeção prática e interpretável, adequada para a avaliação automatizada da qualidade do aço. A integração de Grad-CAM e estimativa de severidade baseada em regras aborda a necessidade industrial de tomada de decisão auditável e transparente. O estudo postula que, embora os componentes individuais (como ResNet50 ou YOLOv8) não sejam novos isoladamente, sua combinação em um pipeline unificado de modo duplo com validação estatística representa um passo significativo em direção à IA industrial implementável. Os autores reconhecem as limitações, particularmente quanto à escassez de dados para microestruturas específicas e à dificuldade de detectar defeitos baseados em textura como fissuras/crazing, sugerindo que melhorias futuras devem focar em aumento de dados (data augmentation) e modelos de severidade aprendidos, em vez de heurísticas baseadas em regras.