💻 computer science

RobustDefect-LLM: Explainable and Robustness-Aware Industrial Surface Defect Classification with Decision Support and AI-Assisted Reporting

Este artigo apresenta o RobustDefect-LLM, um framework integrado de inspeção de defeitos de superfície industrial que combina a classificação de alta precisão do MobileNetV3-Large com roteamento de revisão humana baseado em confiança e relatórios assistidos por IA para entregar um fluxo de trabalho de controle de qualidade robusto, explicável e rastreável, ao mesmo tempo em que reconhece explicitamente sua sensibilidade de desempenho à degradação severa da imagem.

Autores originais: Nazlıcan Düşünmez, Halûk Gümüşkaya

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nazlıcan Düşünmez, Halûk Gümüşkaya

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde as fábricas são como cozinhas gigantes e movimentadas, e os chefs (robôs) estão tentando cozinhar refeições perfeitas. Mas, às vezes, a comida fica um pouco queimada ou uma mancha aparece no prato. No mundo real da manufatura, essas "manchas" são chamadas de defeitos de superfície e podem arruinar a confiabilidade de um produto. Por muito tempo, os humanos tiveram que encarar cada item individualmente, apertando os olhos para encontrar essas pequenas falhas. Era cansativo, e os humanos se cansam, o que significa que erros acontecem. Entre com a Inteligência Artificial (IA), especificamente um ramo chamado "Aprendizado Profundo" (Deep Learning). Pense no Aprendizado Profundo como um estudante superpoderoso que não apenas memoriza imagens de defeitos, mas realmente aprende como um arranhão ou um amassado se parece ao estudar milhares de exemplos. No entanto, há uma pegadinha: esses estudantes de IA são frequentemente "caixas pretas". Eles lhe dão uma resposta ("Isto é um arranhão!"), mas não conseguem explicar por que acham isso, ou o quão certos estão. Em uma fábrica, você não pode simplesmente confiar em uma caixa preta; você precisa saber se a IA está confiante ou se está apenas adivinhando. É aí que entra a nova ideia de "IA Explicável" — é como pedir ao estudante para apontar exatamente onde ele viu o arranhão e dizer: "Estou 99% seguro porque vejo esta linha aqui".

Este artigo apresenta um novo sistema chamado RobustDefect-LLM, que é como uma equipe completa de controle de qualidade de alta tecnologia para fábricas. Em vez de apenas um robô olhando para um produto, este sistema combina um classificador de IA de visão aguçada, uma "lupa" que mostra aos humanos exatamente para onde a IA está olhando, um árbitro inteligente que decide quando confiar na IA e quando chamar um especialista humano, e até um robô escritor que redige o relatório final. Os pesquisadores testaram este sistema em um conjunto de dados de 1.799 imagens de superfícies de aço com seis tipos diferentes de defeitos (como arranhões, manchas e cavidades). Eles não construíram apenas um modelo; eles testaram quatro tipos diferentes de "cérebros" de IA (ResNet50, EfficientNet-B0, DenseNet121 e MobileNetV3-Large) para ver qual era o melhor em detectar essas falhas.

Os resultados foram bastante impressionantes para o "melhor" candidato, um modelo chamado MobileNetV3-Large. Em um conjunto de imagens de teste limpo e perfeito, este modelo acertou 99,26% das vezes. Isso é incrivelmente preciso! Foi tão bom que ficou estatisticamente empatado com outro forte concorrente, o DenseNet121, o que significa que não houve uma grande diferença entre eles, mas o MobileNetV3-Large foi escolhido porque era mais rápido e leve, facilitando a execução em computadores de fábrica. O sistema também provou que conseguia "ver" o que estava olhando. Usando uma técnica chamada Grad-CAM, o sistema gerou mapas de calor (como uma visão de câmera térmica) que destacavam os pontos exatos no aço onde estava o defeito, dando aos operadores humanos uma prova visual da decisão da IA.

Mas aqui está a parte mais importante da história: o sistema sabe quando não sabe. Os pesquisadores programaram uma regra de "árbitro inteligente". Se a IA não estiver muito confiante (especificamente, se sua pontuação de confiança for inferior a 0,90 ou se estiver confusa entre dois defeitos semelhantes), o sistema interrompe automaticamente e diz: "REVISÃO HUMANA". Em seus testes, essa regra foi muito rigorosa. Ela enviou 87,78% das imagens para um humano verificar, permitendo que apenas 12,22% das decisões ocorressem automaticamente. Por que tão rigoroso? Porque o sistema foi projetado para ser seguro. Quando analisaram os dois erros que a IA cometeu, ambos foram detectados por esta regra de "Revisão Humana"! Isso significa que o sistema evitou com sucesso qualquer decisão automática errada durante o teste.

No entanto, o artigo é muito honesto sobre seus limites. Quando os pesquisadores simularam condições ruins — como tornar as imagens borradas, escuras ou ruidosas — o desempenho da IA caiu significativamente. Em níveis moderados de "condição ruim", a precisão caiu para 87,78% e, em níveis severos, caiu para menos de 40%. Isso nos diz que, embora o sistema seja excelente em um laboratório controlado, ainda não está pronto para lidar com a realidade bagunçada e imprevisível de um chão de fábrica real sem mais treinamento. O sistema também não sabe o que uma peça de aço "perfeita" parece; ele apenas sabe como os seis defeitos específicos se parecem, portanto, não pode dizer se uma peça é perfeita, apenas se ela possui uma falha específica.

Para amarrar tudo, a equipe construiu um aplicativo móvel completo que permite aos trabalhadores da fábrica tirar uma foto de uma chapa de aço, ver o palpite da IA, olhar para o "mapa de calor" para ver para onde a IA está olhando e receber um relatório escrito gerado por um Modelo de Linguagem Grande (LLM). Este relatório é "controlado", o que significa que a IA não pode simplesmente inventar coisas; ela tem que se ater aos fatos encontrados pelo computador. Todo o processo, desde tirar a foto até obter um relatório, é projetado para ser uma parceria entre a máquina e o humano, garantindo que a decisão final seja sempre segura, rastreável e explicada. Os autores sugerem que, embora este seja um grande passo à frente para tornar a IA confiável nas fábricas, ainda é necessário mais teste em condições do mundo real antes que possa operar uma linha de produção inteiramente por conta própria.

Resumo Técnico do RobustDefect-LLM

Declaração do Problema
A inspeção de superfícies industriais é crítica para a confiabilidade da manufatura, mas permanece vulnerável à fadiga humana, subjetividade e variações ambientais. Embora o aprendizado profundo tenha melhorado a precisão da classificação de defeitos, muitas Redes Neurais Convolucionais (CNNs) de alto desempenho operam como "caixas pretas", carecendo da explicabilidade, consciência de incerteza e rastreabilidade exigidas para a implementação prática. Além disso, as soluções existentes frequentemente focam apenas na precisão de benchmarks sem integrar predição, explicação visual, suporte à decisão consciente de confiança e relatórios estruturados em um fluxo de trabalho unificado e implantável. O artigo aborda a lacuna na criação de um sistema de inspeção industrial ponta a ponta e confiável que equilibre alto desempenho preditivo com transparência voltada ao operador e tomada de decisão assistida por IA controlada.

Metodologia
O framework proposto, RobustDefect-LLM, integra quatro funções principais: percepção, explicabilidade, suporte à decisão e relatórios.

Percepção e Avaliação de Modelo: O sistema avalia quatro arquiteturas de CNN baseadas em transferência de aprendizado (ResNet50, EfficientNet-B0, DenseNet121 e MobileNetV3-Large) no conjunto de dados NEU-DET, que contém 1.799 imagens em tons de cinza através de seis classes de defeitos de aço (fissuras, inclusões, manchas, superfície picada, escamas laminadas e riscos). Todos os modelos foram ajustados utilizando divisões idênticas de treino/validação/teste (70%/15%/15%) e normalização do ImageNet.
Explicabilidade: O Grad-CAM é empregado para gerar mapas de calor que destacam as regiões da imagem que influenciam as predições, fornecendo evidência visual aos operadores sem reivindicar prova causal.
Suporte à Decisão Consciente de Confiança: Um motor baseado em regras processa a classe prevista, o escore de confiança máxima ( $c$ ) e a margem dos dois principais escores ( $\Delta$ ). Uma política conservadora direciona as predições para REVISÃO HUMANA se $c < 0,90$ ou $\Delta < 0,10$ . Apenas predições que atendam a ambos os limiares prosseguem para ações automatizadas baseadas em severidade (ACEITAR, REPROCESSAR ou REJEITAR). A severidade do defeito não é prevista pelo modelo, mas atribuída via um mapeamento configurável baseado na classe do defeito.
Relatórios Controlados Assistidos por IA: Um Modelo de Linguagem de Grande Escala (Llama-3.1-8B-Instant via API Groq) gera relatórios em linguagem natural a partir de dados de inspeção estruturados. Para garantir a auditabilidade, o sistema valida os relatórios gerados contra os dados de entrada estruturados; se inconsistências forem detectadas, um relatório de fallback determinístico baseado em regras é utilizado.
Arquitetura do Sistema: O framework é implementado como um protótipo full-stack com um backend FastAPI, MongoDB para armazenamento persistente e um aplicativo móvel React Native para interação do operador.

Principais Resultados

Desempenho de Classificação: A MobileNetV3-Large alcançou a maior acurácia de teste (99,26%) e F1-score macro (0,9926) no conjunto de teste reservado, com um intervalo de confiança bootstrap de 95% de [0,9815, 1,0000]. Um teste exato de McNemar não encontrou diferença estatisticamente significativa entre a MobileNetV3-Large e a DenseNet121 (p = 1,000).
Eficiência: A MobileNetV3-Large demonstrou eficiência computacional superior, exigindo apenas 0,467 GFLOPs e alcançando um throughput de inferência de CPU de 16,66 FPS (0,060 s/imagem).
Robustez: Sob degradação sintética de imagem (desfoque Gaussiano, variação de brilho, ruído), a acurácia caiu para 87,78% em intensidade leve e abaixo de 40% em intensidades severas, indicando sensibilidade à deterioração significativa da qualidade da imagem.
Suporte à Decisão: Os limiares de confiança conservadores resultaram em uma cobertura automática de 12,22% e uma taxa de REVISÃO HUMANA de 87,78%. Entre os 33 casos automaticamente elegíveis, o sistema alcançou 100% de acurácia seletiva observada (IC 95%: 89,43%–100,00%), roteando com sucesso tanto os erros de classificação observados para a revisão humana.
Relatórios: Sob condições nominais, 100% dos relatórios gerados pelo LLM passaram nos testes de consistência determinísticos com uma latência média de 1,66 s.

Significância e Alegações
O artigo afirma que sua principal contribuição não é a proposta de um novo classificador, mas a integração de múltiplos componentes complementares em um fluxo de trabalho industrial unificado, explicável e implantável. A significância reside em:

Integração de Sistema: Combinar transferência de aprendizado eficiente, visualização Grad-CAM, roteamento consciente de confiança, lógica de decisão determinística e relatórios controlados por LLM em um único sistema habilitado para dispositivos móveis.
Confiabilidade sobre a Acurácia Pura: Priorizar um fluxo de trabalho onde predições incertas são explicitamente roteadas para operadores humanos, garantindo que a alta acurácia de benchmark não ocorra às custas da segurança operacional ou auditabilidade.
Viabilidade Prática: Demonstrar que tal framework pode ser construído usando ferramentas padrão de código aberto (FastAPI, React Native, PyTorch) e conjuntos de dados públicos, fornecendo um blueprint para IA rastreável e explicável no controle de qualidade.

Limitações e Direções Futuras
Os autores mantêm uma postura modesta em relação aos resultados atuais, observando que:

O conjunto de dados (NEU-DET) é relativamente pequeno e carece de uma classe "sem defeito", limitando a generalização para produção livre de defeitos.
A robustez é atualmente avaliada apenas sob degradação sintética controlada, não em condições reais de fábrica.
O protótipo atual é uma demonstração local ainda não otimizada para implantação concorrente em larga escala ou integração de borda (edge).
Trabalhos futuros devem focar na expansão de conjuntos de dados, adição de classes sem defeitos, calibração de limiares de confiança para perfis de risco industrial específicos e validação do sistema sob condições reais de produção.

Resumo Técnico do RobustDefect-LLM

Mais como este