💻 ciência da computação

Revisiting RIAWELC: Radiograph-Level Auditing Reveals Data Leakage and Class-Selective Domain Shift in Weld Defect Classification

Este artigo expõe vazamento de dados severo e desvio de domínio seletivo por classe no conjunto de dados de defeitos de soldagem RIAWELC causado por duplicatas byte a byte idênticas e artefatos de aquisição, demonstrando que a auditoria ao nível de radiografia é essencial para evitar que modelos de aprendizado profundo confundam memorização e artefatos com generalização genuína.

Autores originais: beny beny, hendry hendry, ivanna k. timotius, budhi kristianto

Publicado 2026-10-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: beny beny, hendry hendry, ivanna k. timotius, budhi kristianto

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nas indústrias pesadas que constroem nossas pontes, navios e oleodutos, a segurança de uma estrutura muitas vezes depende de uma única solda. Se uma pequena rachadura ou uma bolha de ar oculta se formar dentro dessa junta, isso pode levar a uma falha catastrófica. Para encontrar essas falhas ocultas sem cortar o metal, os inspetores usam radiografia, uma técnica semelhante a um raio-X médico que faz passar radiação através da solda para criar uma imagem de seu interior. Por décadas, humanos estudaram essas imagens, mas o processo é lento e depende da experiência do inspetor. Nos últimos anos, cientistas recorreram à inteligência artificial para automatizar essa tarefa, treinando programas de computador para reconhecer as assinaturas visuais de rachaduras, lacunas e bolhas. A esperança é que as máquinas possam inspecionar essas juntas críticas de forma mais rápida e consistente do que as pessoas, garantindo que a infraestrutura em que confiamos permaneça segura.

No entanto, um novo estudo sugere que a maneira como esses modelos de inteligência artificial foram testados pode ter dado uma falsa sensação de segurança. Pesquisadores descobriram que um conjunto de dados popular usado para treinar esses sistemas continha uma falha oculta: as mesmas imagens de origem foram acidentalmente usadas tanto para ensinar o computador quanto para testar seu conhecimento. É como dar a um aluno um exame prático e depois usar exatamente as mesmas perguntas para a prova final; o aluno teria uma pontuação perfeita, não porque aprendeu o conteúdo, mas porque simplesmente memorizou as respostas. Quando os pesquisadores corrigiram esse erro, garantindo que nenhuma imagem de origem única aparecesse tanto no grupo de treinamento quanto no de teste, o desempenho da inteligência artificial caiu significitivamente. Isso revelou que as altas pontuações relatadas em estudos anteriores estavam medindo memorização, em vez de compreensão real.

Os pesquisadores, liderados por uma equipe da Universidade Cristã Satya Wacana e da Universidade Dinamica Bangsa, foram além de apenas corrigir os dados. Eles auditaram o conjunto de dados corrigido para ver se havia outros problemas ocultos que os testes padrão poderiam omitir. Eles descobriram que, mesmo após remover as imagens duplicadas, a inteligência artificial tinha dificuldades com um arquivo de imagem específico e incomum que parecia diferente do restante. Este arquivo, chamado "bam5", veio de uma fonte diferente ou foi capturado sob condições diferentes das milhares de outras imagens no conjunto. Enquanto o computador conseguia identificar facilmente defeitos nas imagens padrão, ele falhava miseravelmente ao tentar detectar rachaduras neste arquivo específico e incomum.

A investigação revelou que o problema não era com a capacidade de aprendizado do computador, mas com a natureza da própria imagem. O arquivo "bam5" era visivelmente mais borrado do que os outros, provavelmente devido a uma diferença na forma como o raio-X foi tirado ou processado. Esse borrão não afetou todos os tipos de defeitos igualmente. A inteligência artificial continuou perfeita em encontrar grandes lacunas e bolhas arredondadas, mesmo na imagem borrada. No entanto, sua capacidade de detectar rachaduras finas, como fios de cabelo, colapsou, caindo para uma taxa de sucesso de apenas 38 por cento. O estudo mostrou que o borrão especificamente ocultava as linhas finas e delicadas que definem uma rachadura, enquanto deixava os defeitos maiores e mais robustos visíveis. Esta é uma distinção crucial porque as rachaduras são frequentemente o tipo de defeito mais perigoso, e não detectá-las poderia ter consequências graves.

Para provar que isso era um problema real e não apenas um acaso, os pesquisadores testaram treze tipos diferentes de modelos de inteligência artificial, variando de redes simples a sistemas modernos complexos. Todos eles mostraram o mesmo padrão: apresentavam bom desempenho nas imagens padrão, mas falhavam em detectar rachaduras na imagem borrada "bam5". Os pesquisadores usaram uma ferramenta estatística para confirmar que a imagem borrada era, de fato, diferente do restante do grupo, identificando a falta de nitidez como o fator primário que confundiu os computadores. Eles descobriram que a diferença era tão distinta que um programa estatístico simples podia distinguir a imagem borrada do restante do grupo com precisão quase perfeita, quase todas as vezes.

Esta descoberta destaca uma lacuna crítica na forma como os sistemas de segurança industrial são atualmente avaliados. O estudo demonstra que testar uma inteligência artificial em um mix de imagens não é suficiente para garantir que ela funcionará no mundo real. Se os dados de teste incluírem imagens que parecem ligeiramente diferentes das que o computador foi treinado — talvez porque foram tiradas com uma máquina diferente ou em um momento diferente — o sistema pode falhar silenciosamente nos defeitos mais perigosos. Os pesquisadores argumentam que os testes futuros devem ser projetados para verificar essas diferenças sutis, garantindo que a inteligção artificial possa lidar com a realidade desordenada da inspeção industrial, não apenas com as imagens limpas e uniformes encontradas em um conjunto de dados perfeito. Ao detectar essas fraquezas ocultas antes de serem implementadas, os engenheiros podem construir sistemas que verdadeiramente mantenham nossa infraestrutura segura.

Problema

O artigo aborda duas falhas críticas na avaliação de modelos de aprendizado profundo para classificação de defeitos de soldagem radiográfica utilizando o conjunto de dados público RIAWELC:

Vazamento de Dados via Divisão por Patches (Patch-Level Splitting): O conjunto de dados original divide os dados ao nível de patch, em vez de nível de radiografia de origem. Como múltiplos patches são recortados da mesma radiografia de origem, a divisão aleatória frequentemente coloca patches da mesma imagem de origem tanto no conjunto de treinamento quanto no de teste. Isso permite que os modelos "memorizem" características específicas da fonte (ex: ruído do sensor, geometria da solda) em vez de aprender características de defeitos generalizáveis, levando a métricas de acurácia infladas.
Desvio de Domínio Oculto (Hidden Domain Shift): Mesmo após corrigir o vazamento de dados, a avaliação por patch pode mascarar desvios de domínio causados pela aquisição. Os autores identificaram uma radiografia específica, bam5, que exibia uma nomenclatura anômala e características visuais (borrão/blur). Sob métricas agregadas padrão, o impacto desse desvio de domínio específico foi obscurecido, embora tenha causado uma degradação severa e seletiva por classe, que passou despercebida em estudos anteriores.

Metodologia

Os autores propõem um protocolo de auditoria em nível de radiografia abrangente e o aplicam ao conjunto de dados RIAWELC através do seguinte fluxo de trabalho:

Reconstrução do Conjunto de Dados (RIAWELC-RG):
- Detecção de Vazamento: Os autores realizaram o hashing MD5 no conjunto de dados original, confirmando que todos os 2.443 arquivos no conjunto de teste original eram duplicatas byte a byte dos arquivos de treinamento.
- Divisão em Nível de Radiografia: Eles construíram um novo conjunto de dados, o RIAWELC-RG, agrupando os patches pelo ID da radiografia de origem. Todos os patches de uma única radiografia de origem foram atribuídos exclusivamente ao conjunto de treinamento, validação ou teste, garantindo zero sobreposição entre os subconjuntos.
- Deduplicação: O conjunto de dados resultante contém 21.964 patches únicos de 29 radiografias de origem distintas.
Protocolo de Auditoria:
Para investigar a radiografia anômala bam5, os autores aplicaram um pipeline de diagnóstico de quatro componentes:
- Desempenho por Radiografia ( $P_{perf}$ ): Analisando a acurácia de classificação para cada radiografia de origem individualmente.
- Distância de Embedding ( $P_{dist}$ ): Calculando a distância dos patches de bam5 em relação ao centroide do domínio RRT (as radiografias padrão) no espaço de características de um modelo ConvNeXtV2-T totalmente ajustado (fine-tuned).
- Perfil Estatístico ( $P_{stat}$ ): Computando estatísticas de intensidade e textura (ex: variância de nitidez de Laplacian) para identificar artefatos de aquisição.
- Classificação de Domínio ( $P_{clf}$ ): Treinando um classificador Random Forest para distinguir os patches de bam5 dos patches do domínio RRT usando características estatísticas.
Generalização e Validação:
- Avaliação Cross-Architecture: O estudo avaliou 13 arquiteturas diferentes (incluindo CNNs como ConvNeXtV2, MobileNet e Transformers como ViT, DeiT e XCiT) para garantir que as descobertas não fossem específicas de uma arquitetura.
- Validação Cruzada de 5 Dobras (5-Fold Cross-Validation): Uma validação cruzada de 5 dobras em nível de radiografia foi realizada para verificar se as lacunas de desempenho observadas não eram artefatos de uma única partição de dados.

Principais Resultados

1. Confirmação de Vazamento de Dados
A auditoria MD5 confirmou que o conjunto de teste original do RIAWELC era 100% duplicado do conjunto de treinamento. Consequentemente, as altas acurácias reportadas anteriormente (ex: 93,33%) mediam memorização, não generalização.

2. Degradação Seletiva por Classe em bam5
Quando avaliado na divisão livre de vazamento (RIAWELC-RG), a inclusão de bam5 no conjunto de teste causou uma queda significativa na acurácia geral (ex: de 0,9663 para 0,9277 para ConvNeXtV2-T). Crucialmente, essa degradação foi seletiva por classe:

Trinca (Crack): A acurácia caiu para 0,380.
Falta de Penetração (LoP) & Porosidade: A acurácia permaneceu em 1,000.
Sem Defeito (No Defect): Alta acurácia mantida.

3. Identificação do Mecanismo de Desvio

Evidência Visual/Estatística: Os patches de bam5 pareciam uniformemente mais borrados (blurry) que os patches RRT. A análise estatística revelou que o bam5 possuía uma variância de nitidez de Laplacian significativamente menor em comparação ao domínio RRT.
Separabilidade de Domínio: Um classificador de domínio Random Forest treinado em características estatísticas conseguiu distinguir os patches de bam5 dos patches RRT com acurácia quase perfeita (ROC-AUC = 0,9995).
Importância de Atributos (Feature Importance): A variância de nitidez de Laplacian foi o atributo dominante (contribuindo com ~50,8% de importância) para separar os domínios.
Mecanismo: Os autores concluem que bam5 representa um desvio de domínio causado por borrão de aquisição (acquisition blur). Esse borrão afeta desproporcionalmente as trincas (cracks), que dependem de estruturas lineares finas de alta frequência, enquanto defeitos mais grosseiros como LoP e porosidade permanecem reconhecíveis.

4. Generalização entre Arquiteturas
A lacuna de desempenho causada por bam5 foi consistente em todas as 13 arquiteturas avaliadas (CNNs, híbridos e Transformers). Um teste t pareado entre os 13 modelos confirmou que a lacuna era estatisticamente significativa ( $p < 10^{-6}$ ), provando que o efeito é uma propriedade dos dados, não uma limitação específica do modelo.

5. Descobertas da Validação Cruzada
Na validação cruzada de 5 dobras, o padrão de "colapso da classe de trinca" reapareceu em outras radiografias (ex: RRT-107R, RRT-29R), sugerindo que, embora o bam5 seja um caso de estudo claro, os desvios de domínio seletivos por classe devido a variações de aquisição são uma vulnerabilidade mais ampla em conjuntos de dados baseados em patches.

Significância e Alegações

O artigo afirma que a avaliação em nível de radiografia deve ser acompanhada de uma auditoria explícita de desvio de domínio para evitar confundir artefatos de aquisição com falha real de generalização.

Além da Correção de Vazamento: Apenas remover patches duplicados (deduplicação) é insuficiente. Pesquisadores devem auditar para identificar radiografias de "domínio difícil" que introduzem desvios invisíveis para métricas agregadas.
Seletividade de Classe: Desvios de domínio em radiografia industrial podem não afetar todas as classes igualmente; eles podem ser altamente específicos para tipos de defeitos que dependem de detalhes espaciais finos (como trincas).
Replicabilidade do Protocolo: O protocolo de auditoria proposto (combinando desempenho por radiografia, distância de embedding, perfil estatístico e classificação de domínio) não é específico para o RIAWELC ou inspeção de solda. Ele pode ser aplicado a qualquer conjunto de dados de END (Ensaios Não Destrutivos) baseado em patches onde os identificadores de radiografia de origem sejam recuperáveis.
Implicação Prática: Futuros conjuntos de dados devem fornecer identificadores de radiografia de origem e metadados de aquisição. Os relatórios de benchmark devem incluir o desempenho por radiografia para revelar erros concentrados em domínios específicos, em vez de depender apenas da acurácia agregada.

Os autores enfatizam que, sem esses passos rigorosos de auditoria, os classificadores treinados em conjuntos de dados como o RIAWELC correm o risco de falhar em implementações industriais de missão crítica, onde as condições de aquisição podem variar.

Problema

Metodologia

Principais Resultados

Significância e Alegações

Mais como este