Revisiting RIAWELC: Radiograph-Level Auditing Reveals Data Leakage and Class-Selective Domain Shift in Weld Defect Classification

기술 요약: RIAWELC 재검토: 방사선 투과 검사 수준의 감사가 데이터 누수 및 클래스 선택적 도메인 시프트를 밝혀내다

문제 정의

본 논문은 공공 RIAWELC 데이터셋을 이용한 딥러닝 기반 방사선 용접 결함 분류 모델 평가에서 발견된 두 가지 결정적인 결함을 다룹니다:

1. 패치 단위 분할에 의한 데이터 누수(Data Leakage via Patch-Level Splitting): 기존 데이터셋은 소스 방사선 이미지가 아닌 패치 단위로 데이터를 분할합니다. 동일한 소스 방사선 이미지에서 여러 개의 패치가 크롭되기 때문에, 무작위 분할을 수행하면 동일한 소스 이미지에서 유래한 패치들이 훈련 세트와 테스트 세트에 동시에 포함될 수 있습니다. 이는 모델이 일반화된 결함 특징을 학습하는 대신 특정 소스의 특성(예: 센서 노이즈, 용접 기하학적 구조)을 "암기"하게 만들어, 실제보다 부풀려진 정확도 지표를 초래합니다.
2. 숨겨진 도메인 시프트(Hidden Domain Shift): 데이터 누수를 수정한 후에도, 패치 단위 평가는 획득 과정에서 발생하는 도메인 시프트를 은폐할 수 있습니다. 저자들은 비정상적인 명칭과 시각적 특성(블러 현상)을 보이는 특정 방사선 이미지인 bam5를 식출했습니다. 표준 집계 지표 하에서는 이 특정 도로 인한 도메인 시프트의 영향이 가려졌으나, 이는 이전 연구들에서 감지되지 않은 심각하고 클래스 선택적인 성능 저하를 일으켰습니다.

방법론

저자들은 포괄적인 **방사선 레벨 감사 프로토콜(radiograph-level auditing protocol)**을 제안하며, 이를 RIAWELC 데이터셋에 다음과 같은 워크플로로 적용하였습니다:

1. 데이터셋 재구성 (RIAWELC-RG):

   • 누수 탐지: 저자들은 원본 데이터셋에 대해 MD5 해싱을 수행하여, 원본 테스트 세트의 2,443개 파일이 모두 훈련 파일과 바이트 단위로 동일한 중복 파일임을 확인했습니다.
   • 방사선 레벨 분할: 모든 패치를 소스 방사선 ID별로 그룹화하여 새로운 데이터셋인 RIALEC-RG를 구축했습니다. 단일 소스 방사선에서 나온 모든 패치는 반드시 훈련, 검증 또는 테스트 세트 중 하나에만 배정되도록 하여, 서브셋 간의 중복을 완전히 제거했습니다.
   • 중복 제거: 결과적으로 생성된 데이터셋은 29개의 고유한 소스 방사선으로부터 추출된 21,964개의 고유 패치를 포함합니다.

2. 감사 프로토콜:
   bam5 방사선의 이상 현상을 조사하기 위해 저자들은 4가지 구성 요소의 진단 파이프라인을 적용했습니다:

   • 방사선별 성능 ($P_{perf}$): 각 소스 방사선별 분류 정확도를 개별적으로 분석합니다.
   • 임베딩 거리 ($P_{dist}$): 완전히 미세 조정된 ConvNeXtV2-T 모델의 특징 공간 내에서, bam5 패치와 RRT 도메인(표준 방사선)의 중심점 사이의 거리를 계산합니다.
   • 통계적 프로파일링 ($P_{stat}$): 획득 아티팩트를 식별하기 위해 강도 및 질감 통계(예: 라플라시안 선명도 분산)를 계산합니다.
   • 도메인 분류 ($P_{clf}$): 통계적 특징을 사용하여 bam5 패치와 RRT 도메인 패치를 구분하는 랜덤 포레스트 분류기를 훈련합니다.

3. 일반화 및 검증:

   • 교차 아키텍처 평가: 발견된 결과가 특정 아키텍처에 국한된 것이 아님을 확인하기 위해 13가지 다양한 아키텍처(ConvNeXtV2, MobileNet과 같은 CNN 및 ViT, DeiT, XCiT와 같은 Transformer 포함)를 평가했습니다.
   • 5-겹 교차 검증 (5-Fold Cross-Validation): 관찰된 성능 격차가 단일 데이터 파티션의 결과물이 아님을 검증하기 위해 방사선 레벨 5-겹 교차 검증을 수행했습니다.

주요 결과

1. 데이터 누수 확인
MD5 감사는 원본 RIAWELC 테스트 세트가 훈련 세트와 100% 중복되었음을 확인했습니다. 결과적으로, 이전에 보고된 높은 정확도(예: 93.33%)는 일반화가 아닌 암기 능력을 측정한 것이었습니다.

2. bam5에서의 클래스 선택적 성능 저하
누수가 없는 RIALEC-RG 분할에서 평가했을 때, 테스트 세트에 bam5가 포함됨으로써 전체 정확도가 크게 하락했습니다 (예: ConvNeXtV2-T의 경우 0.9663에서 0.9277로 감소). 결정적으로, 이 저하는 클래스 선택적이었습니다:

• 균열 (Crack): 정확도가 0.380으로 급락했습니다.
• 용입 부족 (LoP) 및 기공 (Porosity): 정확도가 1.000을 유지했습니다.
• 결함 없음 (No Defect): 높은 정확도가 유지되었습니다.

3. 시프트 메커니즘 식별

• 시각적/통계적 증거: bam5 패치는 RRT 패치보다 균일하게 더 흐릿하게(Blurry) 나타났습니다. 통계 분석 결과, bam5는 RRT 도메인에 비해 현저히 낮은 라플라시안 선명도 분산을 보였습니다.
• 도메인 분리 가능성: 통계적 특징을 사용해 훈련된 랜덤 포레스트 도메인 분류기는 bam5를 RRT 패치로부터 거의 완벽하게 구분해 냈습니다 (ROC-AUC = 0.9995).
• 특징 중요도: 라플라시안 선명도 분산이 도메인을 분리하는 데 있어 가장 지배적인 특징(중요도 약 50.8% 기여)이었습니다.
• 메커니즘: 저자들은 bam5가 **획득 블러(Acquisition Blur)**에 의한 도메인 시프트를 나타낸다고 결론지었습니다. 이 블러 현상은 미세하고 고주파적인 선형 구조에 의존하는 "균열" 결함에 불균형적으로 영향을 미치는 반면, LoP나 기공과 같이 거친 결함들은 여전히 식별 가능한 상태로 남게 합니다.

4. 아키텍처 전반의 일반화
bam5로 인한 성능 격차는 평가된 13개 아키텍처(CNN, 하이브리드, Transformer) 모두에서 일관되게 나타났습니다. 13개 모델에 대한 대응 표본 t-검정 결과, 이 격차는 통계적으로 유의미함($p < 10^{-6}$)이 확인되었으며, 이는 해당 효과가 특정 모델의 한계가 아닌 데이터 도메인의 특성임을 입증합니다.

5. 교차 검증 결과
5-겹 교차 검증에서도 "균열 클래스 붕괴" 패턴이 다른 방사선 이미지(예: RRT-107R, RRT-29R)에서 재현되었습니다. 이는 bam5가 명확한 사례 연구이긴 하지만, 획득 변동으로 인한 클래스 선택적 도메인 시프트가 패치 기반 데이터셋의 광범위한 취약점임을 시사합니다.

의의 및 주장

본 논문은 방사선 레벨의 평가가 반드시 명시적인 도메인 시프트 감사와 병행되어야 함을 주장합니다. 그렇지 않으면 획득 아티팩트를 실제 일반화 실패로 오인할 수 있습니다.

• 누수 수정 그 이상: 단순히 중복 패치를 제거하는 것(중복 제거)만으로는 불충분합니다. 연구자들은 집계 지표로는 보이지 않는 "하드-도메인(hard-domain)" 방사선을 감사해야 합니다.
• 클래스 선택성: 산업용 방사선 투과 검사에서의 도메인 시프트는 모든 클래스에 동일하게 영향을 미치지 않을 수 있으며, 미세한 공간적 세부 사항에 의존하는 특정 결함 유형(예: 균열)에 매우 특이적일 수 있습니다 있습니다.
• 프로토콜 재현성: 제안된 감사 프로토콜(방사선별 성능, 임베딩 거리, 통계적 프로파일링, 도메인 분류의 결합)은 RIALEC에 국한된 것이 아닙니다. 소스 방사선 식별자를 복구할 수 있는 모든 패치 기반 산업용 NDT 데이터셋에 적용 가능합니다.
• 실무적 시사점: 향후 데이터셋은 소스 방사선 식별자와 획득 메타데이터를 제공해야 합니다. 벤치마크 보고서는 단순히 집계 정확도에 의존하기보다, 오류가 특정 도메인에 집중되어 있음을 드러낼 수 있도록 방사선별 성능을 포함해야 합니다.

저자들은 이러한 엄격한 감사 단계 없이는, RIALEC와 같은 데이터셋으로 훈련된 분류기가 획득 조건이 변할 수 있는 안전 필수 산업 현장에 배치되었을 때 실패할 위험이 크다는 점을 강조합니다.