기술 요약: 곡면 가공물 용접 형성 분류를 위한 AFCC

문제 정의

곡면 가공물(예: 금속 랙 코너 조인트)의 용접에 대한 신뢰할 수 있는 자동 시각 검사는 비평면 기하학적 구조, 시점 변화, 그리고 불균일한 표면 반사로 인해 상당한 어려움에 직면해 있습니다. 이러한 요인들은 동일한 용접 구조가 이미지 상에서 일관되지 않게 나타나게 하여, 정상적인 형상과 결함을 구분하는 것을 복잡하게 만듭니다. 구체적으로, 본 연구는 다음 세 가지 외부 용접 형성 조건의 분류를 다룹니다:

1. 정상 (CN): 연속적이고 완전한 용접 비드.
2. 과다/왜곡 (CED): 돌출부를 동반하여 비드 기하학이 커지거나 불규칙해진 상태.
3. 부족 (CIN): 재료 피복이 불완전하고 비드 부피가 감소한 상태.

기존 방법들은 기하학적 투영과 공간적으로 변화하는 반사가 정상 용접을 결함처럼 보이게 하거나 그 반대의 경우를 만드는 곡면의 가변성으로 인해 어려움을 겪는 경우가 많습니다. 또한, 표준 딥러닝 접근 방식은 미세한 경계 정보를 놓치거나 산업 현장의 가변적인 특징 스트림의 신뢰도를 고려하지 않는 고정된 융합 전략에 의존할 수 있습니다.

방법론: AFCC 프레임워크

본 논문은 국부적 용접 기하학 구조와 다층적 시각적 외형을 공동으로 표현하도록 설계된 이중 스트림 프레임워크인 AFCC(Adaptive Fusion of Local Contour Descriptors and Hierarchical Convolutional Features)를 제안합니다. 이 아키텍처는 네 가지 주요 단계로 구성됩니다:

1. 전처리 및 이중 브랜치 추출

• 윤곽선 가이드 브랜치 (Contour-Guided Branch): 형태에 집중하기 위해 그레이스케일 이미지를 처리합니다. Canny 에지 검출 후 모폴로지 폐쇄(팽창 및 침식)를 적용하여 에지의 연속성을 높이고 노이즈를 줄입니다. 강화된 에지 맵은 중첩되는 슬라이딩 윈도우로 분할됩니다. 각 윈도우는 Hu 모멘트 기술자(7차원 벡터)를 사용하여 스케일, 회전 및 이동에 불변하는 국부 기하학적 특성을 인코딩합니다. 이들은 단일한 기하학적 특징 벡터로 집계됩니다.
• 컨볼루션 브랜치 (Convolutional Branch): RGB 이미지를 EfficientNet-B0 백본을 사용하여 처리합니다. 프레임워크는 네트워크 깊이에 따른 다섯 가지 서로 다른 시맨틱 그룹으로부터 중간 특징 맵을 추출합니다:
  1. 에지 (Stem)
  2. 질감 (Stage 1)
  3. 구조 (Stages 2–3)
  4. 질감 및 채도 (Stages 4–5)
  5. 고수준 시맨틱 (Stages 6–7)
     각 그룹은 풀링(pooling)된 후 잠재 벡터로 투영됩니다.

2. 적응형 융합 메커니즘

단순히 특징을 연결하거나 동일한 가중치를 사용하는 대신, AFCC는 성능 가이드 적응형 융합 전략을 채택합니다:

• 각 여섯 가지 스트림(1개의 기하학적 스트림 + 5개의 시맨틱 그룹)에 대해 각각의 특징만을 사용하는 개별 샴 신경망(Siamese Neural Network, SNN) 분류기를 훈련합니다.
• 각 스트림의 신뢰도는 검증 폴드(validation folds)에서 기회 보정 균형 정확도(chance-corrected balanced accuracy, $\rho_s = \max(BA_s - 1/K, 0)$, 여기서 $K=3$은 클래스 수)를 사용하여 평가됩니다. 이 지표는 무작위 추측보다 성능이 나쁘지 않은 스트림에 페널티를 부여하며, 데이터셋의 클래스 불균형 문제를 해결하기 위해 클래스 전반에 걸쳐 스트림에 동일한 가중치를 부여합니다.
• 융합 가중치($w$)는 정규화된 기회 보정 점수로 계산됩니다. 검증 세트에서 판별 신뢰도가 높은 스트림이 더 높은 가중치를 받습니다.
• 최종 융합된 표현은 인코딩된 스트림들의 가중 합계이며, 이는 최종 분류를 위해 글로벌 SNN으로 전달됩니다.

3. 결정 게이트 설명 모듈 (선택 사항)

하류 작업(downstream)의 지원을 위해 대규모 언어 모델(LLM)을 사용할 때 자원 효율성을 높이기 위해, 시스템은 결정 게이트 트리거를 구현합니다. LLM은 결함으로 분류된 샘플(CED 또는 CIN)에 대해서만 호출됩니다. LLM에 입력되는 정보는 원본 이미지, 예측된 라벨, 그리고 가장 높은 융합 가중치를 가진 스트림의 특징 맵을 포함하여, 모든 이미지를 처리하는 비용 없이 맥락을 제공합니다.

4. 분류

최종 분류는 각 클래스의 참조 샘플에 대한 쌍별 유사도 점수를 계산하는 글로벌 SNN에 의해 수행되며, 이 점수들을 정규화하여 예측 라벨을 결정합니다.

주요 기여

1. 상호 보완적 특징 표현: 본 프레임워크는 곡면 표면 용접의 복잡성을 해결하기 위해 수작업으로 설계된 국부 윤곽 기술자(경계 및 기하학적 변화 포착)와 계층적 컨볼루션 임베딩(질감, 구조 및 시맨틱 포착)을 성공적으로 통합합니다.
2. 성능 가이드 적응형 융합: 본 논문은 검증 데이터에 대한 개별 스트림의 기회 보정 균형 정확도를 기반으로 융합 가중치를 결정하는 방법을 도입했습니다. 이는 수동 가중치 튜닝이나 동일 가중치 부여를 피하여, 신뢰할 수 없는 스트림(예: 이 특정 맥락에서의 고수준 시맨틱 특징)이 결정을 지배하지 않도록 함으로써 소수 결함 클래스에 대한 재현율(recall)을 개선합니다.
3. 3클래스 산업 인식: 시스템은 정상, 과다, 부족한 형상을 구분하기 위해 실제 현장 산업 데이터에서 평가되었습니다. 이는 단순한 이진 결함 분류보다 더 실행 가능한 의사결정 정보(예: 그라인딩 작업으로 보낼지, 추가 용접 작업을 할지 결정)를 제공합니다.

실험 결과

프레임워크는 1,188개의 정상(CN), 218개의 과다(CED), 180개의 부족(CIN) 샘플을 포함하는 금속 랙 생산 시설의 1,586개 용접 이미지 데이터셋을 통해 평가되었습니다. 최종 평가에는 477개의 이미지가 포함된 홀드아웃(held-out) 테스트 세트가 사용되었습니다.

• 성능: AFCC는 95.39%의 정확도, 94.32%의 매크로 재현율(macro recall), 그리고 92.31%의 매크로 F1 점수를 달성했습니다.
• 비교:
  • 미세 조정된 EfficientNet-B0 베이스라인과 비교했을 때, AFCC는 매크로 F1 점수를 13.95 퍼센트 포인트 향상시켰습니다.
  • 대표적인 딥 피처 융합 방법(IFDF)과 비교했을 때, AFCC는 매크로 F1 점수를 7.59 퍼센트 포인트 향상시켰습니다.
  • 결정적으로, AFCC는 결함이 있는 120개의 테스트 용접 중 단 4개만을 놓쳤으며, 이는 베이스라인들이 각각 14개와 8개를 놓친 것과 비교하여 우수한 결함 탐지 능력을 보여줍니다.
• 절제 연구 (Ablation Studies):
  • 윤곽선 브랜치만 사용했을 때 F1은 76.61%, 컨볼루션 브랜치만 사용했을 때는 79.00%를 기록했습니다.
  • 모든 스트림에 동일한 가중치를 사용했을 때는 87.96%의 F1을 달랐습니다.
  • 제안된 적응형 가중치는 필수적이었으며, 이를 통해 F1 점수를 92.31%로 끌어올리고 CED 및 CIN 클래스에 대한 재현율을 크게 개선했습니다.
• 자원 효율성: 결정 게이트 설명 모듈은 LLM 요청 횟수를 477회에서 130회로 줄였습니다(72.7% 감소). 이 130회의 요청은 테스트 세트의 **120개 결함 용접 중 116개(96.7%)**를 커버했습니다. 나머지 14회의 요청은 결함으로 오분류된 CN 용접에 관한 것이었습니다. 이 전략은 추정 순차 배치 처리 시간을 약 65% 감소시켰습니다.

의의 및 주장

본 논문은 AFCC가 단일 스트림 접근 방식과 고정된 융합 전략의 한계를 명시적으로 해결함으로써 곡면 가공물의 용접 검사에 대한 견고한 솔루션을 제공한다고 주장합니다. 본 연구의 의의는 다음과 같습니다:

• 신뢰성: 적응형 가중치 메커니ку즘은 최종 결정이 특정 데이터셋에 대해 가장 판별력이 높은 특징에 의존하도록 보장하며, 이는 산업 안전 및 품질에 중요한 희귀 결함 유형(CED 및 CIN)의 탐지를 개선합니다.
• 실용성: 프레임워크는 산업 환경의 전형적인 제한된 데이터 시나리오를 위해 설계되었으며, 특정 보정 작업(그라인딩, 추가 용접 또는 통과)으로 직접 연결되는 3클래스 출력을 제공합니다.
• 효율성: 결정 게이트 설명 모듈의 통합은 핵심 결함을 놓치지 않으면서도 하이브리드 AI 시스템의 계산 비용을 줄이는 경로를 보여줍니다.

저자들은 본 연구가 곡면 랙 코너 조인트에 대한 외부 관찰 가능한 조건에 국한되어 있으며, 내부 결함(예: 기공)이나 폐쇄 루프 로봇 수리 성능은 평가하지 않았음을 명시했습니다. 또한 설명 모듈의 출력 품질(사실적 정확성)은 평가되지 않았으며, 자원 효율성만을 평가했습니다.