⚡ 전기공학

Thermal-history and morphology-conditioned multimodal fusion for robotic MAG weld-quality classification

저자들은 계산된 열 이력 및 명시적인 용융지 기하학적 기술자에 시각, 전기 및 음향 특징을 공동으로 조건화함으로써 로봇 MAG 용접 품질 분류 정확도를 향상시키는 다중 모달 융합 네트워크인 HMCF-Net을 제안하며, 이는 직접적인 온도 측정이나 연장된 관찰 창 없이도 94.72%의 정확도를 달성한다.

원저자: Bin Zhong, Kanghong Zhu, Runquan Xiao, Yiyang Zhao, Yingcai Wan, Huabin Chen

게시일 2026-10-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bin Zhong, Kanghong Zhu, Runquan Xiao, Yiyang Zhao, Yingcai Wan, Huabin Chen

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

중공업 세계에서 로봇 용접은 선박에서부터 마천루에 이르기까지 모든 것을 건설하기 위해 강철판을 접합하는 현대 제조업의 초석입니다. 이러한 기계들이 신뢰성 있게 작동하려면, 용접이 올바르게 형성되고 있는지 아니면 결함이 생기고 있는지를 즉각적으로 알아야 합니다. 완벽한 용접을 위해서는 용착 금속이 적절하게 흐르면서, 금속에 구멍을 뚫거나 약하고 불완전한 결합을 남기지 않고 조각들을 융합시켜야 합니다. 전통적으로 로봇은 카메라와 마이크에 의존하여 용접 아크를 '보고' '듣지만', 이러한 센서들은 공정의 아주 짧은 순간만을 포착합니다. 이들은 그 순간 직전에 어떤 일이 일어났는지에 대한 이야기를 놓칩니다. 용접은 단순한 스냅샷이 아닙니다. 그것은 시간이 흐름에 따라 축적된 열의 결과이며, 그 열의 이력을 알지 못한다면 로봇은 금속의 외관 변화를 정상적인 과정의 일부가 아닌 결함으로 오해할 수 있습니다.

상하이 교통대학교와 샤먼 CCRE 그룹의 연구진은 로봇이 이 전체 이야기를 이해할 수 있도록 돕는 새로운 방법을 개발했습니다. 그들은 로봇의 즉각적인 감각 데이터와 계산된 열 입력 이력, 그리고 용착 금속의 정밀한 형상 측정을 결다는 결합된 시스템을 만들었습니다. 이 결합된 정보를 스마트한 컴퓨터 모델에 입력함으로써, 그들은 로봇 용접의 품질을 분류하는 정확도에서 상당한 도약을 이루어냈습니다. 이 시스템은 값비싼 온도 센서나 더 긴 관찰 시간을 필요로 하지 않습니다. 대신, 로봇이 이미 보유하고 있는 전력 데이터를 사용하여 열 이력을 재구성하고 이를 용착 풀(molten pool)의 명확한 기하학적 묘사와 결합합니다.

연구진이 해결한 과제는 로봇의 카메라가 용접의 마지막 몇 백 밀리초만을 본다는 것이었습니다. 그 짧은 시간 동안, 아크의 변화로 인해 용착 금속이 이상해 보일 수 있지만, 로봇은 그 변화가 새로운 문제 때문인지 아니면 단지 몇 초 전의 잔류 열의 영향 때문인지 구분할 수 없습니다. 이를 해결하기 위해 연구팀은 용접 시작부터 로봇이 사용해 온 전기 전력을 기반으로 금속판에 열이 어떻게 퍼지는지를 계산하는 디지털 모델을 구축했습니다. 이 계산은 기억 역할을 하여, 현재 시점 이전에 금속에 얼마나 많은 열이 축적되었는지를 시스템에 알려줍니다. 동시에, 시스템은 컴퓨터 비전 도구를 사용하여 매 카메라 프레임마다 용착 풀의 정밀한 윤곽을 그려 크기, 위치, 그리고 금속의 퍼짐 정도를 측정합니다.

이 두 가지 정보, 즉 계산된 열 이력과 용착 풀의 명시적 형태는 원본 영상, 소리, 전기 신호와 함께 신경망으로 입력됩니다. 신경망은 이 추가적인 맥락을 사용하여 현재 상황에 대한 이해를 업데이트합니다. 이는 운전자에게 단순히 앞길의 모습뿐만 아니라, 방금 지나온 지형의 지도와 자동차의 현재 위치에 대한 명확한 측정값을 제공하는 것과 같습니다. 이를 통해 시스템은 일시적인 변동과 실제 결함을 구분할 수 있습니다. 연구진은 실제 용접 작업의 수천 개의 짧은 시간 창(time windows)을 대상으로 이 접근 방식을 테스트했으며, 완벽한 용접, 용입이 충분하지 않은 용접, 금속에 구멍을 뚫는 용접, 그리고 경로를 벗어난 용접의 네 가지 서로 다른 결과를 다루었습니다.

결과는 이 맥락을 추가하는 것이 측정 가능한 차이를 만든다는 것을 보여주었습니다. 새로운 시스템은 테스트 케이스의 거의 95%에서 용접 품질을 정확하게 식별하여, 즉각적인 감각 데이터에만 의존하는 다른 고급 방법들을 능가했습니다. 구체적으로, 열 이력과 형태 묘사의 결합은 시스템이 정상적인 용접과 불완전 용입을 훨씬 더 신뢰성 있게 인식하도록 도왔습니다. 시스템이 여전히 특정 번스루(burn-through, 구멍 뚫림) 결함을 다른 결함보다 식별하기 어려워하는 부분이 있었지만, 전반적인 개선은 분명했습니다. 연구는 카메라가 관찰을 시작하기 전의 축적된 열과 현재 보고 있는 용착 풀의 정확한 기하학적 형태를 컴퓨터에 명시적으로 알려줌으로써, 로봇이 자신의 작업 품질에 대해 훨씬 더 나은 결정을 내릴 수 있음을 입증했습니다.

이 접근 방식은 산업 자동화의 실질적인 경로를 제시합니다. 이는 로봇이 더 잘 보기 위해 더 복잡하거나 비싼 하드웨어를 갖출 필요가 없음을 증명합니다. 단지 이미 가지고 있는 데이터를 더 스마트한 방식으로 보도록 가르치기만 하면 됩니다. 열적인 과거를 계산하고 기하학적인 현재를 측정함으로써, 이 시스템은 찰나의 관찰과 용접 공정의 전체 실재 사이의 간극을 메웁니다. 연구진은 이 이력과 형태를 모두 사용하는 것이 각각 하나만 사용하는 것보다 더 효과적이라는 것을 발견했으며, 이는 이 두 가지 유형의 정보가 서로 완벽하게 보완된다는 것을 시사합니다. 이 방법은 가혹한 산업 환경에서 얻기 어려운 직접적인 온도 측정 없이도, 생산 라인을 늦추지 않으면서 고속, 고정밀 품질 관리를 가능하게 합니다.

이 연구는 계산된 이력과 명시적 형태를 로봇의 의사 결정 과정에 통합하는 것이 용접 품질을 향상시키는 강력한 도구라고 결론짓습니다. 시스템은 높은 신뢰도로 용접을 네 가지 범주로 분류하는 데 성공했으며, 이는 로봇이 이제 정상적인 용접 과정과 다양한 유형의 결함을 더 높은 신뢰성으로 구분할 수 있음을 보여줍니다. 번스루와 같은 특정 결함의 탐지를 개선할 여지는 여전히 남아 있지만, 핵심적인 발견은 견고합니다. 즉, 열 이력과 용착 풀의 정밀한 형태를 이해하는 로봇은 더 유능한 용접공이라는 것입니다. 이 연구는 미래의 로봇 시스템이 자신의 행동과 그 행동의 물리적 결과에 대해 어떻게 더 잘 인지할 수 있는지에 대한 명확한 청사진을 제공하며, 더 강하고 안전한 금속 구조물을 보장합니다.

기술 요약: 로봇 MAG 용접 품질 분류를 위한 열 이력 및 형태학적 조건부 다중 모달 융합

문제 정의
로봇 금속 활성 가스(MAG) 용접에서 신뢰할 수 있는 공정 중 품질 인식을 위해서는 현재의 국부적 센서 관측치를 용접이 형성되는 맥락 내에서 해석하는 과정이 필요합니다. 다중 모달 센싱(시각, 전기, 음향)은 국부적인 공정 역학을 포착하지만, 짧은 관측 창(예: 200ms)은 현재 시점 이전에 축적된 열적 반응을 명시적으로 설명하지 못합니다. 또한, 기존의 융합 모델은 관측된 신호로부터 학습된 특징에만 의존하며, 용융 풀(molten pool)의 명시적인 기하학적 기술자나 입력 전력으로부터 계산된 열 이력을 간과하는 경우가 많습니다. 이러한 한계는 용접 간격, 홈 형상, 열 축적에 따라 달라지는 불완전 용입(incomplete penetration)과 번스루(burn-through)와 같은 복잡한 품질 상태를 구분하는 데 방해가 됩니다.

방법론
저자들은 4개 클래스 용접 품질 분류(정상, 불완전 용입, 번스루, 용접 편차)를 위해 설계된 열 이력 및 형태학적 조건부 다중 모달 융합 네트워크인 HMCF-Net을 제안합니다. 이 아키텍처는 세 가지 별도의 정보 스트림을 통합합니다:

다중 모달 관측 인코딩:
- 시각(Visual): 공유된 MobileNetV2 백본이 200ms 창 내의 모든 카메라 프레임으로부터 전역 및 국부 시각 특징을 추출합니다. 국부 특징은 Segment Anything Model 3 (SAM 3) 마스크에 의해 정의된 관심 영역(ROI)으로부터 도출됩니다.
- 신호(Signal): 전기 신호(전류/전압)와 아크 소리는 각각 인과적 1D 및 2D CNN을 통해 인코딩됩니다.
- 융합(Fusion): 시간 제약이 있는 교차 모달 어텐션 메커니즘을 통해 시각 토큰이 해당 프레임까지 사용 가능한 신호 토큰과 상호작용하도록 합니다. 시퀀스는 GRU를 통해 집계되어 96차원의 윈도우 관측 벡터( $z$ )를 형성합니다.
명목 열 이력 기술자 ( $H$ ):
- 직접적인 온도 측정을 사용하는 대신, 모델은 기록된 전력(전류 및 전압)에 의해 구동되는 시변 유한 판(finite-plate) 해석 모델을 기반으로 6차원 기술자를 계산합니다.
- 이중 타원형 열원 모델을 사용하여, 시스템은 아크 발생 시점부터 현재 시점까지의 명목 온도 상승을 계산합니다.
- 6개의 특징은 피크 응답 강도, 횡방향 확산, 종방longitudinal 비대칭성, 배면 대 표면 비율, 변화율 및 누적 에너지 입력을 포착합니다.
명시적 용융 풀 형태 기술자 ( $g$ ):
- 시각 인코딩에 사용된 것과 동일한 이미지의 SAM 3 마스크로부터 8차원 기술자가 직접 추출됩니다.
- 이 무차원 특징들은 용융 풀의 면적, 바운딩 박스 범위, 중심 위치, 점유율 및 고정된 이미지 컨텍스트 내에서의 공간적 분산(분산)을 정량화합니다.
조인트 컨디셔닝 메커니즘:
- 열( $H$ ) 및 형태( $g$ ) 기술자는 임베딩되어 조인트 조건 벡터( $c$ )를 형성합니다.
- 이 조건 벡터는 **조건부 잔차 매핑(conditioned residual mapping)**을 통해 다중 모달 관측 표현( $z$ )을 업데이트합니다. 비선형 잔차( $\Delta z$ )는 조인트 조건과 관측 상태로부터 계산되며, 바이패스 연결을 통해 원래의 관측값에 더해집니다.
- 업데이트된 표현은 품질 예측을 위한 선형 분류기로 전달됩니다.

주요 기여

새로운 융합 아키텍처: 본 논문은 다중 모달 관측치를 단순히 학습된 시간 역학에 의 Rely하거나 별개의 입력으로 취급하는 대신, 계산된 열 이력과 명시적인 기하학적 기술자에 결합하여 조건화하는 메커니즘을 도입했습니다.
명시적 vs 학습된 특징: 학습된 시각적 특징(외관 및 맥락)과 동일한 이미지에서 도출된 고정 정의 기하학적 기술자(범위, 위치, 분산)를 결합하는 것의 가치를 입증했습니다.
계산된 열적 맥락: 전력 입력 및 판 형상을 기반으로 한 물리 기반 명목 열 이력을 통합함으로써, 직접적인 온도 센서나 확장된 카메라 윈도우 없이도 관측 윈도우 이전의 맥락을 제공합니다.
잔차 조건화: 바이패스를 갖춘 잔차 업데이트를 사용하여 원래의 다중 모달 표현이 유지되면서도 공정 이력 및 형상에 의해 정교화되도록 보장합니다.

결과
모델은 36개의 로봇 MAG 용접 기록(훈련 26개, 검증 10개)으로 구성된 데이터셋(검증 윈도우 5,078개)을 통해 평가되었습니다.

성능: HMCF-Net은 94.72%의 정확도, 93.04%의 균형 정확도(balanced accuracy), **93.46%의 매크로-F1(macro-F1)**을 달축성했습니다.
비교: HMCF-Net은 다른 아키텍처들(CNN-LSTM, CNN-Transformer, Cross-Attention Fusion) 및 관측 인코더만을 사용한 매칭 모델(HMCF-Net observation-only)보다 우수한 성능을 보였습니다. 특히, 완전한 HMCF-Net은 가장 강력한 대안 모델인 Cross-Attention Fusion보다 매크로-F1에서 2.52%포인트 더 높았습니다.
절제 연구(Ablation Studies): 매칭된 절제 연구를 통해 두 기술자가 독립적 및 공동으로 기여함을 확인했습니다. 명시적 형태를 추가하면 매크로-F1이 1.27포인트 향상되었고, 열 이력을 추가하면 관측 전용 베이스라인 대비 1.07포인트 향상되었습니다. 이들의 공동 사용은 가장 높은 성능을 보였으며, 두 기술자가 모두 없는 모델에 비해 매크로-F1을 1.69%포인트 개선했습니다.
클래스별 성능: 모델은 정상 용접 및 용접 편차를 인식하는 데 상당한 이득을 보였습니다. 반면 번스루(burn-through)는 여전히 가장 어려운 클래스로 남았으나(재현율 82.43%), 조인트 컨디셔닝을 통해 절제 변형 모델들에 비해 전체 오류 수를 줄였습니다.

의의 및 주장
본 논문은 다중 모달 관측치를 계산된 열 이력 및 명시적 용융 풀 형상에 결합하여 조건화하는 것이 전반적인 용접 품질 분류 성능을 향상시킨다는 것을 HMCF-Net을 통해 입증한다고 주장합니다. 이 연구의 의의는 직접적인 온도 측정이나 표준 200ms를 초과하는 카메라 관측 윈도우 확장 없이 이를 달성했다는 점에 있습니다. 결과는 학습된 시간 역학에만 의존하는 것보다 축적된 공정 이력과 명시적 기하학적 맥락을 짧은 기간의 센서 데이터와 통합하는 것이 품질 인식을 위한 더 강력한 표현을 제공한다는 것을 시사합니다. 저자들은 이 접근 방식이 효과적이지만, 번스루 식별은 향후 개선을 위한 특정 목표이며, 독립적인 플레이트 및 더 넓은 조인트 조건에 대한 전이 가능성에 대해서는 추가적인 평가가 필요하다고 언급했습니다.

유사한 논문