기술 요약: DART – 종합 로프 상태 모니터링을 위한 비전-언어 기반 모델

1. 문제 제기

합성 섬유 로프 (SFRs) 는 해양, 해상 및 산업 환경에서 중요한 하중 지지 구성 요소입니다. 현재 상태 모니터링 (CM) 워크플로는 인간 전문가가 주기적으로 수행하는 육안 검사를 기반으로 하는데, 이 과정은 노동 집약적이며 주관적이고 확장하기 어렵습니다. 자동화 검사 시스템이 존재하지만, 이러한 시스템들은 일반적으로 검사 작업을 손상 유형을 위한 별도의 분류기, 심각도를 위한 별도의 회귀 모델과 같은 고립된 하위 문제들로 취급합니다.

본 논문이 다루는 핵심 과제는 단일 모달리티 비전 모델이 자연어 설명이 제공하는 의미적 뉘앙스 없이는 시각적으로 모호한 손상 상태를 해결할 수 없다는 점입니다. 예를 들어, 동일한 손상 유형의 인접한 심각도 수준 (예: "Chafing/Medium" 대 "Chafing/Low") 을 구분하는 것은 비전 전용 모델에게 어렵습니다. 왜냐하면 이러한 상태들은 자연어 설명이 제공하는 의미적 뉘앙스 없이는 시각적으로 구별하기 어렵기 때문입니다. 또한, 배포 가능한 검사 시스템은 단순한 분류 이상을 요구합니다. 단일 이미지에서 손상 유형, 심각도, 이상 유무, 유지보수 권장 사항, 그리고 열화 타임라인에 관한 상호 의존적인 질문들을 동시에 답변해야 합니다.

2. 방법론

저자들은 전체 로프 검사 워크플로를 단일 공유 표현을 통해 통합하도록 설계된 비전 - 언어 기반 모델인 DART(Damage Assessment via Rope Transformer) 를 제안합니다. 이 아키텍처는 Joint-Embedding Predictive Architecture(JEPA) 를 교차 모달 도메인으로 확장한 것입니다.

2.1 아키텍처 개요

DART 는 다섯 가지 긴밀하게 결합된 구성 요소를 통합합니다:

1. 이미지 인코더: ImageNet-22k 에서 iJEPA 로 사전 학습된 Vision Transformer(ViT-H/14) 입니다. 이는 $224 \times 224$ 이미지를 256 개의 패치 토큰으로 처리합니다. 지수 이동 평균 (EMA) 타겟 인코더는 온라인 인코더를 추적하여 대비적 부정 쌍 (contrastive negative pairs) 없이 안정적인 재구성 타겟을 제공합니다.
2. 텍스트 인코더: 손상된 부위에 대한 전문가 검토 자연어 설명을 인코딩하는 Llama-3.2-3B-Instruct 모델입니다 (마지막 4 개의 트랜스포머 블록과 최종 LayerNorm 을 제외하고 고정됨). 레이어 16, 24, 31 을 평균화하여 다중 스케일 특징을 추출합니다.
3. HD-MASK(High-Discrepancy Masking): 중요도 기반 마스킹 전략입니다. 무작위 마스킹 대신 경량 합성곱 네트워크가 패치 중요도를 추정합니다. 상위 40% 중요도 (손상이 밀집된 영역) 에 있는 패치는 0.70 확률로 마스킹되고, 배경 패치는 0.30 확률로 마스킹됩니다. 이는 자기지도 학습 재구성 작업을 정보 풍부한 손상 영역으로 편향시킵니다.
4. 잠재 예측기 (Latent Predictor): 픽셀 수준 재구성의 노이즈 민감성을 피하기 위해 잠재 공간의 컨텍스트 토큰으로부터 마스킹된 패치 임베딩을 예측하는 6 층 트랜스포머입니다.
5. SC-CMF(Severity-Conditioned Cross-Modal Fusion): 이 모듈은 시각 및 텍스트 모달리티를 융합합니다. 이는 언어의 영향을 적응적으로 가중치하는 14 개의 학습 가능한 클래스별 게이트를 사용합니다. 언어 변조는 심각도 등급이 매겨진 클래스 (예: Chafing) 에서는 증폭되고, 심각도 기울기가 없는 설명을 가진 복합 손상 유형에서는 억제됩니다.

2.2 학습 목표: 대비적 손상 분해 (CDD) 손실

모델은 다중 작업 전이를 위한 임베딩 공간을 형성하기 위해 4 항 목적 함수 ($\mathcal{L}_{total}$) 로 학습됩니다:

• $\mathcal{L}_{recon}$ (JEPA 재구성): 예측된 잠재와 EMA 타겟 잠재 간의 Smooth-L1 손실.
• $\mathcal{L}_{sev}$ (심각도 대비): 동일한 손상 유형이지만 다른 심각도 수준의 쌍을 가깝게 하고 다른 유형은 멀게 하는 InfoNCE 손실로, 명시적으로 유형 - 심각도 분해를 장려합니다.
• $\mathcal{L}_{orth}$ (유형 직교성): 서로 다른 손상 유형의 클래스 중심 간 코사인 유사도를 패널티하여 직교 부분 공간을 보장합니다.
• $\mathcal{L}_{focal}$ (Focal 분류): 데이터셋의 심각한 클래스 불균형 (29:1 비율) 을 처리하기 위해 역 빈도 가중치를 적용한 교차 엔트로피.

2.3 학습 커리큘럼

학습은 두 단계로 진행됩니다:

• 1 단계: ViT 백본은 고정되며, HD-MASK, 예측기, 텍스트 프로젝션, SC-CMF, 그리고 분류기가 학습됩니다.
• 2 단계: ViT 의 마지막 6 개 블록과 최종 LayerNorm 이 고정 해제되어 표현을 정제하며, 텍스트 인코더는 대부분 고정된 상태를 유지합니다.

3. 주요 기여

논문은 다섯 가지 주요 기여를 식별합니다:

1. DART 모델: 작업별 미세 조정 없이 포괄적인 검사 작업 세트를 지원하도록 4,270 개의 이미지로 한 번 학습된 통합 비전 - 언어 기반 모델.
2. SC-CMF 모듈: 손상 심각도와 유형에 기반하여 언어 영향을 적응적으로 변조하는 클래스별 학습 가능 게이트를 사용하는 새로운 융합 메커니즘.
3. HD-MASK: 명시적인 패치 수준 주석이 필요 없이 손상 밀집 패치에 초점을 맞춤으로써 자기지도 학습을 개선하는 중요도 기반 마스킹 전략.
4. CDD 손실: 구조적 재구성, 심각도 순서, 유형 직교성, 그리고 견고한 분류를 공동으로 최적화하는 4 항 목적 함수.
5. 다중 작업 벤치마크: 단일 고정 백본이 분류, 회귀, 퓨샷 학습, 유지보수 권장 사항, 보고서 생성, 이상 탐지 전반에서 최첨단 성능을 달성한다는 증명.

4. 결과

모델은 고정된 백본을 사용하여 8 개의 하위 작업에 걸쳐 ROPE 데이터셋(4,270 개 이미지, 14 개의 세밀한 클래스) 에서 평가되었습니다.

• 손상 분류: 93.22% 정확도와 91.04% 매크로-F1을 달성하여 비전 전용 ViT-H/14 베이스라인 (54.76% 정확도) 대비 +38.5 퍼센트 포인트의 개선을 보였습니다.
• 심각도 회귀: 연속 심각도 추정에서 Spearman $\rho$ 0.94와 1-서열 이내 정확도 **99.6%**를 달성했습니다.
• 퓨샷 인식: 클래스당 20 샷만으로 89.2% 매크로-F1을 달성하여 비전 전용 베이스라인을 크게 능가했습니다.
• 유지보수 권장 사항: 손상을 안전 등급 행동 (예: "즉시 교체", "수리 일정") 에 매핑하는 데 94.79% 매크로-F1을 달성했습니다.
• 이상 탐지: 고정된 임베딩에서 마할라노비스 거리를 사용하여 4.76% 이상률을 달성했으며, 이는 예상되는 경계선 표본의 prevalence 와 일치합니다.
• 진행 모델링: 91% 단조 보간률을 보여주어 임베딩 공간이 물리적으로 의미 있는 열화 궤적을 인코딩함을 입증했습니다.

Ablation 연구는 **언어 기반화 (language grounding)**가 가장 중요한 구성 요소임을 확인했습니다. 텍스트 인코더를 제거하면 정확도가 35.41 퍼센트 포인트 하락했습니다. SC-CMF 게이트와 HD-MASK 는 통계적으로 유의미하지만 상대적으로 작은 개선을 제공했습니다.

5. 중요성과 주장

본 논문은 DART 가 고립된 단일 작업 검사 모델에서 범용 상태 모니터링 백본으로의 전환을 나타낸다고 주장합니다. 자연어 설명의 의미적 컨텍스트를 활용함으로써 DART 는 단일 모달리티 모델이 해결할 수 없는 시각적 모호성을 해결합니다.

저자들은 DART 가 단일 공유 표현에서 실행 가능한 검사 지능을 제공한다고 강조합니다. 이는 단순한 분류를 넘어 연속적인 심각도 추정, 유지보수 권장 사항, 자동화된 보고서를 제공합니다. 이 연구는 데이터가 부족하고 클래스가 세밀하며 의사결정이 상호 의존적인 복잡한 산업 검사 작업에는 기반 모델 접근 방식이 필수적이며 자연스럽다는 것을 보여줍니다. 모델은 상대적으로 작은 학습 발자국 (4,270 개 이미지) 으로 이러한 결과를 달성했으며, 하위 애플리케이션을 위한 작업별 재학습 없이 이를 달성했습니다.