Compass: Degradation-Simulated Reciprocal Learning with Lightweight Needle RWKV for Multimodal Crack Segmentation under Missing Modalities

기술 요약: Compass: 결손된 모달리티 상황에서의 멀티모달 균열 분할을 위한 경량 Needle RWKV 기반의 퇴화 시뮬레이션 상호 학습

문제 정의
멀티모달 시각적 균열 분할은 산업 및 토목 시설의 구조물 건전성 모니터링에 있어 매우 중요하며, 적외선 열화상, 편광, 깊이(depth) 센서 데이터를 융합함으로써 조명 변화 및 배경 간섭에 대한 강건성을 제공합니다. 그러나 기존 방법들은 일반적으로 모든 모달리티가 완전히 가용하다는 것을 전제로 합니다. 실제 현장 배치 시에는 센서 고장이나 전송 중단으로 인해 무작위적인 부분적 또는 완전한 모달리티 결손이 빈번하게 발생합니다. 현재의 접근 방식들은 이러한 현실에 대응하는 데 어려움을 겪고 있습니다. 생성 기반 방법론은 엣지 배포 시 과도한 계산 비용을 초래하며, 비생성 전략은 극단적인 결손 시나리오에서 표현력 붕괴(representation collapse)를 겪는 경우가 많습니다. 또한, 기존 방법들은 대개 의미론적 학습과 퇴화 적응을 단일 학습 스트림에 결합하여, 심각한 결손 비율 하에서 성능을 제한하는 그래디언트 충돌(gradient conflicts)을 유발합니다. 아울러, 효율적인 백본 설계조차 엄격한 계산 예산 내에서 균열의 이방성 텍스처(무작면 방향성과 불규칙한 분기점을 가진 특성)를 정확하게 모델링하지 못하는 경우가 많으며, 멀티모달 융합 메커니즘은 명시적인 불확실성 정량화 및 위상적 연결성 보존 능력이 부족합니다.

방법론
저자들은 임의의 모달리티 결손 상황에서도 강건한 균열 분할을 위해 설계된 경량 네트워크인 Compass를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 통합됩니다:

1. 퇴화 시뮬레이션 증류 (Degradation-Simulated Distillation, DSD): 완전한 인지와 퇴화 적응을 분리하기 위해, Compass는 듀얼 스트림 상호 학습 프레임워크를 채택합니다.

   • 원본 스트림 (Original Stream): 가용 가능한 특징을 처리하고 **특징 인식 프로토타입 전송기(Feature-Aware Prototype Transmitter, FAPT)**를 통해 누락된 모달리티를 완성합니다.
   • 퇴화 시뮬레이션 스트림 (Degradation Simulation Stream): 더 심각한 결손 조건을 시뮬레이션하기 위해 가용한 모달리티 중 하나를 의도적으로 마스킹합니다.
   • 상호 학습 (Reciprocal Learning): 두 스트림은 상호 증류를 수행합니다. 원본 스트림은 소프트 라벨을 통해 퇴화 스트림을 가이드하며, 퇴화 스트림은 특정 모달리티 조합에 대한 과적합을 방지하도록 원본 스트림을 규제합니다.
   • FAPT: 모달리티에 무관한 학습 가능한 의미론적 프로토타입을 활용하여 프로토타입 가이드 기반의 특징 완성을 수행함으로써, 특정 모달리티가 완전히 부재하더라도 의미론적 무결성을 보장합니다.

2. Needle 블록 (경량 백본): RWKV 아키텍처를 기반으로 하며, 균열의 구조적 인식을 위한 모델링을 위해 설계되었습니다.

   • 기하학 조건부 변조 (Geometry-Conditioned Modulation, GCM): 균열의 방향성 큐(cue)를 WKV 키 변조에 주입합니다. 이는 균열 방향을 추정하고 Key 벡터를 변조하여, 배경 영역에 대해서는 표준적인 감쇠를 유지하면서도 균열 방향을 따라 정보 전파를 강화함으로써 효과적으로 이방성 수용 영역(anisotropic receptive field)을 생성합니다.
   • 연결성 인식 게이팅 (Connectivity-Aware Gating, CohGate): 국소 이웃에 대해 구조 인식 게이팅을 적용하여 연결된 균열 영역에서는 공동 활성화를 촉진하고 고립된 노이즈는 억제합니다.
   • 이방성 가이드 프로브 (Anisotropic Guided Probe, AGP): 국소 이방성에 의해 가이드되는 다중 스케일 공간 컨텍스트 선택을 사용하여 다양한 너비의 균열 구조를 적응적으로 포착합니다.

3. 증거 기반 위상 보존 융합 (Evidential Topology-Preserving Fusion, ETPF): 불확실성 하에서의 이종 특징 융합 문제를 해결합니다.

   • 뎀프스터-셰퍼 증거 이론 (Dempster-Shafer Evidence Theory): 모달리티 특징을 디리클레(Dirichlet) 증거 파라미터로 매핑하여 신념(belief)과 불확실성을 도출합니다. 멀티모달 증거는 학습 가능한 블렌드 게이트와 함께 뎀프스터-셰퍼 규칙을 사용하여 융합되며, 이는 학습을 안정화합니다.
   • 이방성 증거 전파 (Anisotropic Evidence Propagation): 위상적 연결성을 보존하기 위해 방향성 컨볼루션을 사용하여 균열 방향을 따라 신념을 전파합니다.
   • 불확실성 게이트 디코딩 (Uncertainty-Gated Decoding): 불확실성 추정치를 통해 스킵 연결(skip connections)을 조절함으로써, 디코딩 과정에서 퇴화된 모달리티로부터 오는 신뢰할 수 없는 특징을 억제합니다.

주요 기여

• Compass 아키텍처: 매우 낮은 계산 비용으로 높은 정밀도를 달 수 있도록 설계된, 멀티모달 균열 분할을 위한 경량 Needle RWKV 네트워크입니다.
• 퇴화 시뮬레이션 상호 학습: 듀얼 스트림 증류와 FAPT를 통해 결손된 모달리티에 선제적으로 적응함으로써, 단일 스트림 방식의 그래디언트 충돌을 피하는 새로운 학습 패러다임을 제시합니다.
• 구조 인식 모델링: Needle 블록은 GCM을 도입하여 시퀀스 모델링에 균열 방향성 큐를 주입함으로써, 백본의 선형 복잡도를 변경하지 않고도 방향 적응형 전파를 가능하게 합니다.
• 불확실성 인식 융합: ETPF는 뎀프스터-셰퍼 이론을 이방성 전파 및 불확실성 게이팅과 결합하여, 결손된 모달리티로부터 오는 신뢰할 수 없는 신호를 억제하면서 균열의 위상을 유지합니다.

실험 결과
실험은 IRTCrack (RGB-Thermal), CrackDepth (RGB-Depth), CrackPolar (RGB-Polarization)의 세 가지 데이터셋에서 수행되었으며, 이는 이중 모달, 삼중 모달 및 7개 모달 입력을 포함합니다.

• 결손 모달리티 상황에서의 성능: Compass는 다양한 결손 비율에 대해 최신 기술(SOTA) 방법들(예: CMX, CMNeXT, LIDAR, VRWKV)보다 일관되게 우수한 성능을 보였습니다. 특히 CrackDepth 데이터셋에서 깊이(depth) 모달리티가 90% 결손된 상황에서도 Compass는 F1 0.8216, mIoU 0.8434를 달성했습니다. 극단적인 삼중 모달 결손 시나리오(90%, 30%, 70% 결손율)에서 Compass는 LIDAR 대비 F1 점수를 67.93% 향상시켰습니다.
• 효율성: Compass는 탁월한 계산 효율성을 입증했습니다. 이중 모달 입력의 경우, 2.58M 파라미터와 29.38G FLOPs만을 사용하며, 이는 경쟁 모델인 PrimKD (615.64M 파라미터)나 LIDAR (5.35M 파라미터)보다 현저히 낮습니다. 7개 모달 입력 시에도 모델 크기는 58MB로 일정하게 유지됩니다.
• 단일 모달 성능: RGB 입력만 사용 가능한 경우에도, Compass는 전용 단일 모달 SOTA 방법(예: SCSegamba)보다 우수한 성능을 보이면서도 더 낮은 계산 비용을 유지합니다.
• 실제 환경 배치: 본 논문은 UAV 시스템과 통합된 엣지 컴퓨팅 플랫폼(NVIDIA Jetson Orin NX)에 성공적으로 배포되었음을 보고하며, 깊이 모달리티가 90% 결손된 동적인 실외 환경에서도 실시간 추론 능력과 강건성을 입증했습니다.

의의 및 주장
본 논문은 Compass가 모달리티 데이터가 불완전한 멀티모달 분할의 핵심적인 격차를 해결한다고 주장합니다. 생성 모델의 무거운 계산 비용 없이, **능동적 적응(active adaptation)**을 위한 퇴화 시뮬레이션을 통해 강건성을 확보함으로써 모델이 단순한 보충을 넘어 대응할 수 있게 합니다. 저자들은 모달리티 무관 프로토타입(FAPT)과 방향 인식 시퀀스 모델링(Needle)의 통합이 최대 90%의 모달리티 결손 상황에서도 의미론적 무결성과 위상적 연결성을 재구성하고 보존할 수 있게 한다고 강조합니다. 이 연구는 Compass를 자원이 제한된 산업용 엣지 배포를 위한 실행 가능한 솔루션으로서, 높은 정확도, 구조적 충실도, 낮은 지연 시간 사이의 균형을 갖춘 모델로 포지셔닝합니다. 향후 연구는 대규모 라벨링 데이터에 대한 의존도를 줄이기 위해 ETPF의 불확실성 정량화를 능동 학습(active learning) 프레임워크에 통합하는 데 집중할 것임을 밝히고 있습니다.