RTFDNet: Fusion-Decoupling for Robust RGB-T Segmentation

이 논문은 저조도 환경에서 센서 신호가 부분적으로 손실되더라도 견고한 성능을 보장하기 위해 융합과 디커플링을 통합한 3-브랜치 아키텍처 'RTFDNet'을 제안하며, 시너지 특징 융합과 교차 모달 및 영역 디커플링 정규화를 통해 단일 모드 추론을 가능하게 합니다.

핵심

RTFDNet: 로봇의 '쌍둥이 눈'이 하나를 잃어도 실수하지 않는 비결

이 논문은 로봇이나 자율주행차가 어두운 밤이나 안개 낀 날씨처럼 시야가 안 좋은 곳에서 물체를 잘 구분해 내기 위해 개발된 새로운 기술에 대해 설명합니다.

기존 기술들은 두 가지 카메라 (일반 카메라인 RGB와 열화상 카메라인 Thermal) 가 모두 잘 작동할 때는 훌륭했지만, 만약 하나가 고장 나거나 시야가 가려지면 성능이 급격히 떨어지는 치명적인 약점이 있었습니다.

이 문제를 해결하기 위해 제안된 RTFDNet이라는 기술은 마치 **'유연한 쌍둥이'**처럼 작동한다고 볼 수 있습니다.

---

1. 문제 상황: "한쪽 눈이 가려지면 당황하는 로봇들"

상상해 보세요. 로봇이 두 개의 눈을 가지고 있습니다.

• RGB 눈: 낮에는 사물의 색과 질감을 잘 보지만, 밤에는 아무것도 못 봅니다.
• Thermal 눈: 밤이나 안개 속에서도 열기를 감지해 사물을 보지만, 낮에는 색감이나 디테일이 부족합니다.

기존의 로봇들은 이 두 눈의 정보를 합쳐서 (Fusion) 보는 데는 능숙했습니다. 하지만 하루 종일 두 눈이 다 잘 보이는 게 아닙니다. 배터리가 나가거나 센서가 고장 나면 한쪽 눈이 '깜깜'해집니다.

기존 방법들은 두 눈이 다 있을 때 배운 지식을 한쪽 눈만 쓰는 상황에 적용하려다 보니, 한쪽 눈이 가려졌을 때 그야말로 '눈이 먼' 상태가 되어버렸습니다. 마치 두 손으로 공을 잡다가 한 손이 사라지자 공을 놓쳐버리는 것과 같습니다.

2. 해결책: RTFDNet 의 '스마트한 쌍둥이' 전략

이 논문이 제안한 RTFDNet은 두 가지 핵심 전략을 사용합니다. 이를 **'동반자 (Fusion)'**와 **'독립심 (Decoupling)'**으로 비유해 볼 수 있습니다.

① 시너지Feature Fusion (SFF): "서로 부족한 부분을 채워주는 동반자"

두 눈이 모두 작동할 때는 서로 정보를 주고받습니다.

• 비유: 한 친구가 "저기 빨간 차가 있어!"라고 말하고, 다른 친구가 "아, 그 차는 열기가 뜨거워!"라고 말합니다.
• 기술: RTFDNet 은 두 카메라의 정보를 단순히 합치는 게 아니라, 어디가 서로 다른지, 어디가 서로 보완해 줄지를 아주 정교하게 분석합니다. 한쪽이 놓친 부분을 다른 쪽이 채워주어, 두 눈이 합쳐졌을 때 가장 완벽한 그림을 그립니다.

② 교차모달 디커플링 (CMDR & RDR): "서로 가르쳐 주되, 각자도생하는 법을 익히는 독립심"

이게 이 기술의 가장 혁신적인 부분입니다. 보통은 두 눈이 합쳐진 정보만 믿고, 한쪽 눈이 고장 나면 그 정보를 잃어버립니다. 하지만 RTFDNet 은 다릅니다.

• 비유: 두 명의 쌍둥이 형제가 있습니다.
  1. 함께 있을 때: 형제는 서로의 지식을 공유하며 더 똑똑해집니다 (Fusion).
  2. 분리될 때: 하지만 형제는 서로 가르쳐 주는 과정을 통해, "내가 혼자서도 이 정도는 할 수 있어!"라는 능력을 미리 연습해 둡니다.
  3. 핵심: 한쪽 눈 (예: Thermal) 이 고장 나면, 다른 쪽 눈 (RGB) 은 혼자서도 열화상 카메라가 보던 것처럼 물체를 잘 인식할 수 있도록 훈련되어 있습니다.

이를 위해 두 가지 '규칙'을 적용합니다:

• CMDR (교차모달 분리): 합쳐진 정보에서 "이건 RGB 만 볼 수 있는 정보야", "이건 Thermal 만 볼 수 있는 정보야"라고 구분해 두는 것입니다. 그래야 나중에 하나가 사라져도 남은 하나가 그 정보를 기억하고 있을 수 있습니다.
• RDR (지역 분리): "이 부분은 두 눈이 모두 확실히 본 부분이야"라고 확실한 곳만 집중해서 서로의 판단을 맞춰줍니다. 불확실한 곳에서는 각자 판단하도록 하여 혼란을 막습니다.

3. 결과: 어떤 변화가 일어났나요?

이 기술을 적용한 로봇은 다음과 같은 능력을 갖게 됩니다.

• 완벽한 날: 두 눈이 다 있을 때는 기존 최고 기술들보다 더 잘 봅니다.
• 불완전한 날 (한쪽 눈 고장): 한쪽 눈이 사라져도 성능이 거의 떨어지지 않습니다.
  • 예시: 밤에 RGB 카메라가 고장 나면, Thermal 카메라만으로도 사람이 어디 있는지, 차가 어디 있는지 정확히 찾아냅니다. 반대로 낮에 Thermal 이 고장 나도 RGB 만으로도 잘 작동합니다.
• 효율성: 한쪽 눈만 쓸 때는 불필요한 연산을 줄여서 더 빠르고 가볍게 작동합니다.

4. 요약: 왜 이것이 중요한가요?

기존의 로봇들은 "두 눈이 다 있어야만 제 기능을 한다"는 전제하에 만들어졌습니다. 하지만 현실은 센서가 고장 나거나 환경이 나쁠 수 있습니다.

RTFDNet은 "두 눈이 다 있을 때는 함께 최고의 실력을 발휘하고, 한쪽이 사라져도 나머지 한쪽이 그 실력을 이어받아 혼자서도 훌륭하게 일할 수 있는" 시스템을 만들었습니다.

이는 마치 유리창이 깨져도 방이 무너지지 않는 튼튼한 집처럼, 로봇이 어떤 상황에서도 안전하게 일할 수 있게 해주는 강력한 안전장치와 같습니다. 앞으로 이 기술은 어두운 터널, 폭풍우 치는 밤, 혹은 센서 고장 상황에서도 로봇이 멈추지 않고 계속 일할 수 있게 해줄 것입니다.

기술 요약

1. 문제 제기 (Problem Statement)

• 배경: 저조도나 악천후 환경에서 작동하는 로봇 및 자율주행 시스템을 위해 RGB(가시광선) 와 열화상 (Thermal) 이미지를 결합한 멀티모달 시맨틱 세그멘테이션이 필수적입니다.
• 핵심 문제: 기존 최첨단 (SOTA) 모델들은 모든 센서 입력이 항상 완벽하게 존재한다고 가정합니다. 그러나 실제 환경에서는 하드웨어 고장, 신호 손상, 환경 간섭 등으로 인해 특정 센서 (모달리티) 가 손실되거나 결손될 수 있습니다.
• 기존 방법의 한계:
  • 모달리티 손실 시 성능 급감: 한 모달리티가 사라지면 기존 모델들의 성능이 단일 모달리티로만 학습된 시스템보다도 떨어지는 현상이 발생합니다.
  • 비효율적인 학습: 기존 접근법 (지식 증류, 어댑터 기반 미세조정 등) 은 융합 (Fusion) 과 적응 (Adaptation) 을 분리하여 다단계 학습을 요구하거나, 고정된 융합 표현에 의존하여 단일 모달리티 경로의 강건성이 부족합니다.
  • 단일 모달리티 추론의 부재: 센서 손실 시 별도의 단일 모달리티 추론을 수행할 수 있는 구조적 유연성이 부족합니다.

2. 제안 방법 (Methodology: RTFDNet)

저자들은 RTFDNet을 제안하며, 이는 **융합 (Fusion)**과 분리 (Decoupling) 전략을 통합한 3-브랜치 인코더 - 디코더 아키텍처입니다. 주요 구성 요소는 다음과 같습니다.

A. 아키텍처 개요

• 3-브랜치 구조: RGB 인코더, Thermal 인코더, 그리고 이들을 융합하는 Fusion 디코더로 구성됩니다.
• 학습 및 추론: 학습 시에는 모든 브랜치를 공동 최적화하지만, 추론 시에는 사용 가능한 센서에 해당하는 인코더와 디코더 파라미터만 로드하여 단일 모달리티 추론이 가능합니다.

B. 핵심 모듈

1. 시너지 특징 융합 (Synergistic Feature Fusion, SFF):

   • 채널별 게이트 메커니즘과 경량 공간 어텐션을 결합합니다.
   • 두 모달리티가 서로 다른 의미 (상호 보완적) 를 가질 때 (채널별 어텐션 벡터의 부호가 반대일 때), 해당 채널에서 교차 모달리티 정보를 선택적으로 증폭시켜 특징을 강화합니다.
   • 이를 통해 각 단일 모달리티 브랜치가 다른 모달리티의 중요한 정보를 동적으로 차용할 수 있게 합니다.

2. 교차 모달 분리 정규화 (Cross-Modal Decouple Regularization, CMDR):

   • 융합된 표현 (Fused Representation) 에서 모달리티별 고유 성분을 분리합니다.
   • 융합 특징과 단일 모달리티 특징 간의 부호 일치 (Sign-consistency) 를 기반으로, 융합된 특징에서 특정 모달리티 (RGB 또는 Thermal) 에 해당하는 부분만 추출합니다.
   • Stop-Gradient를 사용하여 추출된 목표 (Target) 가 단일 모달리티 디코더를 지도학습하도록 하지만, 역방향으로 융합 브랜치에 그래디언트가 흐르는 것은 차단합니다. 이는 융합 성능을 해치지 않으면서 단일 모달리티 경로의 강건성을 높입니다.

3. 영역 분리 정규화 (Region Decouple Regularization, RDR):

   • 융합 디코더의 예측이 확신 있는 (Confident) 영역에서 클래스 선택적 예측 일관성을 강제합니다.
   • 특정 클래스 마스크를 생성하여, 해당 영역에서 단일 모달리티 브랜치가 융합 브랜치의 예측과 일치하도록 유도합니다.
   • 이 또한 그래디언트 차단을 통해 융합 브랜치를 고정된 가이드로 활용하며, 단일 모달리티 학습을 강화합니다.

3. 주요 기여 (Key Contributions)

1. 융합 - 분리 (Fusion-Decoupling) 메커니즘: 융합된 표현 내에서 모달리티 복원 가능 성분을 보존하고, 이를 역방향으로 단일 모달리티 브랜치를 안내하는 새로운 방법론을 제시했습니다.
2. 효율적인 파라미터 분리 가능 네트워크: 학습 시에는 통합된 3-브랜치 구조를 사용하지만, 추론 시에는 필요한 모달리티에 해당하는 파라미터만 로드하여 실행 가능한 파라미터 분리형 3-브랜치 인코더 - 디코더 네트워크를 설계했습니다.
3. SOTA 성능 달성: MFNet, FMB, PST900 등 3 개의 주요 RGB-T 벤치마크 데이터셋에서 모달리티가 결손된 상황과 완전한 상황에서 모두 최첨단 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: MFNet (도시 거점), FMB (고해상도 자율주행), PST900 (야간/일중 적외선) 데이터셋에서 평가.
• 성능 (MFNet 기준):
  • 완전 모달리티 (RGB-T): mIoU 60.08% (MiT-B4 기준) 로 기존 방법 (CMNeXt 59.77%, CRM 59.10%) 을 상회.
  • RGB 결손 (Thermal-only): mIoU 54.89% (기존 방법 대비 월등히 높음, 예: CMNeXt 35.46%).
  • Thermal 결손 (RGB-only): mIoU 56.06% (기존 방법 대비 월등히 높음, 예: CMNeXt 53.55%).
  • 결손 시 성능 하락폭: 기존 모델들은 한 모달리티 손실 시 mIoU 가 1528% 급감하는 반면, RTFDNet 은 약 45% 만 하락하여 뛰어난 강건성을 입증했습니다.
• 정성적 분석:
  • 저조도 (야간) 환경에서 RGB 만 입력될 때나, 텍스처가 부족한 환경에서 Thermal 만 입력될 때에도 객체의 경계와 세부 사항을 정확하게 분할했습니다.
  • 융합 브랜치가 학습한 지식이 단일 모달리티 브랜치로 효과적으로 전이되어, 불리한 조건에서도 정확한 예측을 수행함을 시각적으로 확인했습니다.
• 효율성: 센서 고장 시 단일 브랜치로 전환되면 FLOPs 가 약 50% 감소하고 FPS 는 2 배 가까이 증가하여 (예: MiT-B2 기준 30.6 FPS → 58.3 FPS), 실시간 로봇 적용에 적합합니다.

5. 의의 및 결론 (Significance)

• 실용적 강건성: 실제 로봇 시스템에서 발생할 수 있는 센서 고장이나 환경적 제약에 대해, 별도의 재학습이나 복잡한 어댑터 없이도 즉시 대응 가능한 강건한 아키텍처를 제시했습니다.
• 학습 효율성: 다단계 지식 증류나 고정된 백본을 사용하는 기존 방식과 달리, 단일 단계 학습으로 융합과 분리를 동시에 최적화하여 효율성을 극대화했습니다.
• 확장성: 제안된 Fusion-Decoupling 프레임워크는 LiDAR 나 이벤트 카메라와 같은 다른 모달리티나 객체 탐지 등의 작업으로 확장 가능하여, 향후 멀티모달 퍼셉션 연구의 중요한 방향성을 제시합니다.

요약하자면, RTFDNet은 센서 손실이라는 현실적인 문제를 해결하기 위해, "완전한 정보를 활용한 융합"과 "손실 시를 대비한 단일 모달리티 분리"를 하나의 네트워크 내에서 역동적으로 조화시킨 획기적인 접근법입니다.