SiMO: Single-Modality-Operable Multimodal Collaborative Perception

이 논문은 센서 고장 시에도 단일 모드만으로 작동할 수 있도록 길이 적응형 멀티모달 융합 (LAMMA) 과 'Pretrain-Align-Fuse-RD'학습 전략을 도입하여 협업 인식의 성능을 유지하는 SiMO 를 제안합니다.

핵심

시모 (SiMO): 자율주행차의 '불가사리' 같은 눈과 귀

이 논문은 자율주행차나 로봇이 서로 협력하여 주변을 인식하는 기술, 즉 **'협력 지각 (Collaborative Perception)'**에 대한 새로운 아이디어를 제시합니다. 기존 방법들의 치명적인 약점을 해결하고, 어떤 센서가 고장 나더라도 시스템이 멈추지 않도록 만든 혁신적인 방법론인 SiMO를 소개합니다.

이 내용을 쉽게 이해할 수 있도록 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "연쇄 폭탄" 같은 기존 시스템

기존의 다중 센서 (라이다, 카메라 등) 협력 시스템은 마치 여러 개의 전구가 직렬로 연결된 전선과 같았습니다.

• 상황: 자율주행차 A 는 라이다 (레이저) 와 카메라를 모두 켜고, 옆차 B 는 카메라만 켜고 협력합니다.
• 문제: 만약 차 A 의 라이다가 갑자기 고장 나면? 직렬 회로처럼 시스템 전체가 꺼져버립니다.
• 이유: 기존 기술은 라이다와 카메라의 정보를 섞어서 (퓨전) 하나의 새로운 '혼합된 정보'를 만들었습니다. 그런데 라이다가 사라지면 이 '혼합된 정보'를 만들 수 없게 되고, 그 결과로 만들어진 데이터는 하위 시스템 (운전 결정 등) 이 이해할 수 없는 '헛된 소리'가 되어버립니다. 마치 레시피에 '달걀'이 필수인데 달걀이 떨어졌을 때, 요리사가 "이제 요리를 할 수 없다"고 포기하는 것과 같습니다.

2. SiMO 의 해결책: "병렬 회로"와 "가족의 유사성"

저자들은 이 문제를 해결하기 위해 SiMO라는 시스템을 제안합니다. 이는 병렬 회로처럼 작동합니다.

• 비유: 여러 개의 전구가 병렬로 연결되어 있다면, 하나라도 고장 나도 나머지 전구는 여전히 빛납니다. SiMO 는 라이다가 고장 나면 카메라만으로, 카메라가 고장 나면 라이다만으로 완벽하게 작동할 수 있게 설계되었습니다.
• 핵심 철학 (비트겐슈타인의 '가족 유사성'):
  • 기존 방식은 "라이다가 보는 차"와 "카메라가 보는 차"를 완전히 똑같은 하나의 개념으로 합치려 했습니다 (플라톤의 본질주의).
  • SiMO 는 **"서로 다른 가족 구성원"**처럼 접근합니다. 라이다가 본 차와 카메라가 본 차는 생김새 (데이터 형태) 는 다르지만, '차'라는 공통된 특징을 공유합니다.
  • SiMO 는 이 두 정보를 완전히 섞어서 없애버리는 대신, 서로 다른 특징을 유지하면서도 서로의 의미를 이해할 수 있게 정렬시킵니다. 그래서 라이다가 사라져도 카메라 정보가 여전히 '차'라는 의미를 제대로 전달할 수 있습니다.

3. SiMO 의 두 가지 핵심 기술

① LAMMA (길이 적응형 멀티모달 퓨전)

• 비유: 유연한 접시
• 기존 퓨전 기술은 접시 크기가 고정되어 있어, 재료 (센서 데이터) 가 하나라도 빠지면 접시가 비어버립니다.
• LAMMA 는 신축성 있는 접시입니다. 라이다와 카메라 두 가지 재료가 다 들어오면 두 개를 담고, 라이다가 고장 나면 카메라만 담습니다. 중요한 것은 접시 자체의 모양 (데이터의 의미 공간) 이 변하지 않는다는 점입니다. 그래서 요리사 (하위 시스템) 는 접시에 무엇이 들어갔든 상관없이 같은 방식으로 요리를 할 수 있습니다.

② PAFR (사전 학습 - 정렬 - 퓨전 - 랜덤 드롭)

• 비유: 팀워크 훈련법
• 기존 방식은 라이다와 카메라를 동시에 훈련시키면, 라이다가 너무 잘해서 카메라가 뒤처지는 현상 (모달리티 경쟁) 이 발생합니다. 마치 운동선수가 한 명만 너무 잘하면 다른 선수는 훈련을 안 하게 되는 것과 같습니다.
• SiMO 는 단계별 훈련을 합니다.
  1. 먼저 라이다만 따로, 카메라만 따로 완벽하게 훈련시킵니다.
  2. 그다음 서로의 정보를 이해할 수 있도록 '통역사 (정렬 모듈)'를 훈련시킵니다.
  3. 마지막으로 두 정보를 합쳐서 훈련하되, 가끔은 한쪽 정보를 아예 빼고 (랜덤 드롭) 훈련합니다.
• 이 과정을 통해 각 센서가 혼자서도 잘할 수 있는 능력을 키우면서, 협력할 때는 더 강력해집니다.

4. 실험 결과: 어떤 상황에서도 살아남는다

• 라이다 고장 시: 기존 시스템은 0 점에 수렴하며 완전히 망가집니다. 하지만 SiMO 는 카메라만으로도 라이다가 있을 때의 성능을 90% 이상 유지하며 안전하게 주행합니다.
• 혼합 고장 시: 차 A 는 라이다만, 차 B 는 카메라만 있는 상황에서도 SiMO 는 서로의 정보를 완벽하게 이해하여 협력합니다.

5. 결론

SiMO 는 **"센서가 고장 나면 시스템이 죽는 것"**이라는 기존 사고방식을 바꿉니다. 대신 **"어떤 센서가 살아있든 그 센서의 능력을 100% 활용하여 협력한다"**는 새로운 패러다임을 제시합니다.

이는 마치 불가사리처럼, 다리가 하나 잘려도 나머지 다리로 여전히 움직일 수 있고, 잘린 다리가 다시 자라날 수 있는 강력한 회복 탄력성을 자율주행 시스템에 부여한 것입니다.

한 줄 요약:

SiMO 는 자율주행차들이 서로의 센서 고장을 걱정하지 않고, 각자 가진 눈 (카메라) 과 귀 (라이다) 를 유연하게 활용하여 언제 어디서나 안전하게 협력할 수 있게 해주는 '불가사리 같은' 지능 시스템입니다.

기술 요약

논문 요약: SIMO: 단일 모달리티 작동 가능한 다중 모달리티 협업 지각 (Single-Modality-Operable Multimodal Collaborative Perception)

이 논문은 자율 주행 및 로봇 탐사를 위한 다중 에이전트 협업 지각 (MACP) 분야에서, 센서 고장 (특히 LiDAR 와 같은 핵심 센서의 손실) 시 시스템이 완전히 마비되는 문제를 해결하기 위해 제안된 SiMO라는 새로운 아키텍처를 소개합니다. 기존 방법론들이 다중 모달리티 정보를 융합하여 정확도를 높이는 데 집중했다면, SiMO 는 특정 센서가 고장 나더라도 나머지 센서만으로도 최적의 성능을 유지할 수 있도록 설계되었습니다.

---

1. 문제 정의 (Problem)

• 센서 고장에 대한 취약성: 기존 다중 모달리티 협업 지각 방법들은 LiDAR 와 카메라 데이터를 융합하여 성능을 극대화하지만, 이는 '직렬 회로 (Series Circuit)'와 유사하게 작동합니다. 즉, 한 가지 핵심 센서 (예: LiDAR) 가 고장 나면 전체 시스템이 무너집니다.
• 시맨틱 불일치 (Semantic Mismatch): 기존 융합 방법은 융합 전 (단일 모달리티) 과 융합 후 (다중 모달리티) 의 특징 공간 (Feature Space) 이 달라집니다. 이로 인해 특정 모달리티가 손실되어 융합이 불가능해지면, 하위 태스크 헤드 (Task Heads) 가 단일 모달리티 특징을 처리하지 못해 성능이 급격히 저하되거나 실패합니다.
• 모달리티 경쟁 (Modality Competition): 다중 모달리티 학습 시, LiDAR 와 같이 3D 공간 정보를 직접적으로 제공하는 모달리티가 카메라 (2D 이미지를 3D 로 추론) 보다 학습 속도가 빠릅니다. 이로 인해 강한 모달리티가 학습을 지배하고 약한 모달리티의 학습이 제대로 이루어지지 않아, 단일 모달리티만으로도 독립적으로 작동하는 것이 어려워집니다.
• 이질적인 고장 (Heterogeneous Modal Failure): 협업 환경에서는 각 에이전트가 서로 다른 센서 구성을 가지고 있을 수 있으며, 서로 다른 센서가 고장 날 수 있습니다. 기존 단일 에이전트용 강건성 방법들은 이러한 복잡한 협업 시나리오에서의 시맨틱 정렬을 보장하지 못합니다.

2. 제안 방법론 (Methodology)

SiMO 는 **단일 모달리티 작동 가능 (Single-Modality-Operable)**한 시스템을 구현하기 위해 다음과 같은 핵심 기술들을 도입했습니다.

A. 길이 적응형 다중 모달리티 융합 (LAMMA: Length-Adaptive Multi-Modal Fusion)

• 개념: 입력되는 모달리티의 수 (센서의 유무) 에 관계없이 일관된 특징 처리를 가능하게 하는 플러그 앤 플레이 모듈입니다.
• 작동 원리:
  • 서로 다른 모달리티 (LiDAR, Camera) 의 특징을 ConvNeXt를 통해 채널 및 픽셀 단위로 시맨틱을 정렬 (Align) 합니다.
  • Attention 메커니즘을 기반으로 하여, 입력된 특징들의 길이에 적응적으로 융합합니다.
  • 특정 모달리티가 누락되면 (예: LiDAR 고장), 해당 특징은 빈 값 (Empty) 으로 처리되어 Attention 연산이 자연스럽게 Self-Attention으로 축소됩니다.
  • 핵심 장점: 융합 전후의 특징 공간이 일치하도록 설계되어, 단일 모달리티만 입력되더라도 하위 태스크 헤드가 정상적으로 작동할 수 있습니다.

B. 모달리티 경쟁 해결을 위한 학습 전략 (PAFR: Pretrain-Align-Fuse-RD)

모달리티 간의 학습 불균형을 해결하고 각 모달리티가 독립적으로 작동할 수 있도록 4 단계 학습 전략을 제안합니다.

1. Pretrain (사전 학습): 각 모달리티 (LiDAR, Camera) 별 특징 추출기를 단일 모달리티로 독립적으로 사전 학습합니다.
2. Align (정렬): 사전 학습된 추출기는 고정 (Freeze) 하고, 각 모달리티의 특징을 공통된 공간으로 정렬하는 어라인러 (Aligner) 를 단계별로 학습합니다.
3. Fuse (융합): 모든 어라인러를 고정하고, LAMMA 와 같은 공통 모듈을 다중 모달리티 입력으로 학습하여 최종 수렴시킵니다.
4. RD (Random Drop): 학습 과정에서 무작위로 한 가지 모달리티를 드롭 (Dropout) 하여, 모델이 단일 모달리티 고장 상황에 적응하도록 미세 조정 (Fine-tuning) 합니다.

이 전략은 모달리티 경쟁을 방지하여 각 분기가 충분한 학습을 거치도록 하며, 결과적으로 각 모달리티가 다른 모달리티의 도움 없이도 독립적으로 작동할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 협업 지각 분야의 혁신: 협업 지각 분야에서 모달리티 손실 (특히 RGB 이미지만 남는 상황) 로 인한 시스템 실패를 해결한 최초의 연구입니다.
2. LAMMA 모듈 개발: 융합 전후의 특징 공간 불일치 문제를 해결하고, 다양한 수의 모달리티 입력에 적응적으로 대응하며 시맨틱 일관성을 유지하는 새로운 융합 모듈을 제안했습니다.
3. 모달리티 경쟁 해결: 기존에 간과되었던 모달리티 경쟁 문제를 식별하고, PAFR 학습 전략을 통해 각 모달리티 분기의 독립성과 강건성을 보장했습니다.
4. SOTA 성능 유지: 다중 모달리티 융합 시 최첨단 (SOTA) 성능을 유지하면서도, 단일 모달리티 고장 시에도 성능 저하 없이 작동함을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: OPV2V-H, V2XSet, DAIR-V2X 등 공개 협업 지각 데이터셋에서 평가되었습니다.
• 성능 비교:
  • LiDAR 고장 시: 기존 방법들 (BM2CP, BEVFusion 등) 은 LiDAR 가 고장 나면 성능이 0% 로 떨어지거나 매우 낮아지는 반면, SiMO 는 카메라만으로도 높은 정확도 (AP@30 에서 80% 이상) 를 유지했습니다.
  • 이질적 고장 (Heterogeneous Failure): 서로 다른 에이전트가 서로 다른 센서를 잃는 복잡한 시나리오에서도 SiMO 는 HEAL 등의 기존 방법보다 높은 탐지 정확도를 보였습니다.
  • 단일 모달리티 성능: SiMO 는 다중 모달리티 학습 후에도 각 단일 모달리티 (LiDAR 만, 카메라 만) 가 독립적으로 작동할 때 SOTA 수준의 성능을 유지했습니다.
• 정량적 분석: Procrustes 분석과 t-SNE 시각화를 통해 LAMMA 가 서로 다른 모달리티의 특징을 시맨틱적으로 정렬하면서도 모달리티 고유의 특징을 보존함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용적 강건성: 실제 자율 주행 환경에서 센서 고장은 피할 수 없는 문제입니다. SiMO 는 이를 '직렬 회로'가 아닌 '병렬 회로'처럼 작동하도록 설계하여, 일부 센서 고장 시에도 시스템이 계속 안전하게 운영될 수 있는 토대를 마련했습니다.
• 철학적 접근: 기존 방법론이 '단일한 공통 본질 (Platonic Essentialism)'을 추구하며 모달리티의 고유성을 잃는다면, SiMO 는 '가족 유사성 (Family Resemblances)' 개념을 적용하여 각 모달리티의 고유성을 유지하면서 기능적 정렬을 이루는 새로운 패러다임을 제시했습니다.
• 확장성: LAMMA 는 플러그 앤 플레이 모듈로 설계되어 기존 협업 지각 프레임워크에 쉽게 통합될 수 있으며, 다양한 센서 구성과 고장 시나리오에 유연하게 대응할 수 있습니다.

요약하자면, SiMO는 다중 모달리티 협업 지각 시스템이 센서 고장에 취약하다는 근본적인 한계를 극복하고, 각 센서가 독립적으로도 최상의 성능을 발휘할 수 있도록 하는 획기적인 솔루션을 제시한 연구입니다.