💻 computer science

COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing

이 논문은 결측 모달리티가 있는 상황에서도 융합 헤드가 항상 고정된 N 개의 슬롯을 갖는 완전한 입력을 받도록 하여, 관측된 모달리티에서 생성된 프록시 토큰을 통해 강건한 다중 모달 융합을 가능하게 하는 COMPASS 프레임워크를 제안합니다.

원저자: Hao Wang, Yanyu Qian, Pengcheng Weng, Zixuan Xia, William Dan, Yangxin Xu, Fei Wang

게시일 2026-04-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Wang, Yanyu Qian, Pengcheng Weng, Zixuan Xia, William Dan, Yangxin Xu, Fei Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

COMPASS: 센서가 고장 나거나 사라져도 완벽하게 작동하는 '만능 번역가'

이 논문은 우리가 일상에서 사용하는 다양한 센서 (카메라, 라이다, 와이파이 신호, 레이더 등) 가 함께 작동할 때, 만약 어떤 센서가 고장 나거나 신호가 끊겨도 시스템이 망가지지 않도록 하는 새로운 방법을 소개합니다.

이 기술을 COMPASS라고 부르는데, 이를 이해하기 위해 몇 가지 쉬운 비유를 들어보겠습니다.

1. 문제 상황: "팀원 중 한 명이 사라졌을 때"

상상해 보세요. 4 명의 팀원 (카메라, 라이다, 와이파이, 레이더) 이 함께 일하는 프로젝트가 있습니다. 이 팀은 서로의 정보를 합쳐서 "사람이 지금 뭘 하고 있는지"를 정확히 판단합니다.

기존 방식의 문제점:
- 방법 A (무시하기): 카메라가 고장 나면, 그냥 카메라 역할을 하는 팀원을 아예 자리에 앉히지 않습니다. 나머지 3 명만 모여서 회의를 합니다.
  - 문제: 회의 테이블에 사람이 4 명 앉는 것을 기준으로 훈련된 시스템인데, 갑자기 3 명만 앉으면 회의 진행 방식이 어색해지고 결과가 엉망이 됩니다.
- 방법 B (가상 인물 만들기): 사라진 팀원의 자리에 "가상인"을 앉힙니다. 하지만 이 가상인은 다른 팀원들이 만든 정보를 단순히 복사한 것일 뿐, 실제 팀원처럼 깊이 있는 통찰을 주지 못해 회의가 제대로 진행되지 않습니다.

2. COMPASS 의 해결책: "완벽한 팀원 교체"

COMPASS 는 이 문제를 **"회의 테이블은 항상 4 명으로 꽉 차 있어야 한다"**는 원칙으로 해결합니다.

핵심 아이디어: 어떤 센서가 사라지든, 그 자리는 **항상 1 개의 '토큰 (정보 조각)'**으로 채워져야 합니다.
실제 팀원: 센서가 살아있으면 실제 데이터를 가져옵니다.
대리인 (Proxy Token): 센서가 고장 나면, 나머지 살아있는 센서들이 "너의 역할을 대신해 줄 수 있는 정보"를 만들어서 그 빈자리에 채웁니다.

3. 어떻게 작동할까요? (비유로 설명)

COMPASS 는 다음과 같은 세 가지 단계로 작동합니다.

① 공통 언어로 대화하기 (공유된 공간)

각 센서 (카메라, 와이파이 등) 는 원래 서로 다른 언어를 씁니다. COMPASS 는 모든 센서 정보를 **하나의 공통 언어 (공유 잠재 공간)**로 번역합니다.

비유: 영어, 중국어, 스페인어를 쓰는 팀원들이 모두 "에스페란토 (공통어)"로만 대화하도록 훈련시키는 것입니다. 그래야 서로의 정보를 쉽게 이해하고 대체할 수 있습니다.

② 능숙한 대리인 만들기 (대리 토큰 생성)

만약 '카메라'가 고장 난다면, '와이파이'나 '레이더' 센서가 "카메라가 본 장면을 상상해서" 그 빈자리를 채우는 **대리인 (Proxy Token)**을 만듭니다.

비유: 카메라가 고장 나자, 와이파이 센서가 "이곳에 사람이 움직이고 있네"라는 정보를 바탕으로 "카메라가 본 것처럼 보이는 영상"을 머릿속으로 그려서 회의 테이블에 올려놓는 것입니다.
중요한 점: 이 대리인은 단순히 빈 공간을 채우는 게 아니라, 실제 카메라가 봤을 때와 매우 유사한 정보를 담고 있어야 합니다. COMPASS 는 이를 위해 "대리인이 실제 정보와 얼마나 비슷한지"를 계속 비교하며 훈련시킵니다.

③ 완벽한 팀 회의 (고정된 융합)

결국 회의 테이블에는 항상 4 개의 자리가 있고, 그 자리에는 실제 팀원이나 훌륭한 대리인이 앉아 있습니다.

비유: 리더 (결정 시스템) 는 "누가 왔는지, 누가 안 왔는지"를 신경 쓰지 않고, 항상 4 명이 앉아 있는 상태에서 결정을 내립니다. 그래서 어떤 센서가 고장 나더라도 리더는 혼란스러워하지 않고 똑같은 방식으로 결정을 내릴 수 있습니다.

4. 왜 이 방법이 더 좋은가요?

강력한 적응력: 실험 결과, 센서가 하나만 남거나 두 개만 남는 극단적인 상황에서도 기존 방법들보다 훨씬 높은 정확도를 보여줍니다. 특히 약한 센서 (예: 와이파이만 있는 상황) 가 강한 센서 (예: 레이더) 의 정보를 빌려와서 빈자리를 채울 때 효과가 큽니다.
빠른 속도: 복잡한 계산 없이, 단순히 정보를 더하는 (Summation) 방식으로 결정을 내리기 때문에 기존 방법보다 훨씬 빠릅니다.
단순함: 센서가 고장 나면 시스템을 다시 설계할 필요가 없습니다. 항상 같은 방식으로 작동합니다.

요약

COMPASS는 "센서가 고장 나면 시스템을 멈추거나 다시 짜지 말고, 나머지 센서들이 그 빈자리를 훌륭하게 대신 채우게 하라"는 아이디어입니다. 마치 팀원 중 한 명이 결석해도, 다른 팀원들이 그 역할을 완벽하게 대신해 팀 전체의 성과를 유지하는 것과 같습니다.

이 기술은 스마트 홈, 자율 주행, 헬스케어 등 다양한 센서가 사용되는 곳에서 어떤 센서가 고장 나더라도 시스템이 멈추지 않고 안전하게 작동하도록 도와줄 것입니다.

1. 문제 정의 (Problem Statement)

다중 모달 (Multimodal) 센싱 시스템은 WiFi, mmWave 레이더, RFID, RGB 카메라, LiDAR 등 이질적인 센서를 결합하여 인간 활동 인식 (HAR) 등을 수행합니다. 그러나 실제 배포 환경에서는 센서 고장, 가려짐 (occlusion), 전력 제약, 통신 불안정, 또는 프라이버시 제한 등으로 인해 **하나 이상의 모달리티 (입력 데이터) 가 결손 (Missing)**되는 경우가 빈번합니다.

기존의 결손 모달리티 처리 방식은 주로 다음과 같은 한계가 있었습니다:

결손 브랜치 생략 (Branch-skipping): 결손된 모달리티를 단순히 제거하고 관측된 부분집합에 맞춰 융합 (Fusion) 을 수행합니다.
부분집합 의존적 융합: 관측된 모달리티 조합에 따라 융합 모듈의 구조나 파라미터를 변경합니다.
특징 재구성 (Imputation): 결손된 신호나 특징을 복원하려 시도합니다.

핵심 문제: 이러한 기존 방법들은 융합 인터페이스 (Fusion Interface) 의 불일치를 초래합니다. 모델은 학습 시 고정된 $N$ 개의 모달리티 입력을 받도록 훈련되지만, 추론 시에는 입력 구조가 변하거나 특징의 상호작용 패턴이 달라져 융합 헤드의 성능이 저하됩니다. 즉, 결손 문제는 단순한 정보 손실 문제가 아니라 융합 인터페이스의 구조적 불일치 문제입니다.

2. 제안 방법론: COMPASS

저자들은 융합의 완전성 (Fusion Completeness) 원칙을 기반으로 COMPASS 프레임워크를 제안합니다. 핵심 아이디어는 결손된 모달리티가 있더라도 융합 헤드는 항상 고정된 $N$ 개의 토큰 (Token) 을 입력받도록 하는 것입니다.

주요 구성 요소:

고정된 $N$ -슬롯 융합 인터페이스:
- 관측된 모달리티는 실제 토큰으로, 결손된 모달리티는 **생성된 프록시 토큰 (Proxy Token)**으로 채워집니다.
- 이로써 융합 헤드는 결손 패턴과 관계없이 동일한 입력 구조를 유지합니다.
공유 잠재 공간 (Shared Latent Space) 과 방향성 프록시 생성:
- 각 모달리티의 특징은 모달리티별 인코더를 거쳐 공유 잠재 공간으로 투영됩니다.
- 결손된 타겟 모달리티 $v_j$ 에 대해, 관측된 각 소스 모달리티 $v_i$ 는 **방향성 소스 - 타겟 생성기 (Directed Source-to-Target Generator)**를 통해 해당 타겟에 특화된 프록시 토큰을 생성합니다.
- 여러 관측 모달리티에서 생성된 프록시 토큰들은 평균화되어 하나의 대체 토큰으로 합쳐집니다.
3 단계 학습 전략 (Training Strategy):
생성된 프록시 토큰이 단순히 특징 공간에서 유사할 뿐만 아니라, 융합 및 하류 작업 (Downstream Task) 에 유용하도록 하기 위해 세 가지 손실 함수를 결합합니다.
- 프록시 정렬 손실 (Proxy Alignment Loss): 합성 마스킹 (Synthetic Masking) 동안 생성된 프록시 토큰을 실제 타겟 모달리티의 글로벌 토큰에 근접하도록 정렬합니다.
- 공유 공간 정규화 (Shared-space Regularization): VICReg 를 사용하여 잠재 공간의 기하학적 구조를 정규화합니다. 이는 모달리티 간 전이가 가능하도록 공간을 정렬하면서도 표현의 붕괴 (Collapse) 를 방지합니다.
- 프록시별 판별 손실 (Per-proxy Discriminative Loss): 각 생성된 프록시 토큰이 개별적으로 하류 작업 (예: 분류) 에 유용한 정보를 담고 있도록 보조적인 분류 손실을 적용합니다.

3. 주요 기여 (Key Contributions)

슬롯 완전성 (Slot-Completeness) 문제 정식화: 결손 모달리티 처리를 '부분집합 적응'이나 '특징 복원'이 아닌, 고정된 융합 인터페이스 유지 문제로 재정의했습니다.
COMPASS 프레임워크 도입: 공유 잠재 공간 내의 방향성 생성기를 통해 결손 슬롯을 채우는 프록시 기반 아키텍처를 제안했습니다.
효율적인 학습 전략: 정렬, 정규화, 판별적 감독을 결합하여 생성된 프록시가 구조적으로 완전하고 작업에 유익하도록 설계했습니다.
광범위한 실험 검증: XRF55, MM-Fi, OctoNet 등 3 개의 범용 센싱 벤치마크에서 다양한 단일 및 다중 결손 시나리오를 통해 기존 방법 (X-Fi, Branch-skipping 등) 보다 우월한 성능을 입증했습니다.

4. 실험 결과 (Results)

세 가지 데이터셋 (MM-Fi, XRF55, OctoNet) 에서 인간 활동 인식 (HAR) 작업을 수행한 결과, COMPASS 는 대부분의 시나리오에서 기존 방법들을 능가했습니다.

성능 향상:
- XRF55: 7 개 시나리오 평균 정확도가 X-Fi 대비 84.6% 대 72.1% 로 크게 향상되었습니다. 특히 WiFi+RFID(마이크로파 결손) 와 같은 약한 모달리티 조합에서 프록시 생성을 통해 58.1% (X-Fi) 에서 86.3% 로 비약적인 상승을 보였습니다.
- MM-Fi: 15 개 조합 평균에서 70.6% 를 기록하여 X-Fi(62.5%) 보다 8.1%p 높았습니다. RGB+LiDAR 조합에서는 25.2%p 향상되었습니다.
- OctoNet: 5 개 모달리티로 구성된 31 가지 조합 중 30 개에서 최상의 성능을 보였습니다. 단일 및 이중 모달리티 평균에서 X-Fi 대비 각각 28.0%p, 10.7%p 향상되었습니다.
효율성:
- COMPASS 는 융합 단계에서 가중치 학습이 없는 단순 합 (Summation) 을 사용하여, X-Fi 보다 1.9~2.6 배 빠른 추론 속도를 달성했습니다.
- 모델 크기는 유사하지만 (약 33M 파라미터), 융합 파라미터가 없어 계산 효율이 높습니다.
기하학적 분석:
- t-SNE 시각화 및 정량적 분석을 통해 COMPASS 가 서로 다른 모달리티를 잘 정렬된 공유 공간으로 매핑하면서도 클래스 간 분리는 유지함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 모달리티가 결손되더라도 융합 인터페이스를 고정된 형태로 유지하는 것이 강건한 범용 센싱을 위한 단순하면서도 효과적인 설계 원칙임을 증명했습니다.

실용성: 센서 고장이나 환경 변화에 따라 입력이 불완전해지는 실제 IoT 및 범용 컴퓨팅 환경에서 모델의 신뢰성을 크게 높입니다.
설계 철학: 복잡한 융합 모듈을 동적으로 변경하는 대신, 결손된 정보를 '프록시'로 채워 고정된 구조를 유지함으로써 구조적 일관성과 계산 효율성을 동시에 확보했습니다.
한계점: 단순 합 (Summation) 을 사용하여 복잡한 모달리티 간 상호작용 모델링에는 제한이 있으며, 본질적으로 약한 모달리티 (예: RFID 단독) 의 경우 여전히 정확도가 낮을 수 있습니다. 또한, 현재는 분류 작업에 국한되어 있으며 회귀 작업 (예: 포즈 추정) 에 대한 검증은 필요합니다.

결론적으로 COMPASS 는 결손 모달리티 문제를 해결하기 위한 새로운 패러다임을 제시하며, 다중 모달 센싱 시스템의 실용적 배포 가능성을 크게 확장했습니다.