Bridging Modalities via Progressive Re-alignment for Multimodal Test-Time Adaptation

이 논문은 다양한 모달리티 간의 분포 변화로 인한 복잡성을 해결하기 위해, 프롬프트 튜닝을 활용한 단일 모달리티 정렬과 신뢰도 높은 의사레이블 기반의 대비 학습을 점진적으로 결합한 새로운 멀티모달 테스트 시간 적응 프레임워크인 BriMPR 을 제안합니다.

핵심

🎬 배경: AI 의 '문화 충격' 문제

상상해 보세요. 한국에서 훈련받은 요리사가 갑자기 프랑스 레스토랑에 취직했다고 가정해 봅시다.

• 한국식 재료 (학습 데이터): 한국인 입맛에 맞춰져 있어요.
• 프랑스식 재료 (테스트 데이터): 향신료나 식재료가 다르고, 요리법도 달라요.

기존의 AI 는 이 '문화 충격' (데이터 분포의 변화) 때문에 요리 실수가 잦아집니다. 특히 멀티모달 (Multimodal) AI 는 눈 (영상) 과 귀 (음성) 두 가지 감각을 동시에 사용하는데, 문제는 두 감각이 다른 속도로 혼란을 겪는다는 점입니다.

• 영상은 흐릿해졌는데 (비유: 눈이 침침해짐),
• 소리는 또렷할 수도 있어요.
• 혹은 그 반대의 경우도 있죠.

기존 방법들은 이런 복잡한 상황을 해결하지 못해, 두 감각이 서로 엉켜서 엉뚱한 결론을 내리는 경우가 많았습니다.

---

🛠️ 해결책: BriMPR (브림프) 의 두 단계 전략

저희가 제안한 BriMPR은 이 문제를 해결하기 위해 '분할 정복 (Divide-and-Conquer)' 전략을 사용합니다. 마치 두 명의 친구가 함께 문제를 풀 때, 먼저 각자 자신의 문제를 해결한 뒤 다시 합치는 방식입니다.

1 단계: 각 감각의 '나침반' 다시 맞추기 (Prompt-driven Alignment)

가장 먼저, 눈과 귀가 각각 겪는 혼란을 따로따로 해결합니다.

• 비유: 요리사가 프랑스에 도착하자마자, "아, 여기는 소금 양이 한국과 다르구나"라고 깨닫고 **자신의 레시피 노트 (프롬프트)**를 살짝 수정하는 것과 같습니다.
• 작동 원리: AI 모델의 각 층 (Layer) 에 **'프롬프트 (지시어)'**라는 작은 메모지를 붙여줍니다. 이 메모지는 AI 가 새로운 환경 (테스트 데이터) 에서도 원래 배우던 지식 (소스 데이터) 과 비슷하게 느끼도록 도와줍니다.
• 효과: 눈으로 보는 영상과 귀로 듣는 소리가 각각 원래의 '정석' 상태로 다시 조정됩니다. 이렇게 하면 두 감각이 서로 엉키기 전에, 각각의 기준이 바로 잡힙니다.

2 단계: 서로의 정보를 주고받으며 다듬기 (Inter-modal Interaction)

각각의 감각이 제자리를 찾았으니, 이제 두 감각이 서로 협력하게 만듭니다.

• 비유: 눈이 안 좋아진 요리사가 소리를 더 잘 듣고, 소리가 안 들리는 요리사가 영상을 더 잘 보며 서로를 보완하는 상황입니다.
• 작동 원리:
  1. 가상 실험 (마스크링): 일부 정보를 가리고 (예: 소리를 끄고 영상만 보기) AI 가 추측해 보게 합니다. 이때, 나머지 깨끗한 정보 (영상) 를 믿고 '정답'을 알려주면, 가려진 정보 (소리) 가 어떻게 보충되어야 하는지 학습합니다.
  2. 서로 비교하기: 같은 장면을 보고 눈이 본 것과 귀가 들은 것이 서로 일치하도록 '비교 학습'을 시킵니다.
• 효과: 한쪽 감각이 망가져도 다른 감각이 그 빈틈을 채워주며, 두 감각이 하나로 자연스럽게 융합됩니다.

---

🏆 왜 이 방법이 특별한가요?

기존 방법들은 "모든 감각을 한꺼번에 고치자"라고 해서 실패하거나, "가장 잘 들리는 소리만 믿자"라고 해서 중요한 정보를 놓쳤습니다.

하지만 BriMPR은:

1. 하나씩 고친 뒤 합칩니다: 각 감각의 문제를 먼저 해결해서 엉킴을 방지합니다.
2. 적은 비용으로 큰 효과를 봅니다: 모델 전체를 다시 가르치는 게 아니라, 작은 '메모지 (프롬프트)'만 수정해서 빠르게 적응합니다.
3. 실제 상황에서도 강합니다: 영상에 노이즈가 섞이거나, 소리가 끊기는 등 실제 세상의 복잡한 상황에서도 가장 좋은 성적을 냈습니다.

💡 요약

이 논문은 **"AI 가 새로운 환경에 갈 때, 눈과 귀가 따로따로 혼란을 겪지 않도록 먼저 각자의 나침반을 맞추고, 그 다음 서로 도와주며 길을 찾게 한다"**는 아이디어를 담고 있습니다.

이처럼 BriMPR은 AI 가 예측 불가능한 세상에서도 유연하게 적응하여, 더 똑똑하고 안정적인 결정을 내리도록 돕는 혁신적인 기술입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

배경:

• 테스트 시간 적응 (Test-Time Adaptation, TTA): 라벨이 없는 테스트 데이터를 활용하여 모델이 훈련 분포 (Source) 와 다른 테스트 분포 (Target) 에 적응하도록 하는 기술입니다.
• 멀티모달 TTA (MMTTA) 의 필요성: 센서 기술의 발전으로 오디오, 비디오 등 다양한 모달리티를 통합한 시스템이 증가했으나, 각 모달리티는 서로 다른 정도의 분포 변화 (Distribution Shift) 를 겪습니다.

핵심 문제:

• 복합적 결합 효과 (Complex Coupling Effect): 멀티모달 환경에서는 단일 모달리티의 저수준 특징 (Shallow Feature) 이동과 모달리티 간의 고수준 의미론적 불일치 (Cross-modal Semantic Misalignment) 가 동시에 발생합니다.
• 기존 방법의 한계:
  • 기존 단일 모달리티 TTA 방법들은 모든 모달리티에서 일관된 개선을 보장하지 못합니다.
  • 기존 멀티모달 TTA 방법 (예: READ) 은 퓨전 모듈의 어텐션 가중치를 조정하는 데 집중하여, 단일 모달리티의 저수준 특징 왜곡을 교정하지 못합니다.
  • 이로 인해 모달리티 간 정렬이 제대로 이루어지지 않아, 융합된 특징의 판별력 (Discriminability) 이 급격히 떨어집니다.

2. 제안 방법: BriMPR (Methodology)

저자들은 BriMPR (Bridging Modalities via Progressive Re-alignment) 을 제안하며, 이는 '분할 정복 (Divide-and-Conquer)' 전략을 통해 위 문제를 해결합니다. 전체 프레임워크는 두 단계의 점진적 모듈로 구성됩니다.

2.1. 모듈 1: 프롬프트 기반 모달리티별 글로벌 특징 정렬 (PMGFA)

• 목표: 각 모달리티의 특징 분포를 소스 (Source) 분포에 맞춰 초기 정렬을 수행합니다.
• 메커니즘:
  • 멀티모달 문제를 단일 모달리티 특징 정렬 문제로 분해합니다.
  • 프롬프트 튜닝 (Prompt Tuning) 의 강력한 함수 근사 능력을 활용하여, 각 모달리티 인코더의 레이어에 모달리티별 프롬프트를 삽입합니다.
  • 분산 정렬: 고차원 데이터에서 공분산 행렬 추정의 오차를 줄이기 위해, 분산의 대각 요소 (Diagonal elements) 만을 사용하여 평균과 분산의 불일치를 최소화합니다 (Theorem 1 에 기반).
  • 이를 통해 테스트 시의 특징을 소스 특징 공간으로 매핑하여 초기 의미론적 정렬을 달성합니다.

2.2. 모듈 2: 정렬 정밀화를 위한 모달리티 간 상호작용 강화

초기 정렬 후, 모달리티 간의 정보 상호작용을 통해 정렬을 더욱 정교하게 다듬습니다.

• A. 교차 모달리티 마스킹 임베딩 재조합 (Cross-modal Masked Embedding Recombination, CMER):
  • 데이터 증강: 한 모달리티의 패치를 무작위로 마스킹 (예: 50%) 하고, 나머지 깨끗한 모달리티와 결합하여 새로운 입력을 생성합니다.
  • 의사 라벨 (Pseudo-labels): 초기 정렬이 된 상태의 완전한 멀티모달 데이터로부터 신뢰할 수 있는 의사 라벨을 생성합니다.
  • 적응형 온도 스케일링: 분포 불일치 정도에 따라 온도를 조절하여 의사 라벨의 신뢰도를 조정하고, 마스킹된 모달리티가 멀티모달 정보를 학습하도록 강제합니다.
• B. 모달리티 간 인스턴스 단위 대비 학습 (Inter-modal Instance-wise Contrastive Learning, LIICL):
  • 동일한 인스턴스에 대한 서로 다른 모달리티 표현을 양의 쌍 (Positive Pair), 다른 인스턴스를 음의 쌍 (Negative Pair) 으로 정의하여 특징 공간의 정렬을 강화합니다.

2.3. 전체 손실 함수

$$\mathcal{L}_{BriMPR} = \mathcal{L}_{PMGFA} + \mathcal{L}_{CMER} + \mathcal{L}_{IICL}$$
모델의 나머지 부분은 고정 (Frozen) 하고, 오직 모달리티별 프롬프트 파라미터만 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 MMTTA 프레임워크: 단일 모달리티 분포 이동과 모달리티 간 의미 불일치의 결합 효과를 '분할 정복' 방식으로 해결하여 모달리티 간 재정렬을 촉진합니다.
2. 프롬프트 튜닝의 효율적 활용: 프롬프트 튜닝의 함수 근사 능력을 이용해 단일 모달리티 전역 특징 분포를 효율적으로 보정하고, 새로운 '교차 모달리티 마스킹 임베딩 재조합' 전략을 도입하여 모달리티 간 상호작용을 강화합니다.
3. 광범위한 실험 검증: Corruption 기반 (Kinetics50-C, VGGSound-C) 과 실제 세계 도메인 이동 (CMU-MOSI, CH-SIMS) 벤치마크에서 기존 SOTA 방법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 단일 모달리티 이동 (Unimodal Shift):
  • Kinetics50-C (비디오 손상) 와 VGGSound-C (오디오 손상) 에서 모든 손상 유형에서 가장 높은 정확도를 기록했습니다.
  • 특히 주된 모달리티가 손상된 경우 (Kinetics50-C 의 비디오 손상 등) 기존 방법 대비 큰 성능 향상 (예: 60.5% → 65.9%) 을 보였습니다.
• 멀티모달 이동 (Multimodal Shift):
  • 모든 모달리티가 손상된 어려운 시나리오에서도 BriMPR 이 최상의 성능을 유지하며, 고품질 모달리티에 대한 의존도를 줄였습니다.
• 실제 세계 이동 (Real-world Shift):
  • MOSI → SIMS 작업에서 무작위 추측 (>50%) 을 능가하는 유일한 방법으로, 실제 환경 변화에 대한 강건성을 입증했습니다.
• 효율성:
  • 프롬프트 튜닝을 사용하여 학습 가능한 파라미터 수가 매우 적습니다 (약 0.169M).
  • 제한된 테스트 데이터에서도 빠른 적응이 가능하며, 데이터 양이 증가함에 따라 성능이 지속적으로 향상됩니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 테스트 시간 적응 분야에서 단일 모달리티의 특징 왜곡과 모달리티 간의 의미 불일치라는 두 가지 핵심 과제를 동시에 해결하는 체계적인 접근법을 제시했습니다.

• 기술적 혁신: 단순한 퓨전 모듈 조정을 넘어, 각 모달리티의 근본적인 특징 분포를 프롬프트를 통해 보정하고, 마스킹 기반 증강을 통해 모달리티 간 상호 보완적 학습을 유도한 점이 혁신적입니다.
• 실용성: 라벨이 없는 실시간 데이터 스트림에서 강건하게 작동하며, 계산 비용과 파라미터 수를 최소화하여 실제 배포 가능한 솔루션을 제공합니다.
• 향후 방향: 멀티모달 시스템의 신뢰성을 높이고, 다양한 도메인 이동이 발생하는 실제 환경 (자율주행, 의료 영상 등) 에서의 적용 가능성을 크게 확장했습니다.

결론적으로, BriMPR은 멀티모달 TTA 의 난제를 '분할 정복' 전략과 프롬프트 튜닝의 결합으로 해결한 획기적인 성과로 평가됩니다.