기술 요약: 특권적 양상(Privileged Modalities)을 위한 프로브의 혼합 (Mixture of Probes, MoP)

1. 문제 정의: 특권적 양상 설정 (The Privileged Modality Setting)

멀티모달 대규모 언어 모델(MLLM)은 일반적으로 훈련 중에 사용 가능한 모든 양상(예: 비디오, 깊이, 오디오)이 추론 시에도 접근 가능하다는 가정하에 설계됩니다. 그러나 실제 배포 환경은 이러한 가정을 위반하는 경우가 많습니다. 모델은 풍부한 보조 스트림(특권적 양상)을 사용하여 훈련될 수 있지만, 테스트 시에는 단일하고 더 저렴하거나 더 신뢰할 수 있는 하나의 양상만을 사용하여 작동해야 할 수 있습니다. 이 시나리오를 **특권적 양상 설정(privileged modality setting)**이라고 정의합니다.

기존의 MLLM은 이 설정에서 어려움을 겪는데, 이는 이들이 양상을 단순히 공유된 표현 공간으로 정렬하기 위한 교체 가능한 입력으로만 취급하기 때문입니다. 이들은 추론 시 타겟 양상의 성능을 향상시키기 위해 훈련 중에만 사용 가능한 보조 양상을 효과적으로 활용하는 데 실패합니다. 저자들은 현재 방식의 두 가지 주요 한계를 다음과 같이 식별했습니다:

1. 최적화되지 않은 양상 표현: 새로운 양상이 마지막 레이어에서의 제한적인 적응만을 가진 공유 인코더를 통해 통합되는 경우가 많아, 저수준의 양상 특이적 신호를 포착하는 중간 특징들을 간과합니다.
2. 구조화되지 않은 교차 양상 표현: 기존 방법들은 양상 일반적 정보(양상 간 전이 가능한 정보)와 양상 특이적 정보(modality-specific information)를 분리하는 명시적인 메커니즘이 부족하여, 효과적인 지식 전이를 방해합니다.

2. 방법론: 프로브의 혼합 (Mixture of Probes, MoP)

이러한 한계를 해결하기 위해, 저자들은 MLLM 내에서 양상 특이적 신호와 양상 일반적 신호를 분리하도록 설계된 프레임워크인 **Mixture of Probes (MoP)**를 제안합니다. 신경과학과 '양상 집중 가설(Modality Focusing Hypothesis)'에서 영감을 얻은 핵심 직관은, 효과적인 교차 양상 전이를 위해서는 고유한 양상 구조를 보존하면서 동시에 공유된 추상화를 격리해야 한다는 것입니다.

2.1 아키텍처

MoP는 표준 통합 MLLM 아키텍처(양상별 토크나이저, 범용 양상 인코더, 커넥터, LLM으로 구성)에 구조화된 프로빙 메커니즘을 추가합니다:

• 범용 양상 인코더 (Universal Modality Encoder): 공유 트랜스포머 인코더가 모든 양상의 토큰화된 입력을 공통 잠재 공간으로 처리합니다.
• 학습 가능한 프로브 (Learnable Probes): 인코더의 마지막 레이어에만 의존하는 대신, MoP는 인코더의 중간 표현과 상호작용하는 두 종류의 학습 가능한 토큰(프로브)을 도입합니다:
  • 양상 특이적 프로브 ($P^m_s$): 특정 양상 $m$에 의해서만 조건화된 프로브 세트입니다. 이는 해당 양상에 고유한 신호를 포착합니다.
  • 양상 일반적 프로브 ($P_g$): 모든 양상에 의해 조건화되는 공유 프로브 세트입니다. 이는 양상 간 공통적인 구조적 정보를 포착합니다.
• 레이어별 상호작용 (Layer-wise Interaction): 두 프로브 세트는 인코더의 은닉 상태($H^m_l$)와의 크로스 어텐션(cross-attention)을 통해 인코더의 모든 레이어 $l$에서 업데이트됩니다. 프로브는 쿼리(query) 역할을 하여, 최종 레이어에서 손실될 수 있는 중요한 단서들을 중간 표현으로부터 추출합니다.
• 통합 (Integration): 최종 인코더 레이어를 거친 후, 프로브 토큰은 LLM 임베딩 공간으로 투영되어 표준 양상 토큰과 결합된 후 LLM으로 전달됩니다.

2.2 MoP 교차 양상 훈련 (MoP-X)

프로브가 구별되는 표현을 학습하고 교차 양상 전이를 촉진하도록 보장하기 위해, 저자들은 특정 훈련 전략을 도입합니다:

1. 프로브 분리 손실 ($\mathcal{L}_{dis}$): 양상 특이적 프로브와 양상 일반적 프로브 사이, 그리고 서로 다른 양상 특이적 프로브 사이의 유사성을 명시적으로 처벌하는 손실 함수입니다. 이는 "프로브 붕괴(probe collapse, 프로브가 동일한 표현으로 수렴하는 현상)"를 방지하고 모델이 직교하며 전문화된 특징을 학습하도록 유도합니다.
2. 양상 인터리빙 배치 (Modality-Interleaved Batching): 양상을 순차적으로 또는 고립시켜 훈련하는 방식과 달리, MoP-X는 여러 양상에서 샘플을 동시에 추출하여 미니 배치를 구성합니다. 이를 통해 공유 구성 요소(양상 일반적 프로브와 같은)가 단일 최적화 단계 내에서 이질적인 신호에 노출되도록 하여 간접적인 교차 양상 상호작용을 용이하게 합니다.

전체 훈련 목적 함수는 표준 자기회귀 언어 모델링 손실($\mathcal{L}_{AR}$)과 분리 손실을 결합합니다:
$$\mathcal{L} = \mathcal{L}_{AR} + \lambda \mathcal{L}_{dis}$$

3. 실험적 평가

저자들은 각 양상이 추론 시 유일한 입력으로 취급되는 엄격한 프로토콜 하에 두 개의 도메인, 8개의 태스크, 4개의 양상에 대해 MoP를 평가합니다.

3.1 도메인 및 벤치마크

• 일상 활동 (ADL): Ego-in-Exo Perception 벤치마크에서 평가됩니다. 훈련에는 1인칭(egocentric) 비디오, 2인칭(exocentric) 비디오, 그리고 깊이(depth) 데이터가 사용됩니다. 추론은 1인칭, 2인칭, 깊이 양상 각각에 대해 별도로 테스트됩니다.
• 음악 이해 (Music Understanding): Music-AVQA에서 평가됩니다. 훈련에는 쌍을 이룬 오디오-비주얼 데이터가 사용됩니다. 추론은 오디오와 비디오 양상 각각에 대해 별도로 테스트됩니다.

3.2 베이스라인

MoP는 다음 모델들과 비교됩니다:

• 단일 양상 MLLM (Unimodal MLLM): 타겟 추론 양상에 대해서만 훈련되었습니다.
• 나이브 MLLM (Naive MLLM): 구조화된 교차 양상 메커니즘 없이 모든 양상에 대해 공동 훈련되었습니다.
• 최신 SOTA MLLM: 멀티모달 정렬에 중점을 둔 X-InstructBLIP 및 OneLLM을 포함합니다.

3.3 주요 결과

• 우수한 성능: MoP는 모든 추론 양상에 대해 모든 베이스라인을 일관되게 능가합니다. ADL 도메인에서 특정 설정(예: 깊이 추론) 시 강력한 베이스라인 대비 최대 65%의 상대적 개선을 달s합니다.
• 효과적인 특권 학습: 여러 양상으로 훈련되었음에도 단일 양상 베이스라인보다 성능이 나아지지 않는 경우가 많은 나이브 MLLM과 달리, MoP는 보조 양상을 성공적으로 활용하여 단일 양상 성능을 높입니다.
• 어블레이션 연구 (Ablation Studies):
  • 프로브 유형: 양상 특이적 또는 양상 일반적 프로브 중 하나라도 제거하면 성능이 저하되어, 두 가지 모두의 필요성을 확인했습니다.
  • 분리 손실: 이 손실은 매우 중요합니다. 손실이 없으면 프로브의 분산이 붕괴되어 성능이 크게 떨어집니다.
  • 프로빙 깊이: 모든 인코더 레이어에서 프로빙하는 것이 가장 좋은 결과를 얻었으며, 이는 모델의 깊이 전반에 걸쳐 신호를 추출하는 것의 이점을 시사합니다.
  • 데이터 스케일링: MoP는 훈련 데이터가 확장됨에 따라 일관된 성능 향상을 보여주는 반면, 나이브 MLLM은 수확 체감의 법칙을 보입니다.

4. 기여 및 의의

본 논문은 다음과 같은 기여를 주장합니다:

1. 특권적 양상 설정의 공식화: 저자들은 보조 양상이 훈련을 풍부하게 하지만 추론 시에는 부재하는 시나리오를 공식화하여, 표준 멀티모달 훈련이 이러한 비대칭성을 활용하는 데 실패함을 입증했습니다.
2. Mixture of Probes (MoP): 범용 인코더의 깊이 전반에 걸친 구조화된 프로빙을 통해 양상 특이적 신호와 양상 일반적 추상화를 분리하여 학습하는 새로운 아키텍처를 제안합니다.
3. MoP 교차 양상 훈련 (MoP-X): 표현 분리를 강제하고 교차 양상 상호작용을 촉진하기 위해 프로브 분리 손실과 인터리빙 배치를 특징으로 하는 훈련 전략을 제시합니다.
4. 실증적 검증: 보조 양상이 MoP를 통해 적절히 활용될 때 단일 양상 추론 성능을 실질적으로 향상시킬 수 있으며, 단일 양상 모델 및 기존 멀티모달 정렬 방법보다 우수함을 종합적인 평가를 통해 보여줍니다.

의의: 이 연구는 양상을 단순히 정렬을 위한 교체 가능한 입력으로 취급하는 기존 패러다임에 도전합니다. 대신, 특권 정보를 활용하는 핵심은 양상에 고유한 것과 공유되는 것을 분리하도록 모델을 명시적으로 구조화하는 데 있다고 주장합니다. 이를 통해 MLLM은 풍부하지만 추론 시에는 사용할 수 없는 데이터로부터 "학습"하여, 제약이 있는 단일 양상 배포 시나리오에서 더욱 견고하고 유능해질 수 있습니다.

한계점: 저자들은 MoP가 현재 범용 양상 인코더를 가정하고 있으며, 이질적인 양상별 인코더로 직접 확장되지 않는다는 점을 언급했습니다. 또한, 본 연구는 단일 양상 추론 설정에 엄격히 집중되어 있어, 다중 양상 추론 시나리오는 향후 과제로 남겨두었습니다.