기술 요약: SeRIn (Segregate, Refine, Integrate)

1. 문제 정의

멀티모달 감성 분석(Multimodal Sentiment Analysis, MSA)은 언어적, 음향적, 시각적 단서를 공동으로 모델링하여 감성의 극성(polarity)과 강도(intensity)를 예측하는 것을 목표로 한다. 핵심적인 기술적 과제는 **멀티모달 융합(multimodal fusion)**이다. 즉, 단일 모달리티의 단서와 교차 모달 상호작용을 모두 포착할 수 있는 표현(representation)을 학습하는 것이다.

현재의 융합 방식들은 근본적인 구조적 한계에 직면해 있다. 이들은 일반적으로 **모달리티 특화 신호의 정교화(refining modality-specific signals)**와 **교차 모달 상호작용 모델링(modeling cross-modal interactions)**이라는 두 가지 경쟁하는 목적을 단일 연산 내에 뒤섞어 놓는다.

• 텐서 및 어텐션 기반 방법들은 이러한 두 연산을 구조적 분리 없이 동시에 수행한다.
• 분리(Disentanglement) 접근법들은 최적화 페널티(예: 직교성 손실)에 의존하며, 이는 구조적 제약이 아닌 최적화를 통해 전문화를 유도하므로 순전파(forward pass) 과정 자체를 제약하지는 못한다.
• 딥 퓨전 모델들(예: DeepMLF)은 학습 가능한 융합 토큰을 도입하지만, 이 토큰들 사이의 상호작용 토폴로지(interaction topology)를 차별화하지 않아, 언제 신호를 보존하고 언제 통합할지에 대한 명시적 제어 대신 암시적 제어에 머물게 한다.

저자들은 단일 모달리티의 정교화와 교차 모달 통합이 결합된 연산이 아니라 별개의 단계로 취급되어야 하며, 상호작용 토폴로지(어떤 조건에서, 어느 단계에서, 어떤 패턴으로 표현들이 정보를 교환할지를 규정하는 방식)가 깊이(depth)나 용량(capacity)과 더불어 보완적인 설계 축으로서 아직 충분히 탐구되지 않은 영역이라고 주장한다.

2. 방법론: SeRIn

저자들은 최적화 페널티가 아닌 **구조적 사전 지식(architectural prior)**으로서 정교화와 통합의 분리를 강제하는 멀티모달 대규모 언어 모델(LLM) 융합 스킴인 SeRIn(Segregate, Refine, Integrate)을 제안한다. SeRIn은 고정된 사전 학습 디코더 전용 트랜스포머(decoder-only Transformer) 내에서 구현되며, DeepMLF 프레임워크를 확장한 형태이다.

이 아키텍처는 세 가지 핵심 단계로 구성된다:

A. Segregate (분리)

SeRIn은 학습 가능한 융합 토큰을 서로 배타적인 모달리티 특화 그룹인 오디오($X_{fa}$), 비주얼($X_{fv}$), 그리고 오디오-비주얼($X_{fav}$)로 분할한다.

• 고립된 경로(Isolated Pathways): 단일 모달리티 그룹은 모달리티 제약 어텐션 마스크($M^{mc}_{LM}$ 및 $M^{mc}_{MM}$)를 통해 격리된 경로에 갇혀 있다. 이 마스크는 파라미터를 추가하지 않으면서도, 순전파 과정 중 교차 모달 오염을 구조적으로 방지한다.
• 읽기 전용 교차 모달 경로(Read-Only Cross-Modal Pathway): 오디오-비주얼(AV) 그룹은 전용 교차 모달 경로 역할을 한다. 이 그룹은 단일 모달리티 그룹의 진화하는 상태를 읽고 집계하지만, 단일 모달리티 그룹에 다시 쓰지는(write back) 않는다. 이러한 비대칭성은 AV 토큰이 특화된 단일 모달리티 스트림을 오염시키는 것을 방지하는 동시에, 레이어별 교차 모달 공진화의 이력을 축적할 수 있게 한다.

B. Refine (정교화)

각 고립된 경로 내에서 표현들은 내부 게이팅(Internally Gated) 메커니즘을 통해 각자의 인코더 컨텍스트에 맞게 정교화된다:

1. 내부 게이팅 교차 주의(Internally Gated Cross-Attention, IGCA): 각 융합 토큰 그룹은 자신의 특정 인코더 출력($Z_a, Z_v, Z_{av}$)을 쿼리한다. 잔차 수준에서 조절하는 표준 게이팅 교차 주의와 달리, IGCA는 **내용 의존적 요소별 게이트(content-dependent, element-wise gate)**를 어텐션 메커니즘 내부에 배치한다. 이를 통해 모델은 교차 주의된 표현의 개별 특징 차원을 토큰 단위로 선택적으로 억제하거나 증폭할 수 있다.
2. 내부 게이팅 셀프 주의(Internally Gated Self-Attention, IGSA): 인코더 컨텍스트를 받은 후, 토큰들은 마스크드 셀프 어텐션을 통해 그룹 내 정보를 통합한다. 마스크는 단일 모달리티 토큰이 자신의 그룹에만 주의를 기울이도록 보장하며, AV 토큰은 모든 그룹에 주의를 기울일 수 있게 한다. 이 단계는 주입된 컨텍스트를 성급한 혼합 없이 일관된 그룹 수준의 표현으로 재조정한다.

C. Integrate (통합)

전체적인 교차 모달 상호작용은 최종 예측 단계까지 **연기(defer)**된다.

• 통합 헤드(Integration Head): 표준 레이트 퓨전(late-fusion) 트랜스포머 인코더가 텍스트, 단일 모달 융합 토큰, 그리고 AV 인코더 출력을 포함한 모든 정교화된 표현들을 제한 없는 교차 모달 상호작용과 함께 집계한다.
• 보조 헤드(Auxiliary Heads): 훈련 중에 보조 선형 헤드들이 텍스트, AV 인코더, 융합 토큰 그룹에 각각 그래디언트 신호를 제공하여, 분리된 정교화 단계 동안 태스크 관련 정보가 효과적으로 흡수되도록 보장한다.

3. 주요 기여

1. 설계 축으로서의 상호작용 토폴로지: 본 논문은 상호작용 토폴로지를 깊이나 용량과 상호 보완적인 별도의 설계 변수로 정의한다. SeRIn은 파라미터가 없는 마스크를 통해 모달리티별 경로를 분리하고, 각자의 컨텍스트에 대해 정교화하며, 최종 헤드로 제한 없는 상호작용을 연기함으로써 이를 실현한다.
2. 최적화 페널티보다 우월한 아키텍처적 사전 지식: 전문화를 위해 학습된 페널티에 의존하는 기존 연구와 달리, SeRIn은 구조적으로 모달리티 분리를 강제한다. 이는 단일 모달리티의 정교화와 멀티모달 통합을 순전파 과정에서 분리한다.
3. 고정된 용량에서의 SOTA 성능 달성: SeRIn은 융합 깊이와 토큰 수를 DeepMLF의 최적값으로 유지하면서도 CH-SIMS와 CMU-MOSEI의 모든 지표(정확도, F1, MAE, 상관계수)에서 SOTA 결과를 달성했다.
4. 창발적 모달리티 재가중치 부여(Emergent Modality Reweighting): 시각적 손상(visual corruption) 하에서의 게이트 분석 결과, 모델은 명시적인 감독 없이도 요소별 게이팅 설계를 통해 비지도 방식으로 창발적인 모달리티 재가중치 부여(비주얼 게이트를 닫고 오디오 게이트를 여는 동작)를 수행함을 보여준다.

4. 실험 결과

저자들은 두 가지 벤치마크에서 SeRIn을 평가했다:

• CH-SIMS: 모달리티 기여도가 균형 잡힌 중국어 데이터셋.
• CMU-MOSEI: 텍스트가 오디오/비주얼 특징보다 지배적인 영어 데이터셋.

성능: SeRIn은 CH-SIMS와 CMU-MOSEI 모두에서 DeepMLF 및 기타 SOTA 방법들(예: MulT, Self-MM, TETFN)에 비해 모든 지표가 개선되었다.

• CH-SIMS: +1.72 Acc2, +1.65 F1, -0.6% MAE, +1.9% Corr.
• CMU-MOSEI: +1.02 Acc2, +1.01 F1, -1.2% MAE, +1% Corr.

절제 연구(Ablation Studies):

• 토폴로지 vs 용량: 용량을 맞춘 절제 실험(Table 2의 Step 6)에서는 SeRIn에 추가된 파라미터는 유지하되 구조화된 상호작용 토폴로지만 제거했다. 이 변형 모델은 베이스라인인 DeepMLF보다 성능이 낮게 나타났으며, 이는 성능 향상이 추가된 용량이 아니라 상호작용 토폴로지에서 기인함을 확인시켜 준다.
• 구성 요소 제거: 구성 요소(마스크, 게이트, 헤드)를 순차적으로 제거했을 때 일반적으로 단조적인 성능 저하가 관찰되었으며, 이는 구조적 설계의 모든 부분이 의미 있게 기여함을 입증한다.
• 분리 원칙: AV 경로의 "읽기 전용" 특성을 제거하거나 모달리티 제약 마스크를 제거했을 때 상당한 성능 저하가 발생했으며, 이는 정교화 과정 중 교차 모달 오염을 방지하는 것이 매우 중요하다는 것을 확인해 준다.

5. 의의 및 주장

본 논문은 상호작용 토폴로지가 멀티모달 융합에서 유의미하고 구별되는 설계 축임을 주장한다. 주요 기여는 표현들이 상호작용하는 방식을 구조화하는 것(특히 정교화와 통합을 분리하는 것)이 모델의 깊이나 파라미터 수와 무관하게 상당한 성능 향상을 가져온다는 점을 입증한 것이다.

저자들은 다음을 강조한다:

• 구조가 이득을 주도함: 성능 향상은 파라미터의 추가가 아니라 강제된 경로 분리에 기인한다.
• 아키텍처적 제약이 최적화 페널티보다 우월함: 단일 모달리티와 교차 모달 프로세싱을 하드코딩함으로써, SeRIn은 전문화를 완전히 강제하지 못할 수 있는 학습된 페널티에 대한 의존도를 피한다.
• 일반화 가능성: "분리(Segregate)" 원칙은 서로 다른 모달리티 경로가 존재하는 다양한 아키텍처(예: MAG-BERT, MulT)와 호환 가능하며, 이는 제약된 스트림 간 마스킹이 멀티모달 융합을 개선하기 위한 일반화 가능한 전략이 될 수 있음을 시사한다.

결론적으로, 구조적 토폴로지는 모달리티 기여도가 균형 잡힌 데이터셋(CH-SIMS)에서 가장 두드러진 이득을 보이지만, 텍스트가 지배적인 환경(MOSEI)에서도 유익함을 보여줌으로써 멀티모달 융합 레이어를 설계하는 새로운 패러다임을 제시한다.