CaReFlow: Cyclic Adaptive Rectified Flow for Multimodal Fusion

이 논문은 소스 모달리티의 데이터 포인트가 타겟 모달리티의 전역 분포를 관찰할 수 있도록 '원-투-매핑' 전략을 활용하고, 적응적 완화 정렬과 순환 구조를 도입하여 모달리티 간 격차를 효과적으로 줄이고 다중 모달 감정 컴퓨팅 성능을 향상시키는 CaReFlow(Cyclic Adaptive Rectified Flow) 모델을 제안합니다.

핵심

이 논문은 **'CaReFlow'**라는 새로운 기술을 소개합니다. 이 기술은 인공지능이 사람의 감정 (기분, 웃음, 비꼼 등) 을 이해할 때, 눈으로 보는 영상, 귀로 듣는 소리, 그리고 입으로 하는 말이라는 **서로 다른 세 가지 정보 (모달리티)**를 하나로 잘 섞어주는 방법을 말합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제점: 서로 다른 언어를 쓰는 세 친구

인공지능이 감정을 분석할 때, 영상 (얼굴 표정), 소리 (목소리 톤), 텍스트 (말하는 내용) 는 각자 완전히 다른 언어를 쓰는 세 명의 친구라고 상상해 보세요.

• 영상 친구: "나는 그림으로 감정을 표현해."
• 소리 친구: "나는 소리로 표현해."
• 말 친구: "나는 글자로 표현해."

이 세 친구는 같은 감정을 느끼고 있어도, 서로의 '언어 (데이터 분포)'가 너무 달라서 대화할 때 오해가 생깁니다. 이를 논문에서는 **'모달리티 간극 (Modality Gap)'**이라고 부릅니다. 마치 한국 사람, 미국 사람, 프랑스 사람이 서로 다른 언어로만 대화하려다 보니, 아무리 노력해도 서로의 마음을 100% 이해하지 못하는 상황과 비슷합니다.

기존의 방법들은 이 세 친구를 억지로 붙여놓거나, 한 명씩 짝을 지어 대화하게 했지만, 여전히 서로의 '전체적인 분위기'를 이해하지 못해 오해가 많았습니다.

2. 해결책: CaReFlow (케어플로우) 의 마법

CaReFlow 는 이 세 친구가 서로의 언어를 자연스럽게 이해하도록 돕는 매우 똑똑한 통역사 역할을 합니다.

비유 1: 직선 도로를 만드는 '일직선 통역' (Rectified Flow)

기존 통역사들은 친구들을 한 명씩 짝지어 ("너는 저 친구와 비슷해") 대화시켰습니다. 하지만 CaReFlow 는 직선 도로를 닦아줍니다.

• 일대다 (One-to-Many) 전략: 영상 친구가 소리 친구와 대화할 때, 단순히 '한 명'의 소리 친구만 보는 게 아니라, **모든 소리 친구들의 전체적인 분위기 (전체 분포)**를 한눈에 보게 합니다.
• 효과: 마치 여행 가이드가 "저기 보이는 모든 사람들이 우리 팀원들이야, 너희는 이 팀의 전체적인 기분을 느껴봐!"라고 알려주는 것과 같습니다. 이렇게 하면 정보의 양이 부족해도 훨씬 더 넓은 시야를 갖게 되어 오해가 줄어듭니다.

비유 2: 상황에 따른 '유연한 규칙' (Adaptive Relaxed Alignment)

하지만 모든 친구를 똑같이 대하면 안 됩니다.

• 같은 팀 (같은 샘플) 친구들: 얼굴, 소리, 말이 같은 사람의 것이면 엄격하게 서로의 마음을 맞춰야 합니다. (예: "이 표정은 이 목소리와 정확히 일치해야 해!")
• 다른 팀 (다른 샘플) 친구들: 다른 사람의 정보라면 너무 빡빡하게 맞추지 않아도 됩니다. (예: "비슷한 감정을 가진 다른 사람들도 있으니까, 너무 딱딱하게 맞추지 말고 유연하게 이해해.")
• CaReFlow 의 특징: 이 기술은 "누가 같은 팀인지, 누가 비슷한 감정을 가진 친구인지"를 알아서 적절한 강도로 통역을 해줍니다. 같은 팀은 꽉 잡고, 다른 팀은 살짝만 연결해 주는 식입니다.

비유 3: 잃어버린 기억을 되찾는 '왕복 여행' (Cyclic Flow)

통역을 하다 보면 원래의 '나'라는 정체성이 사라질 위험이 있습니다.

• 왕복 여행: CaReFlow 는 "영상 친구를 소리 친구의 언어로 번역했다가, 다시 원래의 영상 언어로 되돌려봐. 원래의 모습이 그대로 남아있는지 확인해!"라고 합니다.
• 효과: 이렇게 **왕복 (Cyclic)**으로 확인하는 과정을 통해, 통역하는 동안 중요한 정보 (감정의 뉘앙스) 가 사라지지 않도록 보호합니다.

3. 결과: 왜 이 기술이 대단한가요?

이 기술을 적용하면, 아주 간단한 방법 (단순히 세 친구의 말을 합치는 것) 만으로도 최고 수준의 감정 분석 성능을 냅니다.

• 시각화 결과: 데이터 공간에서 서로 다른 언어를 쓰던 친구들이, CaReFlow 를 만나고 나면 서로 훨씬 가깝게 모여서 대화하는 것을 볼 수 있습니다. (모달리티 간극이 줄어듦)
• 효율성: 복잡한 과정을 거치지 않고도, 직선 도로를 빠르게 닦아주기 때문에 계산 비용도 적게 들고 빠릅니다.

요약

CaReFlow는 서로 다른 언어를 쓰는 세 친구 (영상, 소리, 말) 가 서로의 마음을 완벽하게 이해하도록 돕는 기술입니다.

1. 전체적인 분위기를 보게 하여 (일대다 매핑)
2. 상황에 따라 적절히 엄격하거나 유연하게 (적응형 완화 정렬)
3. 원래 모습을 잃지 않도록 왕복 확인을 거치면서 (순환 정보 흐름)

서로 다른 정보를 하나로 잘 섞어, 인공지능이 사람의 감정을 훨씬 더 정확하게 이해하게 만들어줍니다. 마치 서로 다른 언어를 쓰는 친구들이 이제는 서로의 눈빛과 표정, 말투를 완벽하게 알아듣게 된 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

• 모달리티 간격 (Modality Gap): 다중 모달 감정 컴퓨팅 (MAC) 의 핵심 과제는 이질적인 모달리티 (시각, 음성, 언어) 간의 정보를 융합하는 것입니다. 그러나 서로 다른 모달리티는 특징 공간에서 정렬되지 않은 별도의 분포를 가지며, 이로 인해 '모달리티 간격'이 발생합니다.
• 기존 방법의 한계:
  • 기존 접근법 (대조 학습, GAN, 확산 모델 등) 은 주로 1 대 1 (one-to-one) 정렬에 집중합니다.
  • 이는 소스 모달리티의 데이터 포인트가 타겟 모달리티의 전역 분포 정보 (global distribution context) 를 관찰하지 못하게 하여, 특히 짝지어진 데이터가 부족한 경우 견고한 정렬을 어렵게 만듭니다.
  • 또한, 기존 방법들은 모달리티 간 변환 과정에서 소스 모달리티의 고유한 정보 (discriminative information) 가 손실될 수 있으며, 반복적인 학습 (recursive training) 으로 인해 계산 비용이 높다는 문제가 있습니다.

2. 제안 방법론 (Methodology: CaReFlow)

저자들은 직선적인 궤적을 통해 한 분포를 다른 분포로 매핑할 수 있는 Rectified Flow (정류 흐름) 의 특성을 활용하여, 다중 모달 분포 정렬을 위한 CaReFlow (Cyclic Adaptive Rectified Flow) 프레임워크를 제안합니다.

핵심 구성 요소:

1. 1 대 다 매핑 (One-to-Many Mapping):

   • 기존 1 대 1 매핑과 달리, 소스 모달리티의 각 데이터 포인트가 타겟 모달리티의 전체 분포를 관찰하도록 합니다.
   • 이를 통해 소스 데이터가 타겟 분포의 전역적 맥락을 학습하여 더 견고한 정렬을 가능하게 하고, 샘플 내 짝지어진 데이터 부족 문제를 완화합니다.

2. 적응형 완화 정렬 (Adaptive Relaxed Alignment):

   • 동일 샘플/카테고리: 동일한 샘플에 속하는 모달리티 쌍은 엄격하게 정렬합니다.
   • 서로 다른 샘플/카테고리: 서로 다른 샘플이나 카테고리 간의 쌍은 '완화 (relaxed)'된 정렬을 적용합니다.
   • 동작 원리: 두 샘플의 라벨 차이 ($||y_i - y_j||^2$) 를 기반으로 정렬의 엄격함 (margin $\eta$) 을 적응적으로 조절합니다. 이는 1 대 다 매핑에서 발생할 수 있는 모호한 흐름 방향 (ambiguous flow directions) 문제를 해결하고, 반복 학습 없이도 빠르고 정확한 정렬을 가능하게 합니다.

3. 순환적 정류 흐름 (Cyclic Rectified Flow):

   • 분포 변환 과정에서 소스 모달리티의 고유 정보가 손실되는 것을 방지하기 위해 순환 구조를 도입합니다.
   • 순방향 (Forward): 소스 분포를 타겟 분포 (주로 언어 모달리티) 로 매핑합니다.
   • 역방향 (Backward): 변환된 특징을 다시 원래 소스 특징으로 되돌립니다.
   • 이 순환 일관성 (cycle-consistency) 제약은 변환된 특징이 원본의 모달리티별 정보를 충분히 보존하고 해석할 수 있도록 보장합니다.

4. 모델 파이프라인:

   • 시각 (Visual) 및 음성 (Acoustic) 특징을 언어 (Language) 분포로 매핑한 후, 간단한 MLP 기반의 융합 네트워크를 통해 최종 예측을 수행합니다.
   • 학습 시 오일러 단계 (Euler steps) 를 2 회 사용하여 효율성을 높이고, 순환 구조를 통해 정보 손실을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 문제 재정의 및 Rectified Flow 적용: MAC 의 모달리티 간격 문제를 분포 매핑 (Distribution Mapping) 작업으로 재정의하고, 이를 해결하기 위해 Rectified Flow 를 최초로 적용했습니다.
2. CaReFlow 프레임워크 제안: 1 대 다 매핑, 적응형 완화 정렬, 순환 일관성을 결합하여 모달리티 변환을 더 빠르고, 정확하며, 견고하고 정보 보존이 되는 방식으로 학습합니다.
3. 성능 입증: 복잡한 융합 네트워크 없이도 단순한 융합 방법 (Feature Concatenation + MLP) 으로 여러 MAC 벤치마크에서 최첨단 (SOTA) 성능을 달성했습니다. 시각화를 통해 특징 공간에서 모달리티 간격이 효과적으로 축소됨을 입증했습니다.

4. 실험 결과 (Results)

• 평가 데이터셋: CMU-MOSI, CMU-MOSEI, CH-SIMS-v2 (감정 분석), UR-FUNNY (유머 감지), MUStARD (풍자 감지).
• 성능:
  • 감정 분석 (MSA): CMU-MOSI 에서 Acc7 50.6, Acc2 89.8 로 기존 SOTA(DLF) 를 상회했습니다. CH-SIMS-v2 에서는 모든 평가 지표에서 기존 방법들을 크게 앞섰습니다.
  • 유머/풍자 감지: UR-FUNNY 와 MUStARD 데이터셋에서도 AtCAF, MO-Sarcation 등 최상위 기법들을 능가하는 결과를 기록했습니다.
• Ablation Study:
  • 분포 정렬 제거: 성능이 크게 저하됨 (정렬의 중요성 입증).
  • 순환 정보 흐름 제거: 소스 모달리티 정보 손실로 인해 성능 감소.
  • 적응형 완화 정렬 제거: 1 대 다 매핑의 모호성으로 인해 성능 하락.
  • 1 대 다 매핑 제거: 가장 큰 성능 저하 발생 (견고한 분포 학습의 핵심 요소).
• 비교 분석: ARGF(GAN), CLGSI(대조 학습), Diffusion Bridge 등 기존 분포 정렬 방법들과 비교했을 때, CaReFlow 가 더 효과적으로 모달리티 간격을 줄이고 더 높은 정확도를 달성했습니다.

5. 의의 및 결론 (Significance)

• 효율적인 모달리티 정렬: CaReFlow 는 복잡한 융합 구조에 의존하지 않고, 분포 정렬 단계를 최적화함으로써 다중 모달 학습의 성능을 극대화했습니다.
• 계산 효율성: 반복적인 Rectified Flow 학습 없이 단일 회차 (single-shot) 학습과 순환 구조로 정보 손실을 방지하며, 매개변수 수가 적어 계산 비용이 낮습니다.
• 범용성: 감정 분석뿐만 아니라 유머 및 풍자 감지 등 다양한 다중 모달 태스크에 적용 가능하며, 다양한 융합 메커니즘과 호환됩니다.
• 시각적 검증: t-SNE 시각화를 통해 기존 방법들보다 특징 공간에서 모달리티 간 거리를 훨씬 효과적으로 줄였음을 보여줍니다.

결론적으로, CaReFlow 는 모달리티 간격 문제를 분포 매핑 관점에서 접근하여, 적응형 정렬과 순환 구조를 통해 기존 방법들의 한계를 극복하고 다중 모달 감정 컴퓨팅의 새로운 SOTA 를 제시한 연구입니다.