기술 요약: 모달리티 융합을 넘어: 다중 모달 분류를 위한 딥 앙상블 (Beyond Modality Fusion: Deep Ensembles for Multimodal Classification)

문제 정의

다중 모달 분류에서 표준적인 접근 방식은 단일 모달 신경망에서 추출된 특징들을 결합하여 공동 분류기에 전달하는 "지연 융합(late-fusion)" 네트워크를 사용하는 것이다. 그러나 심각한 모달리티 불균형(한 모달리티가 다른 모달리티보다 훨씬 더 예측력이 높거나 더 빠르게 수렴하는 경우)이 존재할 때, 단순한 지연 융합 네트워크는 종종 최상의 단일 모달 베이스라인보다 성능이 떨어진다. 이러한 현상은 최적화 과정이 느리게 수렴하는(더 약한) 모달리티를 충분히 탐색하지 못해 하위 최적의 특징 추출로 이어지기 때문에 발생한다. 학습의 균형을 맞추기 위해 다양한 정규화 기법(예: 그래디언트 변조, 손실 정규화)이 제안되어 왔으나, 지연 융합 설정에서 단일 모달 특징을 결적으로 결합하는 최적의 방법은 여전히 미해결 과제로 남아 있다.

방법론

저자들은 명시적인 모달리티 융합의 대안으로 **이종 딥 앙상블(Heterogeneous Deep Ensembles, HeDEs)**을 제안한다. HeDE는 특징을 융합하기 위해 하나의 네트워크를 훈련하는 대신, 서로 다른 모달리티에 대해 독립적으로 훈련된 여러 개의 단일 모달 네트워크로 구성된다. 최종 예측은 이 독립적인 모델들의 출력 로짓(logits)을 평균 내어 얻는다.

주요 방법론적 구성 요소는 다음과 같다:

1. 앙상블 구축: 이중 모달 데이터셋의 경우, 저자들은 모달리티 1에 대해 $n_1$개의 분류기를, 모달리티 2에 대해 $n_2$개의 분류기를 훈련한다. 앙상블 예측은 모든 $N_{ens} = n_1 + n_2$개 로짓의 평균이다. $n_2=0$인 경우, 이는 동종 딥 앙상블(Homogeneous Deep Ensemble, HoDE)로 축소된다.
2. 모델 할당을 위한 휴리스틱: 각 모달리티당 최적의 모델 수($n_1, n_2$)를 찾기 위한 비용이 많이 드는 전수 조사를 피하기 위해, 저자들은 단일 모달 분류기의 검증 손실($l_i$)에 기반한 휴리스틱을 제안한다. 모달리티 $i$에 대한 모델의 수는 $1/l_i$에 비례한다:
   $$n_i = \text{round}\left( N_{ens} \frac{1/l_i}{\sum_j 1/l_j} \right)$$
   이 휴리스틱은 극단적인 불균형 상황에서 작은 규모일 때는 강한 모달리티의 동종 앙상블이 선호되지만, 앙상블 크기가 커짐에 따라 이종 앙상블이 최적이 된다는 것을 예측한다.
3. 합성 데이터셋 프레임워크: 모달리티 불균형을 체계적으로 연구하기 위해 저자들은 합성 데이터 생성 방법을 도입한다. 단일 모달 데이터셋에서 시작하여 이를 겹치지 않는 하위 집합으로 나누어 이중 모달(또는 삼중 모달) 쌍을 만든다. 각 하위 집합의 크기를 조절함으로써 각 모달리티의 예측 강도와 수렴 속도를 제어하며, 이를 통해 기존 합성 벤치마크에서는 관찰되지 않았던 과잉 매개변수화된 네트워크의 최적화 문제를 관찰할 수 있다.
4. 스케일링 법칙 (Scaling Laws): 저자들은 앙상블 크기($N$)와 비율($\theta$)에 따른 테스트 손실에 대해 멱법칙(power laws)을 적용하여, 앙상블의 점근적 성능이 개별 단일 모달 모델의 손실로부터 예측 가능함을 입증한다.

주요 기여

1. 딥 앙상블의 우월성: 본 논문은 딥 앙상블이 불균형을 처리하도록 설계된 모델들(OGM-GE, MMPareto, InfoReg 등)을 포함한 최첨단 지연 융합 베이스라인, 중간 융합 기술(MMTM, cross-attention), 그리고 하이브리드 접근 방식(I2M2)보다 일관되적으로 우수한 성능을 보임을 입증한다. 이는 동일한 파라미터 수를 가진 모델과 비교했을 때도 마찬가지이다.
2. 할당 휴리스틱의 검증: 모델의 수를 선택하기 위한 제안된 휴리스틱은 합성 및 실제 데이터셋 전반에서 경험적으로 검증되었다. 이 휴리스틱은 특히 극단적인 모달리티 불균형 조건에서 동종 앙상블에서 이종 앙상블으로 전환되는 과정을 정확하게 예측하며, 최소한의 오차로 전수 조사 결과와 일치한다.
3. 합성 다중 모달 프레임워크: 저자들은 모달리티의 수와 예측 강도를 독립적으로 제어할 수 있는 합성 데이터셋 구축 방법을 제공한다. 이 프레임워크는 실제 환경에서 관찰되는 최적화 문제(예: 지연 융합에서의 약한 모달리티의 빠른 수렴)를 드러내며, 이는 이전의 합성 벤치마크들이 재현하지 못했던 부분이다.
4. 앙상블을 위한 스케일링 법칙: 본 연구는 이종 딥 앙상블의 점근적 테스트 손실이 단일 모달 모델의 손실로부터 신뢰성 있게 예측 가능하다는 스케일링 법칙을 확립하며, 이는 전체 앙상블을 훈련하지 않고도 단일 모달 검증 지표만으로 앙상블 성능을 추정할 수 있음을 시사한다.

실험 결과

저자들은 다음 데이터셋에 대해 접근 방식을 평가하였다:

• 합성 데이터: CIFAR-100 및 ImageNet-1K의 이중 모달 및 삼중 모달 분할.
• 실제 데이터: CREMA-D (오디오-비주얼), Sarcasm (텍스트-비주얼), Kinetics-400 (오디오-비주얼).

주요 결과:

• 성능: HeDE는 모든 데이터셋과 불균형 수준에서 모든 지연 융합 베이스라인, 중간 융합 네트워크 및 하이브리드 모델을 능가했다.
• 불균형 역학: 극단적인 불균형과 작은 앙상블 크기에서는 강한 모달리티만을 사용하는 HoDE가 HeDE보다 우수했다. 그러나 앙상블 크기가 증가함에 따라 HeDE는 일관되게 HoDE 및 지연 융합 방식보다 뛰어난 성능을 보였다.
• 휴리스틱 정확도: 제안된 휴리스틱은 거의 모든 테스트 구성에서 최적의 모달리티 할당을 정확하게 예측하였으며, 최소한의 오차로 전수 조사 결과와 일치하였다.
• 교정 (Calibration): HeDE의 로짓 평균은 사후 교정 없이도 잘 교정된 예측을 생성하였으며, 종종 확률 평균보다 우수한 성능을 보였다.
• 비용: HeDE를 훈련하는 데 여러 개의 독립적인 모델을 훈련해야 하지만, 추론 비용은 동일한 파라미터 수의 지연 융합 네트워크와 유사하다. 훈련 과정은 완전히 병렬화가 가능하다.

의의 및 주장

본 논문은 효과적인 다중 모달 분류를 위해 명시적인 모달리티 융합이 반드시 필요하지는 않다고 주장한다. 대신, 독립적으로 훈련된 단일 모달 모델들의 앙상블을 통해 다중 모달 데이터의 이점을 포착할 수 있다. 저자들은 이 방식이 복잡한 융합 아키텍처에 대한 강력하고 파라미터 효율적인 대안, 특히 모달리티 불균형이 존재하는 시나리오에서 유용하다고 주장한다.

이 연구는 지연 융합 최적화의 "탐욕적(greedy)" 특성(약한 모달리티를 소홀히 하게 만드는 현상)이 딥 앙상블의 독립적 훈련 및 집계 전략을 통해 회피될 수 있음을 시사한다. 또한, 단일 모달 검증 손실만을 사용하여 앙상블 성능과 최적의 구성을 예측할 수 있는 능력은 자원이 제한된 다중 모달 학습을 위한 실용적인 도구를 제공한다.

저자들은 다양한 데이터셋에서 결과가 일관되게 나타남에도 불구하고, 할당 휴리스틱의 이론적 근거가 아직 불분명하며, 더 넓은 범위의 융합 기법 및 대규모 다중 모달 모델에 대한 추가적인 평가가 필요하다는 점을 인정하며 신중한 입장을 유지한다. 또한, 자신들의 합성 데이터 구축이 인스턴스 정렬(instance-aligned)이 아닌 클래스 정렬(class-aligned) 방식임을 언급하면서도, 연구된 현상(일반화 및 수렴 속도)은 이 설정에서도 유지된다고 주장한다.