기술 요약: ADMC – 결측 모달리티 완성을 위한 어텐션 기반 확산 모델

문제 정의

다중 모달리티 감정 및 의도 인식은 음성, 텍스트, 시각 데이터를 융합하는 데 의존하며, 이는 자동화된 인간-컴퓨터 상호작용에 매우 중요합니다. 그러나 실제 응용 환경에서는 센서 오작동, 불완전한 데이터 수집, 음성 인식 오류, 사용자의 침묵 또는 시각적 폐쇄 등으로 인해 결측 모달리티(missing modalities) 문제가 빈번하게 발생합니다.

기존의 접근 방식들은 다음과 같은 두 가지 주요 한계점에 직면해 있습니다:

1. 과잉 결합(Over-coupling): 전통적인 방법들은 종종 특징 추출(feature extraction)과 분류 네트워크를 공동으로 학습시킵니다. 이는 모달리티 간의 강한 의존성을 생성하여, 특정 모달리티가 누락될 때 성능이 급격히 저하되는 원인이 됩니다.
2. 부정확한 생성(Imprecise Generation): 현재의 재구성 기술(예: 단순 제로 패딩, 저계수 임퓨테이션 또는 표준 오토인코더)은 실제 다중 모달리티 특징 분포와 일치하는 결측 특징을 생성하는 데 실패하는 경우가 많으며, 이는 최적이 아닌 인식 결과로 이어집니다.

방법론

저자들은 특징 추출을 생성 및 분류 단계로부터 분리하여 각 모달리티의 고유한 특성을 보존하면서 결측 데이터를 정확하게 재구성하도록 설계된 프레임워크인 **ADMC (Attention-based Diffusion model for Missing modalities feature Completion)**를 제안합니다. 이 방법은 세 가지 별도의 단계로 작동합니다:

1. 독립적 모달리티별 특징 추출

과잉 결합을 방지하기 위해, ADMC는 단일 모달리티 분류 태스크를 사용하여 각 모달리티(음향, 시각, 텍text)에 대한 특징 추출 네트워크를 독립적으로 학습시킵니다.

• 메커니즘: 네트워크($Enc_a$, $Enc_v$, $Enc_t$)는 개별적으로 학습되며 학습 후 고정됩니다.
• 목표: 이는 각 모달리티의 고유한 특성을 보존하여, 다른 모달리티가 부재하더라도 가용 모달리티의 표현이 견고하게 유지되도록 보장합니다.

2. 어텐션 기반 확산 네트워크 (ADN)

핵심 생성 구성 요소는 전체 모달리티 특징의 잠재 공간(latent space)에서 작동하여 결측 모달리티 특징을 생성하는 ADN입니다.

• 순방향 과정(Forward Process): 다중 모달리티 특징은 $N$ 단계에 걸쳐 가우시안 노이즈를 추가함으로써 점진적으로 손상됩니다. 멀티 헤드 셀프 어텐션 네트워크는 각 단계에서 추가된 노이즈를 예측하여 **모달리티 간 의존성(inter-modal dependencies)**을 포착합니다.
• 역방향 과정(Reverse Process): 네트워크는 노이즈로부터 시작하여 전체 특징 세트를 재구성하기 위해 디노이징(denoising)을 수행합니다. 결정적으로, 추론 과정 중에는 알려진(가용한) 모달리티는 마스킹되어 보존($F_o$)되는 반면, 누락된 부분은 생성($F_{tva}$)됩니다.
• 방정식: 역방향 단계는 마스크 $m$을 사용하여 디노이징된 출력과 실제(ground-truth) 가용 모달리티를 결합하여 잠재 표현을 업데이트합니다:
  $$F^{n-1}_{tva} = m \odot F^{n-1}_{o} + (1 - m) \odot F^{n-1}_{tva}$$

3. 모달리티 완성과 강화

본 프레임워크는 두 가지 시나리오를 다룹니다:

• 결측 모달리티 시나리오: 결측된 특징은 가우시안 노이즈로 대체되며 ADN을 통해 재구성됩니다.
• 전체 모달리티 시나리오 (MMER): 저자들은 다중 모달리티 강화 인식(MultiModal Enhancement Recognition, MMER) 방법을 도입합니다. 모든 모달리티가 존재할 때조차, ADN은 교차 모달리티 특징(예: 오디오와 시각 입력을 통한 텍스트 특징 생성)을 생성하는 데 사용됩니다. 이렇게 생성된 특징은 원래의 특징과 결합되어 보충적인 단서를 제공하고 인식을 강화합니다.

4. 다중 모달리티 특징 융합 (MF)

각 결측 모달리티 시나리오에 대해 특별히 학습된 별도의 다중 모달리티 융합 네트워크가 특징을 집계합니다. 이 네트워크는 셀프 어텐션 메커니즘을 사용하여 모달리티 가중치를 계산하고, 가중 합산 및 평균 풀링을 수행하여 최종 분류 예측을 생성합니다.

주요 기여

1. 새로운 프레임워크: 독립적으로 학습된 특징 추출 네트워크와 어텐션 기반 확산 모델을 통합하여 결측 모달리티를 처리하는 ADMC를 도입했습니다.
2. ADN 아키텍처: 셀프 어텐션을 통해 모달리티 간 의존성을 포착하여 실제 다중 모달리티 분포와 밀접하게 일치하는 결측 특징을 생성하는 어텐션 기반 확산 네트워크를 제안했습니다.
3. 이중 시나리오 성능: 본 방법이 결측 모달리티 시나리오뿐만 아니라 교차 모달리티 생성을 통해 전체 모달리티 컨텍스트에서도 성능을 향상시킨다는 것을 입증했습니다.
4. 최첨단(SOTA) 결과: 기존 방법들을 상회하는 유의미한 개선을 보여주는 표준 벤치마크 검증을 완료했습니다.

실험 결과

본 방법은 IEMOCAP(감정 인식) 및 MIntRec(의도 인식) 데이터셋에서 평가되었습니다.

• 성능 향상:
  • IEMOC_AP: 기존 최첨단 방법들 대비 가중 정확도(WA)에서 평균 **1.9%**의 개선을 달却했습니다.
  • MIntRec: WA에서 평균 **9.4%**의 개선을 달성했습니다.
• 비교: ADMC는 오토인코더 기반(CRA), 순환 일관성 기반(MMIN, IF-MMIN) 및 기타 확산 기반 방식(IMDer)보다 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • 독립적 학습을 제거했을 경우(w/o ITFN) 성능 저하가 발생하여, 공동 학습이 과잉 결합을 초래함을 확인했습니다.
  • 확산 네트워크를 제거하고(w/o ADN) 제로 패딩을 사용했을 경우 심각한 성능 저하가 나타나, 생성적 재구성의 필요성을 증명했습니다.
  • 셀프 어텐션 메커니즘을 표준 U-Net으로 교체했을 경우(w/ U-Net) 더 낮은 성능을 보여, 명시적인 교차 모달리티 의존성 모델링의 중요성을 강조했습니다.
• 강건성: 다양한 결측률($p \in 0.1$ ~ $0.5$) 하에서도 ADMC는 가장 높은 성능을 유지하며 베이스라인 대비 가장 적은 성능 저하를 보였습니다.
• 효율성: 확산 모델이 추론 시간을 추가하지만, 저자들은 1,000 스텝 기준 RTX 4090에서 샘플당 지연 시간이 약 50ms라고 언급했습니다. 또한 성능 손실을 최소화하면서 단계를 50~100단계로 줄일 수 있는 가속 기술(예: DDIM)을 제안했습니다.

의의 및 주장

본 논문은 ADMC가 특징 추출을 생성 및 융합 프로세스로부터 분리함으로써 다중 모달리티 학습의 근본적인 문제인 과잉 결합을 해결한다고 주장합니다. 개별 모달리티의 고유한 특성을 보존하고 셀프 어텐션에 의해 유도되는 확산 모델을 사용하여 결측 데이터를 재구성함으로써, 이 프레임워크는 불완전하거나 완전한 데이터 시나리오 모두에서 견고한 성능을 달성합니다.

저자들은 본 방식이 결측 모달리티 완성을 위한 최첨단 솔루션을 제공하며, 불완전한 데이터 환경에서 작동하는 실제적인 인간-컴퓨터 상호작용 시스템을 위한 실용적인 경로를 제시한다고 강조합니다. 또한 감정 인식의 잠재적 편향을 인정하고, 이 도구를 인간의 감독이 필요한 의사 결정 지원 시스템으로 위치시키는 책임 있는 혁신 성명을 포함하였습니다.