기술 요약: 교사의 모달리티 수준 그람 행렬 학습을 통한 다중 모달 증류

1. 문제 제기

본 논문은 기존 다중 모달 지식 증류 (KD) 연구의 특정 한계를 다룹니다. 전통적인 KD 방법은 대규모 '교사' 네트워크에서 더 작은 '학생' 네트워크로 지식을 성공적으로 전이시키지만, 다중 모달 영역 (예: 텍스트와 이미지 결합) 의 현재 접근법은 주로 교사 네트워크의 최종 출력만을 증류하는 데 집중합니다.

저자들은 이 접근법이 교사 네트워크 내의 다양한 모달리티 간의 풍부한 관계 정보를 간과한다고 주장합니다. 그 결과, 교사 네트워크와 학생 네트워크 사이에 깊은 차이가 남아 있어 학생이 교사가 학습한 복잡한 모달 간 의존성 (예: 이미지 및 텍스트 특징이 어떻게 상호작용하는지) 을 효과적으로 학습하지 못하게 됩니다. 본 논문은 모달리티 간의 상호작용이 중요한 다중 모달 작업에서는 단순히 최종 분류 출력을 모방하는 것만으로는 부족하다고 가정합니다.

2. 방법론

제안된 방법은 모달리티 관계 증류 패러다임을 도입합니다. 최종 로그 (logits) 만 매칭하는 대신, 학생 네트워크는 교사의 모달리티 수준 그람 행렬을 학습하도록 강제됩니다.

핵심 구성 요소:

• 입력 모달리티: 이 프레임워크는 교사와 학생 네트워크 모두에 대해 세 가지 유형의 입력을 처리합니다:
  1. 텍스트만 ($x_t$)
  2. 이미지만 ($x_i$)
  3. 결합된 텍스트 - 이미지 ($x_{i+t}$)
• 손실 함수: 전체 학습 목표는 세 가지 구성 요소를 결합합니다:
  1. 전통적 KD 손실 ($L_{IKD}$): 표준 손실 함수 (예: 소프트 타겟을 사용한 Kullback-Leibler 발산 또는 교차 엔트로피) 를 사용하여 교사와 학생의 최종 출력 로그 간 차이를 최소화합니다.
  2. 교차 엔트로피 손실 ($L_{CE}$): 모든 세 가지 입력 모달리티 (텍스트, 이미지, 결합) 에 대한 정답 레이블로 학생을 학습시키는 데이터 증강 전략입니다. 이는 다음과 같이 정의됩니다:
     $$L_{CE} = \alpha CE(f(x_t), y) + \beta CE(f(x_i), y) + \gamma CE(f(x_{i+t}), y)$$
  3. 모달리티 관계 손실 ($L_{mr}$): 이것이 새로운 기여 사항입니다. 이는 학생이 교사의 모달리티 출력에 대한 그람 행렬을 복제하도록 강제합니다.
     • $A$는 단일 샘플에 대한 세 가지 모달리티 (텍스트, 이미지, 결합) 에 대한 네트워크의 출력 결과를 나타냅니다.
     • 모달리티 관계 행렬 $G$는 그람 행렬로 정의됩니다: $G = A \cdot A^T$.
     • 이 손실은 교사의 관계 행렬 ($A_t$) 과 학생의 관계 행렬 ($A_s$) 간의 평균 제곱 오차 (MSE) 를 최소화합니다:
       $$L_{mr} = MSE(A_t, A_s)$$

아키텍처:

• 교사: 12 층 사전 학습된 UNITER 네트워크.
• 학생: 2 층 UNITER 네트워크 (동일한 768 의 숨겨진 크기이지만 층 수가 적음).
• 프로세스: 학생은 최종 분류 출력과 일치하는 것 외에도 모달리티 상호작용에 대한 내부 표현 (그람 행렬로 포착됨) 을 교사의 것과 정렬하도록 학습합니다.

3. 주요 기여

저자들은 다음과 같은 주요 기여 사항을 확인합니다:

1. 증류 초점의 전환: 교사의 최종 출력에 대한 기존 초점을 넘어 모달 간 관계 정보를 명시적으로 모델링하고 전이하는 것으로 이동합니다.
2. 모달리티 수준 그람 행렬: 단일 샘플 내의 서로 다른 모달리티 출력 (텍스트, 이미지, 결합) 간의 관계를 포착하기 위해 그람 행렬 사용을 제안하며, 이를 새로운 증류 목표로 삼습니다.
3. 새로운 프레임워크: 다중 모달 작업의 표준 KD 방법에서 지속되는 깊은 차이를 해결하기 위해, '상호작용' 지식을 교사로부터 학생으로 효과적으로 전이하는 모달리티 관계 주도 프레임워크를 설계합니다.

4. 실험 결과

이 방법은 세 가지 다중 모달 데이터셋에서 평가되었습니다:

• Hateful-Memes: 혐오 표현 탐지를 위한 이진 분류.
• SNLI-VE: 시각적 함의 (이미지가 문장을 함의하는지 예측; 클래스: 함의, 중립, 모순).
• NLVR: 자연어 시각 추론 (합성 이미지의 의미 구문 분석).

성능:
제안된 방법 ("Ours") 은 모든 데이터셋 및 평가 분할 (테스트 및 검증) 에서 기존 표준 KD 베이스라인보다 우수한 성능을 보였습니다.

• SNLI-VE (테스트): 71.22% (KD) 에서 **72.45%**로 향상.
• NLVR (테스트): 73.62% (KD) 에서 **75.33%**로 향상.
• Hateful-Memes (테스트): 68.22% (KD) 에서 **69.54%**로 향상.

시각화:
저자들은 학습된 관계 행렬을 시각화했습니다. 그들은 학습 초기에는 입력 방해로 인해 학생의 행렬이 교사의 행렬과 크게 달랐음을 관찰했습니다. 학습이 진행됨에 따라 학생의 행렬은 교사의 행렬과 점점 더 유사해졌으며, 절대 차이 (거리 행렬) 가 감소하여 모달리티 관계 학습이 성공적으로 이루어졌음을 나타냈습니다.

5. 중요성 및 주장

본 논문은 다중 모달 설정에서 교사 및 학생 네트워크 간의 "깊은 차이"를 해결하는 데 그 중요성이 있다고 주장합니다. 최종 출력뿐만 아니라 모달리티 관계 정보 (그람 행렬을 통해) 를 학습하도록 학생을 강제함으로써, 이 방법은 학생이 서로 다른 모달리티가 어떻게 상호작용하는지에 대한 교사의 수렴 공간과 이해를 더 잘 복제할 수 있게 합니다.

저자들은 이 접근법이 서로 다른 모달리티 간의 관계 정보를 모델링함으로써 교사로부터 학생으로의 지식 전이를 효과적으로 활용하여, 학생이 교사만큼 크지 않아도 다중 모달 증류의 성능을 향상시킨다고 명시합니다. 이 연구는 시각적 함과 같은 작업에 필수적인 모달리티 간의 구조적 관계를 포착하지 못하기 때문에 표준 KD 가 다중 모달 작업에는 부족함을 시사합니다.