기술 요약: 단계 인지형 희소성을 통한 MLLM 학습 효율성 향상

문제 정의

멀티모달 대규모 언어 모델 (MLLM) 은 뛰어난 능력을 입증했으나 비효율적인 학습 과정으로 고통받고 있습니다. 이러한 비효율성은 두 가지 주요한 중복성에서 비롯됩니다:

1. 데이터 중복성: 멀티모달 입력은 샘플 당 수백 개의 시각적 토큰을 도입하는데, 그 중 많은 부분이 최종 예측에 미미한 기여만 합니다.
2. 파라미터 중복성: 심층 트랜스포머 아키텍처는 수십 개의 레이어를 포함하지만, 전체 학습 과정에서 모든 레이어가 동등하게 중요하지는 않습니다.

기존의 효율성 방법들은 주로 이러한 문제들을 독립적으로 해결합니다 (예: 토큰 압축 또는 레이어 건너뛰기) 그리고 중복성을 정적 속성으로 취급합니다. 그러나 본 논문은 중복성 패턴이 단계에 의존적이라고 주장합니다. 모달리티 정렬 단계에서는 언어 모델 (LLM) 이 종종 고정되고 병목 현상은 방대한 시각적 토큰 시퀀스를 처리하는 데서 발생합니다. 반면, 지시 미세 조정 단계에서는 LLM 파라미터가 능동적으로 업데이트되며 병목 현상은 심층 트랜스포머 레이어의 계산 오버헤드로 이동합니다. 중복성을 정적으로 취급하면 최적이지 않은 효율성 - 성능 트레이드오프로 이어집니다.

방법론: 희소 학습 체계 (STS)

저자들은 서로 다른 학습 단계의 특정 계산 병목 현상에 적응하는 희소성 전략을 통합한 **희소 학습 체계 (STS)**를 제안합니다. STS 는 두 가지 상호 보완적인 구성 요소로 이루어져 있습니다:

1. 시각적 토큰 압축기 (VTC) – 1 단계: 모달리티 정렬

LLM 이 고정되고 프로젝터만 업데이트되는 모달리티 정렬 단계에 적용됩니다.

• 기능: 데이터 중복성을 완화하기 위해 LLM 에 들어가기 전 시각적 토큰 ($T_v$) 의 길이를 줄입니다.
• 메커니즘: 선택 함수 $C$가 $T_v \in \mathbb{R}^{b \times n \times d}$를 압축된 시퀀스 $T_v' \in \mathbb{R}^{b \times n' \times d}$ ($n' < n$) 로 매핑합니다.
• 선택 전략:
  • 균일 샘플링: 전역적 의미 구조를 보존하기 위한 고정 간격 선택.
  • 무작위 샘플링: 견고성을 향상시키기 위해 확률성을 도입.
  • 지시 유도형: 시각적 토큰과 텍스트 토큰 간의 코사인 유사도를 사용하여 관련 없는 시각적 정보를 제거.
• 구현: 논문은 무작위 샘플링의 불안정성이나 지시 유도형 선택의 편향에 비해 다양한 작업에서 가장 균형 잡힌 성능을 제공한다는 점을 발견하여 기본 전략으로 균일 샘플링을 채택했습니다.

2. 레이어 동적 건너뛰기 (LDS) – 2 단계: 지시 미세 조정

LLM 파라미터가 업데이트되는 지시 미세 조정 단계에 적용됩니다.

• 기능: 불필요한 디코더 레이어를 동적으로 건너뛰어 파라미터 업데이트 및 계산 오버헤드를 줄입니다.
• 메커니즘: 학습 단계 $e$에서 레이어 $l$의 숨겨진 상태는 $H_l = (1 - z_l) \cdot F_l(H_{l-1}) + z_l \cdot H_{l-1}$로 업데이트되며, 여기서 $z_l$은 건너뛰기 확률 $p_l(e)$에 의해 제어되는 베르누이 변수입니다.
• 확률 공식화: 건너뛰기 확률은 두 가지 요인을 결합합니다:
  • 단계 기반 감쇠: " coarse-to-fine" (거칠기에서 정밀함으로) 수렴 추세를 기반으로 합니다. 학습 초기에는 기울기가 거칠어 높은 건너뛰기 비율이 허용됩니다. 확률은 학습이 진행됨에 따라 2 차적으로 감소합니다: $\alpha (\frac{E-e}{E})^2$.
  • 깊이 기반 조정: 얕은 레이어가 깊은 레이어보다 특징을 더 효과적으로 추출한다는 점을 인정하여, 레이어 깊이 $l$에 따라 확률이 조정됩니다: $1 + \epsilon \cdot \frac{2l - (L-1)}{L-1}$.
• 기본 구성: 저자들은 $\alpha=0.5$와 $\epsilon=0.5$가 효율성과 작업 성능 사이의 가장 좋은 균형을 제공한다는 것을 발견했습니다.

주요 기여

1. 단계 의존적 중복성 분석: 이 연구는 MLLM 학습에서의 중복성이 정적이지 않음을 밝혀냈습니다. 데이터 중복성은 모달리티 정렬을 지배하는 반면, 파라미터 중복성은 지시 미세 조정을 지배합니다.
2. 통합 프레임워크 (STS): 진화하는 중복성 패턴을 명시적으로 모델링하여 정렬 단계에서는 토큰 수준의 희소성을 적용하고 미세 조정 단계에서는 레이어 수준의 희소성을 적용하는 단계 인지형 희소 학습 프레임워크를 제안합니다.
3. 실증적 검증: 다양한 MLLM 아키텍처 전반에 걸쳐 높은 정확도를 유지하면서 계산 비용을 크게 줄였음을 광범위한 실험을 통해 입증했습니다.

실험 결과

저자들은 GQA, VQAv2, SQA, POPE, MME 를 포함한 벤치마크에서 5 가지 MLLM (LLaVA, Mipha, Phi-2, MoE-LLaVA 변형) 에 대해 STS 를 평가했습니다.

• 효율성: STS 는 평균 FLOPs 를 15% 이상 감소시켰습니다. 구체적으로, 기준선 대비 이론적 FLOPs 비율은 약 **82.2%**로 감소했습니다.
• 성능: 이 방법은 평균적으로 기준선 정확도의 **96.9% 에서 99.7%**를 유지했습니다.
  • 견고성 지표 (POPE) 와 포괄적 평가 (MME) 는 최소한의 저하를 보여주었습니다.
  • 지각 중심 작업 (GQA, VQAv2) 은 약 2~3 포인트 정도의 약간 더 눈에 띄는 감소를 보였으나, 일부 경우 (예: LLaVA 의 SQA) 에서는 STS 가 기준선보다 우수한 성능을 보여 잠재적 암시적 정규화 효과를 시사했습니다.
• Ablation 연구:
  • VTC: 균일 샘플링이 무작위 또는 지시 유도형 샘플링보다 더 견고한 것으로 입증되었습니다.
  • LDS: 하이퍼파라미터 $\alpha$(건너뛰기 비율) 와 $\epsilon$(깊이 분산) 의 극단적인 값은 모델을 특정 능력으로 편향시켰습니다. 균형 잡힌 구성 ($\alpha=0.5, \epsilon=0.5$) 이 가장 좋은 트레이드오프를 산출했습니다.
  • 공동 프레임워크: VTC 와 LDS 를 함께 사용하는 것이 어느 한 구성 요소만 단독으로 사용하는 것보다 우수한 효율성 - 성능 트레이드오프를 제공했습니다.

중요성과 주장

본 논문은 STS 가 효율적인 MLLM 최적화를 위한 실용적이고 확장 가능한 솔루션을 제공한다고 주장합니다. 정적 중복성 감소에서 단계 인지형 접근법으로 초점을 이동시킴으로써, 이 프레임워크는 복잡한 아키텍처 변경 없이 다양한 학습 단계의 특정 병목 현상을 해결합니다. 저자들은 STS 가 다양한 MLLM 아키텍처에 광범위하게 적용 가능하며 최소한의 성능 손실로 더 빠른 학습을 달성하여 대규모 멀티모달 모델 학습의 계산 장벽을 줄이는 실현 가능한 전략이라고 강조합니다.