기술 요약: 다중 모달 모델의 모달리티 경쟁을 위한 2 차 다수준 분산 보정

문제 정의

단일 자기회귀 다음 토큰 예측 패러다임 하에 이미지 생성과 텍스트 이해를 통합하는 것은 모달리티 경쟁이라는 중대한 과제를 도입했습니다. 이러한 아키텍처 수렴은 매끄러운 다중 모달 기반 모델을 가능하게 하지만, 사전 훈련 중 심각한 불안정성을 유발합니다. 핵심 문제는 기울기 이질성에서 비롯됩니다. 시각적 목표는 일반적으로 고차원이며 공간적으로 확산된 예측 오차와 높은 분산을 포함하는 반면, 텍스트적 목표는 낮은 분산을 가진 컴팩트한 의미 다양체 (manifold) 에 집중됩니다.

AdamW와 같은 표준 1 차 옵티마이저는 대각선 모멘트 추정에 의존하므로, 이러한 기하학적 불일치는 최적화 궤적을 비최적으로 만듭니다. 옵티마이저는 복잡한 비대각선 교차 모달 공분산 구조를 모델링하지 못합니다. 결과적으로 더 큰 기울기 분산을 가진 모달리티 (일반적으로 비전) 는 매개변수 업데이트에 불균형적인 영향을 미쳐, 텍스트의 의미적으로 밀집하지만 분산이 낮은 신호를 억제합니다. 이로 인해 시각적 생성을 개선하면 텍스트 이해가 저하되고 그 반대의 경우도 발생하는 트레이드오프가 발생합니다. 또한, 이러한 모델을 8192 와 같은 초대형 글로벌 배치 크기로 확장하면, 거친 누적 경계에서만 적용되는 표준 분산 보정 방법이 미세한 기울기 차이를 보존하지 못해 이러한 문제가 더욱 악화됩니다.

방법론

저자들은 다수준 분산 보정을 통해 다중 모달 정렬을 안정화하도록 설계된 ML-FOP-SOAP라는 2 차 최적화 프레임워크를 제안합니다. 이 방법론은 다음 세 가지 기둥에 기반합니다:

1. SOAP 를 활용한 2 차 전조건부

1 차 방법의 한계를 해결하기 위해, 이 논문은 SOAP 옵티마이저를 활용합니다. 초기 단계의 시각적 이상치에 취약한 중심을 잡지 않은 2 차 모멘트를 사용하는 Shampoo 와 달리, SOAP 는 기울기를 편향된 고유기저 (skewed eigenbasis) 로 투영하고 좌표별 적응형 정규화를 적용합니다. 이는 전체 피셔 정보 행렬 (FIM) 을 역전시키는 prohibitive 한 메모리 비용 없이 국소 곡률을 효과적으로 포착하는 메모리 효율적이고 강력한 자연 기울기 ($P(g) \approx F^{-1}g$) 의 대안을 제공합니다.

2. 피셔 직교 투영 (FOP)

SOAP 는 안정적인 기준선을 제공하지만 모달리티 간의 트레이드오프를 완전히 해결하지는 못합니다. 저자들은 교차 모달리 충돌을 능동적으로 중화시키기 위해 **피셔 직교 투영 (FOP)**을 도입합니다.

• 메커니즘: 평균화된 배치 기울기에만 전조건부를 적용하는 대신, FOP 는 누적 윈도우 내의 마이크로 배치 간의 기울기 차이($g_{diff}$) 에 작동합니다.
• 투영: 텐서 전조건부의 내부 상태를 사용하여 경량화된 forward metric proxy $M(v) \approx Fv$를 구성합니다. 차이 벡터는 피셔 메트릭으로 정의된 리만 다양체에서 평균 하강 방향 ($g_{avg}$) 에 직교하도록 투영됩니다.
• 결과: 이는 주요 최적화 궤적을 방해하지 않고 순수한 교차 모달리 분산 ($g_{diff}^\perp$) 을 분리합니다. 최종 업데이트 방향은 평균 기울기와 이 분산 인식 잔차를 결합하여, 배치 평균의 1 차원 부분 공간을 넘어선 탐색 공간을 효과적으로 확장합니다.

3. 다수준 계층적 폴딩 (ML-FOP)

8192 와 같은 배치 크기에 필요한 대규모 기울기 누적 하에서 FOP 를 실행 가능하게 만들기 위해, 저자들은 다수준 몬테카를로 (MLMC) 패러다임에서 영감을 받은 다수준 계층적 폴딩 메커니즘을 제안합니다.

• 전략: 모든 마이크로 스텝에서 투영을 적용하는 것 (높은 월클럭 오버헤드 발생) 이나 윈도우 경계에서만 적용하는 것 (미세한 정보 손실) 대신, 이 방법은 누적 윈도우를 이진 계층 구조로 이산화합니다.
• 실행: 계산적으로 경량인 누적 스냅샷을 재귀적으로 융합하여 세그먼트 수준의 평균을 재구성합니다. 이러한 다중 스케일 요약은 FOP 연산자를 사용하여 하향식 (bottom-up) 으로 처리됩니다. 이 접근법은 누적 계층 전반에 걸쳐 미세한 교차 모달리 분산을 포착하면서 계산 비용을 분산합니다.

주요 기여

1. 모달리티 경쟁을 위한 2 차 최적화: 이 논문은 1 차 방법 (AdamW) 과 표준 중심을 잡지 않은 2 차 방법 (Shampoo) 이 극단적인 시각적 기울기 이상치에 어려움을 겪는 반면, SOAP 옵티마이저가 다중 모달 정렬을 위한 강력한 기반을 확립한다는 것을 체계적으로 증명합니다.
2. FOP 를 통한 분산 제어: 주요 하강 궤적에 직교하도록 기울기 차이를 투영하는 기하학적 인식을 갖춘 피셔 직교 투영 메커니즘의 도입. 이는 텍스트 이해와 시각적 생성 간의 기존 트레이드오프를 제거하여 엄격한 파레토 개선을 달성합니다.
3. 효율적인 다수준 FOP: prohibitive 한 계산 오버헤드 없이 대규모 기울기 누적 하에서 분산 보정을 가능하게 하는 새로운 ML-FOP 계층적 폴딩 전략으로, 단계 내 다중 스케일 분산을 보존합니다.
4. 초대형 배치 벤치마크: 기존 옵티마이저가 치명적인 저하를 겪는 8192 의 글로벌 배치 크기로 확장된 통합 아키텍처 (Janus 및 Emu3) 에 대한 프레임워크 검증.

실험 결과

실험은 결합된 LLaVA-3M 및 LLaVA-12M 데이터셋으로 훈련된 Janus-400M 및 Emu3-600M 모델에서 수행되었습니다.

• 샘플 효율성: AdamW 에 비해 ML-FOP-SOAP 프레임워크는 최대 1.4 배의 샘플 효율성을 개선합니다. 예를 들어, Janus-400M 의 경우 AdamW 가 45 억 토큰에서 수렴 임계값에 도달하는 반면, 이 방법은 약 31 억 토큰에서 도달합니다.
• 월클럭 시간: 이 방법은 엔드투엔드 훈련 속도를 최대 1.5 배 가속화합니다 (예: Janus-400M 의 훈련 시간을 8.3 시간에서 5.5 시간으로 단축).
• 모달리 균형: 이미지에서 텍스트 (I2T) 및 텍스트에서 이미지 (T2I) 작업에 대한 분리된 손실 곡선은 표준 SOAP 가 T2I 생성을 개선하지만 I2T 에서는 종종 정체되는 것을 보여줍니다. ML-FOP-SOAP는 두 손실 모두를 동시에 하향으로 이끌며 엄격한 파레토 개선을 달성합니다.
• 확장성: 8192 의 글로벌 배치 크기에서 AdamW 와 표준 SOAP 는 조기 정체로 고통받습니다. 오직 ML-FOP-SOAP 만 지속적인 하향 궤적을 유지하며 초대형 배치 환경에서의 강력한 안정성을 입증합니다.

중요성 및 주장

이 논문은 다중 모달 기반 모델을 확장하기 위한 강력한 옵티마이저를 제공한다고 주장합니다. 그 중요성은 모달리티 경쟁에 대한 해결책을 아키텍처 수정 (예: 분리된 인코더) 에서 최적화 인프라 자체로 전환하는 데 있습니다.

저자들은 2 차 전조건부와 피셔 인식 분산 보정을 통합함으로써 다음이 가능하다고 주장합니다:

1. 시각적 및 텍스트 기울기의 고유한 기하학적 불일치에 대항하여 통합 자기회귀 모델의 훈련을 안정화합니다.
2. 모달리티 간의 트레이드오프를 해결하여 생성 및 이해 작업의 동시 개선을 가능하게 합니다.
3. 표준 옵티마이저에서 관찰되는 치명적인 저하 없이 8192 와 같은 전례 없는 배치 크기에서 훈련을 가능하게 하여 현대 GPU 클러스터의 하드웨어 활용도를 향상시킵니다.

이 연구는 향후 대규모 다중 모달 사전 훈련을 위해 옵티마이저 선택이 모델 아키텍처만큼 중요하며, 안정적이고 효율적인 확장을 위한 필수적인 길로 2 차 분산 인식 방법이 제시된다고 시사합니다.