기술 요약: 확산 언어 모델에서의 계층 붕괴

문제 제기

확산 언어 모델 (DLM) 은 병렬 토큰 생성을 제공하고 '역전 저주 (reversal curse)'를 회피함으로써 자기회귀 (AR) 모델의 경쟁력 있는 대안으로 부상했습니다. 그러나 DLM 의 내부 활성화 역학과 계층별 표현 구조는 여전히 잘 이해되지 않고 있습니다. AR 모델에 관한 중복성, 이상치, 그리고 압축 전략에 대한 발견이 DLM 에 직접 적용되는지, 아니면 DLM 이 훈련, 미세 조정 및 압축을 위한 새로운 접근법을 필요로 하는 고유한 행동을 보이는지 여부를 규명하는 데 중요한 격차가 존재합니다. 구체적으로, '깊이의 저주 (curse of depth)'(훈련 부족으로 인해 더 깊은 계층이 불필요해지는 현상) 가 DLM 에도 적용되는지, 아니면 그들의 훈련 목표가 다른 구조적 병리를 유발하는지는 명확하지 않습니다.

방법론

저자들은 처음부터 사전 훈련된 대규모 DLM 인 LLaDA-8B를 체계적으로 분석하여, 거의 동일한 아키텍처를 가진 AR 모델인 Llama-3.1-8B와 비교했습니다. 훈련 목표의 효과를 아키텍처적 특이점과 분리하기 위해 본 연구는 다음을 활용합니다:

1. 계층 유사성 분석: 중복성을 정량화하기 위해 다른 계층의 숨겨진 활성화 간 토큰별 코사인 유사성을 계산합니다.
2. 활성화 이상치 탐지: 토큰 위치와 계층 전반에 걸쳐 지속적이고 고강도의 채널을 식별하기 위해 활성화 히트맵을 분석합니다.
3. 가중치 스펙트럼 분석: 가중치 행렬의 고유값에 **힐 추정량 ($\alpha_{Hill}$)**을 활용하여 계층의 훈련 가능성을 평가합니다. Heavy-Tailed Self-Regularization (HT-SR) 이론에 기반하여, 더 낮은 $\alpha_{Hill}$ 값은 더 무거운 꼬리와 더 강력한 특징 학습 (과훈련) 을 나타내는 반면, 더 높은 값은 훈련 부족을 시사합니다.
4. 절제 연구 (Ablation Studies): 특정 채널 (예: 지배적인 '초-이상치') 을 가지치기하여 치명적인 실패와 경미한 정확도 저하를 관찰합니다.
5. 제어된 사전 훈련: FineWebEdu 데이터에서 동일한 하이퍼파라미터로 훈련 목표 (교차 엔트로피 대 마스크 확산) 만 다른 160M 파라미터 모델 쌍 (AR-160M 및 DLM-160M) 을 훈련합니다.
6. 압축 실험: 다양한 희소성 할당 전략 (균일, Early-Is-Sparser [EIS], Deeper-Is-Sparser [DIS]) 하에서 가지치기 (WANDA 사용) 및 양자화 (GPTQ 사용) 에 대한 견고성을 평가합니다.

주요 발견

1. 초-이상치와 계층 붕괴

LLaDA-8B 는 단일 **초-이상치 채널 (3848 번 채널)**에 의해 주도되는 **계층 붕괴 (layer collapse)**라는 독특한 현상을 보입니다.

• 지속성: AR 모델에서 이상치가 토큰별인 것과 달리, 이 채널은 네트워크 계층의 첫 절반 전체에서 모든 토큰 위치에 걸쳐 지속적으로 높은 활성화를 유지합니다.
• 중요성: 이 단일 채널을 가지치기하면 모델이 반복적인 무작위 토큰 루프로 퇴화하여 GSM8K 에서 0% 정확도를 기록하는 반면, Llama-3.1-8B 의 최상위 채널을 가지치기하면 정확도가 -4% 만 감소합니다.
• 메커니즘: 초-이상치는 정보의 지배적인 운반자 역할을 하여 다른 채널의 표현력을 억제하고, 여러 초기 계층이 거의 동일하고 중복된 숨겨진 표현을 생성하게 만듭니다.

2. 역전된 중복성 패턴

DLM 의 계층별 유사성 구조는 AR 모델에서 관찰된 것과 반대입니다:

• AR 모델: 초기 계층은 고유하며, 더 깊은 계층일수록 점점 더 중복됩니다 (이는 '깊이의 저주'나 훈련 부족으로 귀결됩니다).
• DLM (LLaDA-8B): 초기 계층은 서로 매우 중복되고 유사합니다. 이 중복성은 훈련 부족이 아니라 과훈련으로 인한 것으로, Llama 에 비해 초기 계층에서 현저히 낮은 $\alpha_{Hill}$ 값으로 입증됩니다. 초-이상치는 네트워크 초기에 표현을 저차원 구조로 집중시킵니다.

3. 압축 견고성과 전략 역전

초-이상치의 취약성에도 불구하고, DLM 은 압축에 대해 놀라운 견고성을 보입니다:

• 양자화: LLaDA-8B 는 3 비트 GPTQ 양자화 하에서 GSM8K 에서 -1.8% 만 감소하는 반면, Llama-3.1-8B 는 동일한 설정에서 -64.7% 감소합니다.
• 희소성 할당: 두 모델 계열 간 최적의 희소성 할당 전략이 역전됩니다.
  • AR (Llama): 더 깊은 계층을 더 공격적으로 가지치기 (DIS) 하거나 균일한 희소성을 사용하는 것이 최적입니다. 초기 계층을 가지치기 (EIS) 하는 것은 최적이지 않습니다.
  • DLM (LLaDA): 초기 계층을 더 공격적으로 가지치기 (EIS) 하는 것이 50% 희소성에서 역전략 (DIS) 대비 +8.4% 의 개선을 가져옵니다. 이는 DLM 의 초기 계층이 (초-이상치를 제외하고) 매우 중복되는 반면, 더 깊은 계층은 더 많은 고유한 정보를 유지하기 때문입니다.

4. 제어된 사전 훈련을 통한 검증

제어된 160M 사전 훈련 실험은 이러한 역학이 아키텍처적 차이보다는 확산 훈련 목표에 고유한 것임을 확인했습니다.

• DLM-160M 은 AR-160M 에 비해 더 높은 초기 계층 유사성과 더 낮은 $\alpha_{Hill}$ (과훈련을 나타냄) 을 보였습니다.
• DLM-160M 은 AR-160M 보다 압축에 대해 더 큰 견고성을 보였으며, 최적의 희소성 전략은 DLM 의 경우 EIS, AR 의 경우 DIS 였습니다.
• 참고: 초-이상치는 160M 모델에서는 관찰되지 않았는데, 이는 이러한 이상치가 더 큰 규모 (>6.7B 파라미터) 에서 나타난다는 문헌과 일치합니다.

중요성과 주장

이 논문은 확산 훈련 목표가 AR 모델에 비해 계층 역학을 근본적으로 재구성하여 다음을 초래한다고 주장합니다:

1. 새로운 구조적 현상: AR 모델의 토큰별 이상치와 구별되는, 초기 계층 붕괴를 주도하는 지속적 초-이상치의 존재.
2. 과훈련 대 훈련 부족: DLM 의 초기 계층 중복성은 일반적으로 깊은 AR 계층에서 보이는 훈련 부족이 아니라, 강력한 저차원 구조를 가진 과훈련의 결과입니다.
3. 압축에 대한 실용적 함의: AR 모델에서 파생된 표준 압축 휴리스틱은 DLM 에게 최적일 뿐만 아니라 적극적으로 해롭습니다. 구체적으로, 초기 계층에 더 많은 희소성을 할당 (EIS) 하는 것이 AR 모델이 선호하는 DIS 전략과 반대로 DLM 에게 최적의 전략입니다.
4. 견고성: 지배적인 초-이상치가 보존된다면, DLM 은 비교 가능한 AR 모델보다 양자화 및 가지치기에 대한 고유한 견고성을 지닙니다.

저자들은 이러한 발견이 DLM 의 압축 및 배포 방식을 재평가해야 함을 시사하며, 관찰된 중복성 패턴이 확산 목표 자체의 직접적인 결과라고 결론지었습니다.