기술 요약: HORST: 희소 Transformer 학습을 위한 최적화자 기하학 구성

문제 제기

Transformer 모델의 희소화 (Sparsifying) 는 근본적인 과제로 남아 있습니다. 네트워크 희소화 (중복 가중치 제거) 는 모델 압축과 효율적인 추론을 위한 유망한 경로이지만, Transformer 에서는 일관되게 상당한 성능 저하를 초래합니다. 특히 압축이 가장 가치 있는 고도 희소 수준에서 그 저하가 두드러집니다. 반면, 합성곱 네트워크 (Convolutional Networks) 는 더 효과적으로 희소화됩니다.

저자들은 이러한 격차가 학습 중 사용되는 최적화자의 암묵적 편향 (implicit bias) 에서 비롯된다고 주장합니다. 표준 Transformer 는 AdamW 와 같은 적응형 최적화자에 의존하는데, 이는 $L_\infty$ 암묵적 편향을 나타냅니다. 이 편향은 매개변수 간 가중치 크기를 균등화함으로써 안정성을 선호하는데, 이는 희소성에 필요한 $L_1$ 편향과 근본적으로 상충됩니다. $L_1$ 편향은 소수의 매개변수에 가중치 질량을 집중시키고 나머지를 0 으로 만드는 것을 필요로 하기 때문입니다. 반면, 표준 경사 하강법 (CNN 에서 사용됨) 은 $L_2$ 편향을 유도하며, 좌표 하강법 (an $L_1$ 기반의 가장 가파른 하강법) 은 이론적으로 희소성에 이상적이지만 대규모 심층 네트워크에서는 계산적으로 실현 불가능합니다.

거울 하강법 (mirror descent, 예: 쌍곡선 엔트로피 사용) 을 통해 희소성을 유도하려는 기존 시도들은 Transformer 설정에서 종종 실패합니다. 이는 직접적으로 경사를 대체함으로써 적응형 방법이 제공하는 안정성을 상실하기 때문입니다. 핵심 문제는 기하학적 긴장감입니다: 적응형 최적화자의 안정성 ($L_\infty$) 과 희소성 요구 사항 ($L_1$) 이 충돌합니다.

방법론

본 논문은 최적화 단계를 비가환적 (non-commutative) 함수 연산자로 구성함으로써 이러한 긴장감을 해결하는 모듈형 최적화자 HORST(Hyperbolic Operator for Robust Sparse Training) 를 제안합니다.

1. 연산자 구성 프레임워크

저자들은 최적화 업데이트를 매개변수 벡터와 경사에 작용하는 연산자로 간주합니다. 그들은 두 가지 명확한 연산자 클래스를 식별합니다:

• 가장 가파른 하강 (Steepest Descent) 연산자: 유계 (bounded) 이고 스케일 불변 (scale-invariant) 입니다 (예: Adam 을 근사하는 부호 하강, Sign Descent). 이들은 안정성을 제공하지만 $L_\infty$ 편향을 유도합니다.
• 거울 하강 (Mirror Descent) 연산자: 선형적이지만 일반적으로 무계 (unbounded) 입니다. 쌍곡선 엔트로피 거울 사상 (hyperbolic entropy mirror map) 과 같은 특정 거울 사상은 희소성을 촉진하는 $L_1$ 편향을 유도합니다.

2. 비가환성과 연산 순서

핵심적인 이론적 통찰은 이러한 연산자 클래스가 비가환적이라는 것입니다.

• 거울 단계를 적용한 후 가장 가파른 하강 단계를 적용 ($S \circ M$) 하면, 가장 가파른 하강 연산자가 지배하게 되어 희소성 편향이 사실상 무효화됩니다.
• 가장 가파른 하강 단계를 적용한 후 거울 단계를 적용 ($M \circ S$) 하면, 거울 사상이 부호 기반 업데이트에 작용하여 가장 가파른 하강의 안정성을 성공적으로 계승하면서도 $L_1$ 희소성 편향을 유도합니다.

3. HORST 알고리즘

HORST 는 이산적이고 실용적인 설정에서 $M_R \circ S$ 구성을 구현합니다:

1. 안정적 업데이트: 먼저 표준 적응형 업데이트 (AdamW) 를 수행하여 필요한 안정성과 $L_\infty$ 유형의 정규화를 제공합니다.
2. 희소성 유도: 그 다음 쌍곡선 엔트로피 거울 사상에서 유도된 지수 업데이트를 적용합니다. 이 단계는 가중치를 희소성을 선호하도록 효과적으로 재매개변수화합니다.
3. 분리된 정규화: 알고리즘은 추가적인 정규화 항 ($\beta$) 과 분리된 가중 감쇠 (decoupled weight decay) 를 포함하여 희소성 편향을 더 잘 제어합니다.

업데이트 규칙은 다음과 같이 정의됩니다:
$$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$$
$$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$$
여기서 $\alpha$ 는 희소성 편향의 상대적 강도를 제어합니다. $\alpha=0$ 으로 설정하면 표준 AdamW 가 복원됩니다.

주요 기여

1. 기하학적 이분법: 본 논문은 가장 가파른 하강 (유계, 안정적, $L_\infty$ 편향) 과 거울 하강 (선형, 무계, $L_1$ 편향) 사이의 구조적 이분법을 공식화하여, 왜 어느 것 하나만으로는 견고한 희소 Transformer 학습에 충분하지 않은지를 설명합니다.
2. 연산자 구성: 최적화자 연산자의 구성을 설계 원리로 도입하며, 구성 순서가 결정적임을 증명합니다. 특정 순서 ($M \circ S$) 는 시스템이 적응형 방법으로부터 안정성을 계승하면서도 그들의 암묵적 편향을 희소성 촉진 $L_1$ 편향으로 덮어쓰게 합니다.
3. 이론적 보장: 저자들은 (Theorem 4.7) $L_p$ 노름 ($p \ge 2$) 에 대한 가장 가파른 하강을 쌍곡선 엔트로피 거울 사상과 구성하면, 반복체가 $L_1$ 최소화 문제의 해로 방향 수렴함을 증명합니다. 이는 기본 최적화자의 $L_\infty$ 편향을 효과적으로 덮어씁니다.
4. HORST 최적화자: 그들은 표준 적응형 방법 (AdamW 등) 과 원활하게 통합되며 추가적인 경사 평가 없이 매개변수별 지수 업데이트만 필요한 모듈형 최적화자 HORST 를 제안합니다.

실험 결과

저자들은 AC/DC(교대 압축/해제) 희소화 파이프라인을 사용하여 비전 및 언어 작업에서 HORST 를 평가했습니다.

• 비전 Transformer(DeiT): ImageNet 에서 HORST-AdamW 는 모든 희소 수준 (70%, 80%, 90%) 에서 AdamW 기준을 일관되게 능가합니다. AdamW 성능이 급격히 저하되는 고도 희소 (80–90%) 에서 개선 효과가 가장 두드러집니다. 예를 들어, DeiT-base 의 90% 희소성에서 HORST 는 76.83% 정확도를 달성하는 반면 AdamW 는 68.86% 입니다.
• 언어 모델 (GPT-2 Small): SlimPajama-6B 에서의 일회성 레이어별 비구조적 크기 기반 가지치기 (magnitude pruning) 에서, HORST-AdamW 로 학습된 모델은 가지치기 후 AdamW 및 HAM 최적화자와 비교하여 훨씬 낮은 검증 퍼플렉시티를 보입니다. 격차는 더 높은 희소 수준에서 벌어집니다.
• HAM 과의 비교: HORST 는 90% 희소성에서 DeiT-small 에 대해 HAM(이전 교대 최적화자) 을 크게 능가합니다 (70.5% 대 60.06%). 저자들은 이를 HAM 이 경사 기반 지수 단계를 적용하는 것과 달리, HORST 가 지수 업데이트를 AdamW 업데이트 자체와 구성하기 때문이라고 설명합니다.
• 가중치 분포: 시각화는 HORST 가 0 주변으로 날카롭게 집중된 가중치 분포 ($L_1$ 편향 표시) 를 유도하는 반면, AdamW 는 더 넓고 거의 가우시안 프로파일을 유지함을 확인시켜 줍니다.

중요성과 주장

본 논문은 최적화자의 암묵적 편향이 희소 Transformer 학습의 주요 병목 현상이라고 주장합니다. 최적화 단계를 구성 가능한 연산자로 취급함으로써, 저자들은 적응형 방법의 안정성을 그들의 기하학적 편향과 분리할 수 있음을 보여줍니다.

HORST 의 중요성은 다음과 같은 능력에 있습니다:

• 일반적으로 이러한 압축과 관련된 심각한 성능 저하 없이 Transformer 의 고도 희소 학습을 가능하게 합니다.
• 안정성 대 희소성과 같은 상충되는 기하학적 요구 사항을 동시에 충족할 수 있는 최적화자를 설계하기 위한 원칙적이고 모듈적인 프레임워크를 제공합니다.
• 최소한의 계산 오버헤드 (추가 경사 평가 없음) 를 요구하며 기존 희소 학습 파이프라인과 통합되는 실용적인 솔루션을 제공합니다.

저자들은 가장 가파른 하강의 $L_\infty$ 한계와 거울 업데이트와의 상호작용이 여전히 열린 이론적 질문이지만, 제안된 프레임워크가 적응형 학습 안정성과 희소 해 기하학 사이의 간극을 성공적으로 연결한다고 결론지었습니다.