기술 요약: 대규모 언어 모델의 수치적 안정성 분석

문제 정의

트랜스포머(Transformer) 아키텍처를 기반으로 구축된 대규모 언어 모델(LLM)은 효율적인 학습과 추론을 위해 저정밀도 산술 연산에 크게 의존한다. 양자화(Quantization) 및 혼합 정밀도(Mixed-precision) 전략은 상당한 계산 이점을 제공하지만, 이는 네트워크를 통해 전파되는 수치적 섭동(Numerical perturbations)을 유발한다. 이러한 오류는 부동 소수점(Floating-point, FP) 연산의 고유한 반올림 오차에 의해 가중된다. 양자화가 미치는 영향에 대해서는 경험적 연구가 광범로하게 이루어졌으나, 심층 트랜스포머 아키텍처의 수치적 안정성에 대한 엄격한 이론적 분석은 여전히 부족한 실정이다. 본 연구는 트랜스포머 추론에 대한 결정론적 혼합 정밀도 수치 분석을 개발함으로써 이 결핍을 해결하며, 이를 통해 아키텍처의 구성 요소들에 대한 조건수(Condition numbers)와 전방 오차(Forward errors)의 경계값을 도출하는 것을 목표로 한다.

방법론

저자들은 혼합 정밀도 환경에 맞게 조정된 결정론적 반올림 오차 분석 프레임워크(Higham, 2002)를 채택한다. 이 분석은 네 가지 별도의 정밀도를 구분한다:

1. 양자화 정밀도 ($u_q$): 일반 행렬 곱셈(GEMM)에서 피연산자를 반올림하는 데 사용됨.
2. 누적 정밀도 ($u_a$): 내적(Inner products)을 합산하는 데 사용됨.
3. 작업 정밀도 ($u_w$): 비선형 함수를 평가하는 데 사용됨.
4. 잔차 정밀도 ($u_r$): 잔차 스트림(Residual stream)의 상태 변수를 저장하는 데 사용됨.

본 연구는 사전 정규화(Pre-normalization), 회전 위치 임베딩(RoPE)을 포함한 인과적 다중 헤드 셀프 어텐션(Causal multi-head self-attention), 그리고 GELU 또는 SwiGLU 피드포워드(FF) 메커니즘을 특징으로 하는 대표적인 디코더 전용 트랜스포머 아키텍처에 초점을 맞춘다. 분석은 다음과 같은 과정으로 진행된다:

• LayerNorm/RMSNorm, FF 블록, Softmax, Self-Attention 등 개별 구성 요소에 대한 조건수(노름와이즈, 컴포넌트와이즈, 혼합형) 도출.
• 특정 누적 알고리즘(예: 재귀적 또는 쌍별 합산)과 Softmax의 흡수 효과(Absorption effects)를 고려하여, FP 산술 하에서의 이 구성 요소들에 대한 전방 오차 경계 확립.
• 잔차 스트림의 성장 역학을 명시적으로 모델링하여, 이러한 로컬 경계들을 통합해 심층 트랜스포머 아키텍처의 글로벌 전방 오차 분석.

주요 기여

1. 정규화 안정성 (LayerNorm vs. RMSNorm)

본 논문은 현대 LLM 추론의 특징인 "거대 이상치(Massive outliers)" 영역에서 LayerNorm과 RMSNorm의 비교 수치 안정성 분석을 제공한다.

• 결과: 두 함수 모두 민감도(조건수) 측면에서 엄격하게 우월하지는 않다. 그러나 LayerNorm의 전방 오차는 이상치의 배경 엔트리 크기에 의해 결정되는 반면, RMSNorm은 무조건적인 전방 안정성을 보인다.
• 시사점: 현대 LLM에서 RMSNorm으로의 전환은 수치적 안정성을 엄격하게 저하시키지 않으면서도 계산 복잡도를 줄여준다. 다만, 구체적인 오차 동작은 입력 분포에 따라 달라진다.

2. 피드포워드 메커니즘 안정성

저자들은 매끄러운 ReLU 유사 활성화 함수(예: GELU)와 게이트 메커니즘(예: Swi-GLU)을 사용하는 FF 블록의 전방 안정성을 분석한다.

• 결hi: GELU 및 SwiGLU 메커니즘의 FP 평가는 전방 안정적인 것으로 증명되었다. 오차 경계는 비선형 함수 자체보다는 기저에 깔린 GEMM의 양자화 및 누적 오차에 의해 지배된다.

3. Softmax 민감도 및 어텐션 싱크(Attention Sinks)

본 분석은 특히 "어텐션 싱크"(확률 질량이 초기 토큰에 집중되는 현상)가 존재하는 상황에서의 Softmax 수치 동작을 다룬다.

• 이동 평가(Shifted Evaluation): 오버플로우를 방지하기 위해 최댓값을 빼는 이동 평가 알고리즘이 수치적 불안정성은 방지하지만, 미처리 평가(Unshifted evaluation)에 비해 섭동에 대한 민감도를 최대 4배까지 증가시킨다는 점을 확인하였다.
• 집중된 분포: 집중된 확률 분포(어텐션 싱크에서 흔히 발생)에 대해, 저자들은 흡수 효과를 고려한 새로운 반올림 오차 경계를 도출하였다. 이 경계는 전체 시퀀스 길이가 아닌 유효 시퀀스 길이(흡수되지 않은 항의 수)에 따라 스케일링되는데, 이는 긴 문맥(Long-context) 추론의 경험적 성공을 설명해 준다.

4. 시퀀스 길이 독립적 립시츠 경계(Lipschitz Bounds)

셀프 어텐션의 로컬 립시츠 상수에 대한, 입력 시퀀스 길이($N$)에 독립적인 새로운 경계를 도출한 것이 중요한 이론적 기여이다.

• 개선 사항: 이 경계는 이산적 사례(Discrete case)에서 기존의 평균장 경계(Castin et al., 2024)보다 개선되었다. 이 경계는 입력의 노름에 대해 엄격하게 이차적(Quadratic)인 반면, 기존의 이산적 경계는 지수적 인자를 포함하고 있었다.
• 이상치: 분석 결과, 거대 이상치의 존재가 이러한 경계를 더욱 조여주어 어텐션 헤드의 조건수를 감소시킬 수 있음을 보여준다.

5. 글로벌 아키텍처 안정성 및 잔차 스트림 역학

논문은 전체 심층 트랜스포머를 분석하기 위해 로컬 오차 경계들을 통합한다.

• 핵심 통찰: 추론의 수치적 안정성은 가중치 크기와 잔차 스트림의 성장 역학 사이의 상호작용에 의해 결정된다.
• 스케일링 법칙: 분석은 잔차 투영 가중치(GPT-2에서 도입된 방식)의 깊이 종속적 스케일링이, 해당 스케일링이 잔차 스트림의 역학에 질적인 변화를 강요하지 않는 한, 상대적 반올림 오차의 전파를 보존한다는 것을 검증한다. 만약 잔차 스트림이 가중치 스케일링에 선형적으로 반응한다면, 상대 오차는 불변한다.

결과 및 실험적 검증

이론적 경계는 GPT-2 XL 모델을 사용하여 무작위 초기화 가중치와 사전 학습된 가중치를 비교하는 실험을 통해 검증되었다.

• 오차 성장: 무작위 초기화 모델의 경우, 경험적 오차 성장은 $O(e^{l^{0.24}})$로 부적정(Sub-exponential)이었으며, 이는 이론적 예측인 부적정 성장과 일치했다. 다만 경험적 비율은 최악의 경우 경계보다는 완만했다.
• 사전 학습된 모델: 사전 학습된 모델은 느린 지수적 오차 성장을 보였다. 다항식 비율 예측과의 불일치는 사전 학습된 모델에서 깊이에 따른 가중치 크기의 변화 때문이며, 이는 유니폼 스케일링 가정을 위반한다.
• 가중치 스케일링 실험: 잔차 투영 가중치($W_O$ 및 $W_{down}$)를 스케일링하는 실험은 다음과 같은 이론적 가설을 확인했다:
  • 무작위 초기화 모델에서 절대적 반올림 오차는 가중치 스케일링 인자 $\xi$에 따라 선형적으로 스케일링되었다.
  • 사전 학습된 모델에서는 스케일링 인자 $\xi=2$와 $\xi=5$ 사이에서 "질적 전이(Qualitative transition)"가 발생하여 절대 오차의 비선형적 반응을 유도했다. 모델이 새로운 레짐($\xi > 5$)에 안착한 후에는 오차가 다시 엄격하게 비례하는 스케일링으로 돌아왔다.
  • 결정적으로, 모든 경우에서 상대적 반올림 오차는 스케일링이 잔차 스트림의 역학에 분기(Bifurcation)를 일으키지 않는 한, 스케일링에 대해 불변했다.

의의

본 논문은 트랜스포머 추론의 수치적 안정성을 이해하기 위한 엄격한 이론적 토대를 구축한다. 주요 의의는 다음과 같다:

1. 이론과 실제의 연결: 경험적 휴리스틱을 넘어, 트랜스포머의 혼합 정밀도 오차에 대한 최초의 포괄적인 결정론적 분석을 제공한다.
2. 아키텍처 선택의 정당화: 특정 스케일링 법칙(예: GPT-2 초기화)과 정규화 기술(예: RMSNorm)이 특정 역학적 조건 하에서 상대 오차 전파를 보존함을 수학적으로 입증함으로써 이를 정당화한다.
3. 긴 문맥 성공의 설명: 흡수 효과를 포함한 Softmax에 대한 도출된 경계는, 어텐션 싱크 덕분에 기여하는 항의 유효 숫자가 적기 때문에 LLM이 왜 오차 축적에도 불구하고 긴 문맥을 처리할 수 있는지에 대한 이론적 설명을 제공한다.
4. 안정성 한계 정의: 본 연구는 수치적 안정성이 단순히 정밀도나 가중치 크기의 함수가 아니라, 잔차 스트림의 역학적 행동과 본질적으로 연결되어 있음을 명확히 한다.

저자들은 자신들의 최악의 경우 경계가 (GPT-2 XL 사전 학습된 가중치와의 비교에서 나타난 것처럼) 보수적일 수 있지만, 가중치 스케일링과 잔차 스트림 역학 사이의 상호작용에 관한 도출된 원칙들이 수치적으로 안정적인 LLM을 분석하고 설계하기 위한 강력한 프레임워크를 제공한다고 결론짓는다.