🤖 machine learning

The Quantization Benefits of Residual-Free Transformers

본 논문은 트랜스포머의 잔차 연결이 활성화의 비가우시안성과 양자화 오차를 악화시킨다는 것을 보여주지만, 직교 초기화와 스펙트럼 최적화를 통해 훈련된 잔차 없는 아키텍처로 대체하면 저비트 양자화에 훨씬 더 강인하면서도 전체 정밀도 성능 손실은 최소화하는 거의 가우시안 활성화 값을 갖는 모델을 얻을 수 있음을 입증한다.

원저자: Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

게시일 2026-05-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"잔류 없는 트랜스포머의 양자화 이점"이라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어냅니다.

커다란 문제: "무거운 꼬리" 교통 체증

거대한 데이터 (예: 거대한 도서관의 책들) 를 네트워크를 통해 초지능 AI 를 훈련시키기 위해 컴퓨터 간에 이동시키려 한다고 상상해 보세요. 이 이동을 더 빠르고 저렴하게 만들기 위해 책들을 작고 가벼운 팜플렛으로 줄이고 싶을 것입니다. 이를 양자화라고 합니다.

하지만 함정이 하나 있습니다. 표준 AI 모델 (트랜스포머) 에서 이동하는 데이터는 깔끔하게 정리되어 있지 않습니다. 99% 의 책이 얇은 팜플렛이지만, 1% 는 거대하고 무거운 백과사전처럼 되어 있는 도서관과 같습니다. 이러한"거대한 백과사전"을 **이상치 (outliers)**라고 부릅니다.

공간을 절약하기 위해 모든 책을 같은 작은 크기로 줄이려 하면, 얇은 팜플렛은 완벽하게 들어맞지만 무거운 백과사전은 으깨져 모든 정보를 잃게 됩니다. 이로 인해 AI 가 실수를 하게 됩니다. 현재 해결책은 백과사전 전용으로 특수한"견고한 트럭"을 만드는 것이지만, 이는 복잡하고 비용이 많이 듭니다.

논문의 발견:"잔류"라는 범인

이 논문의 저자들은 다른 질문을 던졌습니다: 처음에 왜 이렇게 많은 거대한 백과사전이 존재하는 것일까?

그들은 문제가 단순히 데이터에 있는 것이 아니라 AI 의 **아키텍처 (청사진)**에 있다고 발견했습니다. 구체적으로, 그들은 **잔류 연결 (Residual Connection)**을 비난했습니다.

비유: 릴레이 경주를 상상해 보세요.
- 표준 AI (잔류 연결): 주자가 다음 사람에게 바통을 넘기지만, 자신의 바통도 계속 잡고 있어 더미에 추가합니다. 20~30 바퀴 (레이어) 가 지나면 이 바통 더미는 거대해지고, 지저분해지며, 예측 불가능해집니다. 이"쌓임"현상이 바로 무거운 이상치들을 만들어냅니다.
- 새로운 아이디어 (잔류 없는): 주자는 바통을 넘기고 자신의 바통은 놓아줍니다. 다음 주자는 새로운 바통만으로 새로 시작합니다. 더미는 지저분해지지 않고 깔끔하고 균일하게 유지됩니다.

이 논문은 표준 모델에서의 이러한"쌓임"현상이 데이터를"무거운 꼬리"를 가진 형태 (이상치로 가득 찬) 로 만들게 하여, 품질 저하 없이 축소 (양자화) 하는 것을 매우 어렵게 만든다고 보여줍니다.

해결책:"잔류 없는"다이어트

저자들은 이러한"쌓임"연결 없이 AI 모델을 구축할 것을 제안합니다. 이를 **잔류 없는 트랜스포머 (Residual-Free Transformers)**라고 부릅니다.

하지만 문제가 하나 있습니다:"쌓임"메커니즘을 제거하면 AI 훈련이 매우 어려워집니다. 릴레이 바통이라는 안전망 없이 마라톤을 뛰는 것과 같아, 넘어질 수 있습니다.

이를 해결하기 위해 저자들은 이러한 새로운 모델이 작동하도록 하는 구체적인**"훈련 레시피"**를 개발했습니다:

직교 초기화 (Orthogonal Initialization): 데이터가 처음부터 왜곡되지 않도록, 완벽하게 대칭인 눈송이처럼 모델의 가중치를 완벽하게 균형을 잡은 상태로 시작합니다.
특수 옵티마이저: 모델이 지저분해지지 않고 균형을 유지하도록 훈련 중을 관리하는 특정 유형의"코치"(수학적 옵티마이저) 를 사용합니다.
온도 스케일링: 모델이 깊어질수록 데이터가 원활하게 흐르도록 모델의"온도"를 조절합니다.

결과:"가우시안"골디락스 존

이 새로운 모델을 훈련시켰을 때, 기적이 일어났습니다. 몇몇 거대한 백과사전과 많은 팜플렛이 있는 대신, 데이터가 완벽하게 균일해졌습니다.

비유: 사람 군중을 상상해 보세요.
- 구형 모델: 몇몇 거인과 많은 왜소증 환자들. 모두를 작은 버스 (저비트 양자화) 에 태우려 하면 거인들이 으깨지고 버스가 고장 납니다.
- 신형 모델: 모두 정확히 같은 평균 키입니다. 아무도 으깨지지 않고 모두를 작은 버스에 완벽하게 태울 수 있습니다.

수학적으로 말해, 새로운 모델은 데이터를"거의 가우시안"(아름다운 종 모양 곡선) 으로 유지하는 반면, 구형 모델은"무거운 꼬리"를 갖게 됩니다.

트레이드오프: 약간 느리지만 훨씬 더 압축 가능

논명은 명확한 트레이드오프를 발견했습니다:

정밀도 전체 (축소 없음): 새로운"잔류 없는"모델은 전체 크기로 실행할 때 구형"잔류"모델보다 약간 덜 똑똑합니다.
저정밀도 (축소됨): 공간을 절약하기 위해 축소할 때 (저비트 숫자 사용), 새로운 모델은 똑똑함을 유지하는 반면, 구형 모델은 완전히 무너집니다.

핵심 결론:
제한된 하드웨어 (예: 스마트폰이나 작은 서버) 에서 거대한 AI 를 실행하고 데이터를 축소해야 한다면, AI 를 구축하는 구형 방식은 실제로 당신에게 방해가 됩니다."쌓임"연결을 제거하고 특정 훈련 레시피를 사용하면, 자연스럽게 압축되도록 설계된 모델을 구축할 수 있어 정확도 손실 없이 막대한 메모리와 에너지를 절약할 수 있습니다.

주장 요약

원인: 잔류 연결 (쌓임 메커니즘) 이 데이터가 지저분해지고 이상치로 가득 차게 만듭니다.
영향: 이 지저분함으로 인해 표준 데이터 압축 (양자화) 이 실패하여 정확도가 떨어집니다.
해결책: 잔류 연결을 제거하고 특정 초기화 및 최적화 기법을 결합하면 데이터를 깔끔하고 균일하게 유지할 수 있습니다.
결과: 이러한 새로운 모델은 압축에 훨씬 더 강건하여, 전체 정밀도에서는 정확도가 약간 낮지만 단순하고 균일한 압축 방법을 통해 효율적으로 배포할 수 있습니다.

기술적 요약: 잔여 연결이 없는 트랜스포머의 양자화 이점

문제 제기
대규모 파운데이션 모델의 확장은 분산 학습에서 가속기 간에 활성화, 기울기, 옵티마이저 상태를 전송하는 데 필요한 통신 오버헤드로 인해 점점 더 병목 현상을 겪고 있습니다. 저비트 양자화는 이러한 텐서를 압축하는 해결책을 제공하지만, 표준 트랜스포머 아키텍처는 종종 꼬리가 두껍고 이상치(outliers) 에 의해 지배되는 활성화를 생성합니다. 이러한 비가우시안 활성화 분포는 단순한 저비트 양자화를 매우 손실적이게 만들어, 정확도를 유지하기 위해 복잡한 특수한 학습 후 기술 (예: 혼합 정밀도 이상치 처리, 채널별 스케일링, 또는 학습된 회전) 을 필요로 합니다. 본 논문은 이러한 양자화의 어려움이 양자화기의 속성일 뿐만 아니라 잔여 연결의 존재로 인해 트랜스포머 아키텍처 자체에 근본적으로 뿌리내리고 있다고 주장합니다.

방법론
저자들은 표준 잔여 트랜스포머와 잔여 연결이 없는 트랜스포머 간의 통제된 비교를 통해 아키텍처와 활성화 통계 간의 관계를 조사합니다.

이론적 분석: 저자들은 층별 활성화 통계의 진화를 분석하며, 특히 과도 첨도 (excess kurtosis) (꼬리의 두께와 가우시안성에서의 편차를 측정하는 지표) 에 초점을 맞춥니다.
- 그들은 밀집 혼합 (dense mixing) (자기 어텐션과 MLP 블록에 내재된 것) 이 가우시안화 연산자로 작용하여 가중치 행렬이 거의 등거리 (near-isometric) 로 유지될 때 과도 첨도를 $O(1/d)$ 인자로 축소함을 입증합니다.
- 반면, 잔여 연결은 변환된 분기를 추가하면서 입력 상태를 보존합니다. 이론적 보조정리들은 이 가법 경로가 과도 첨도의 $1/d$ 축소를 방지하여 비가우시안성이 층을 거치며 누적되고 증폭되도록 함을 보여줍니다.
- 분석은 또한 옵티마이저를 구분합니다: 스펙트럼/2 차 옵티마이저 (예: Shampoo, Muon) 는 가중치 행렬의 거의 등거리 기하학을 보존하는 반면, 좌표별 업데이트 (예: AdamW, Sign GD) 는 이 등거리성을 급격히 파괴하여 잔여 연결이 없는 네트워크에서도 가우시안화 효과를 약화시킵니다.
실제 학습 레시피: 잔여 연결이 없는 트랜스포머를 학습 가능하게 만들기 위해 (랭크 붕괴 및 신호 전파 실패와 같은 역사적 문제를 극복하기 위해), 저자들은 특정 기술들의 조합을 제안합니다:
- 직교 초기화: 가중치 행렬 (특히 $W_Q, W_K, W_V, W_O, W_U, W_D$ ) 을 스케일링된 직교 행렬로 초기화하여 시작 시 잘 조건화된 밀집 혼합을 보장합니다.
- 스펙트럼/2 차 최적화: KL Shampoo, Muon, SOAP 와 같은 옵티마이저를 활용하여 학습 전반에 걸쳐 가중치의 거의 등거리 기하학을 유지합니다.
- 심도 인식 어텐션 스케일링: 어텐션 메커니즘에 $\tau_\ell = \beta^{-\ell}$ 온도 스케일링 인자를 도입하여 깊이가 증가함에 따른 신호 감쇠 또는 포화를 방지합니다.

주요 기여

양자화 어려움의 아키텍처적 근원: 본 논문은 잔여 연결을 활성화의 비가우시안성의 주요 아키텍처적 근원으로 식별합니다. 잔여 혼합은 과도 첨도를 보존하고 증폭시키는 반면, 잔여 연결이 없는 혼합은 이를 축소함을 보여줍니다.
과도 첨도를 통한 이론적 설명: 저자들은 잔여 연결이 없는 모델이 어떻게 거의 가우시안 활성화를 유지할 수 있는지에 대한 이론적 프레임워크를 제공합니다. 이는 올바른 기하학적 시작점을 제공하는 직교 초기화와 그 기하학을 보존하는 스펙트럼 최적화의 시너지에 의존하며, 이를 통해 밀집 혼합이 고차 모멘트를 지속적으로 억제할 수 있게 됩니다.
양자화에 친화적인 학습 레시피: 저자들은 제안된 레시피 (직교 초기화 + 2 차 옵티마이저 + 심도 인식 스케일링) 를 사용하여 잔여 연결이 없는 트랜스포머를 효과적으로 학습할 수 있음을 입증하며, 전체 정밀도에서 잔여 모델과 비교 가능한 성능을 달성하면서도 거의 가우시안 활성화 통계를 유지함을 보여줍니다.

실험 결과
저자들은 FineWeb-Edu 데이터셋으로 학습된 24 층 모델을 평가하고 8 가지 상식 추론 벤치마크 (예: ARC, BoolQ, HellaSwag) 에서 테스트했습니다.

활성화 통계: KL Shampoo 로 학습된 잔여 연결이 없는 모델은 모든 층과 학습 단계에서 과도 첨도를 0 에 가깝게 유지하여 거의 가우시안 활성화를 나타냈습니다. 반면, 잔여 모델 (KL Shampoo 로 학습된 모델조차도) 은 훨씬 더 높은 과도 첨도를 가진 두꺼운 꼬리를 가진 비가우시안 활성화를 발달시켰습니다.
양자화 강건성: 이상치 처리나 학습된 회전 없이 단순한 균일 양자화를 적용했을 때:
- 전체 정밀도 (BF16): 잔여 연결이 없는 모델은 잔여 기준 모델에 비해 작은 성능 저하 (평균 정확도 약 1-2% 감소) 를 보였습니다.
- 저정밀도: 정밀도가 낮아짐에 따라 (예: W8A8, W8A6), 잔여 모델은 급격한 정확도 저하 (최대 8-10% 감소) 를 겪었습니다. 잔여 연결이 없는 모델은 훨씬 더 높은 강건성을 보이며, W8A8 에서 +2.7%, W8A6 에서 +6.6% 더 높은 성능을 기록했습니다.
- 신호 충실도: 잔여 연결이 없는 모델은 모든 비트 너비에서 일관되게 더 높은 신호 대 양자화 잡음비 (SQNR) 와 더 낮은 정규화 평균 제곱 오차 (MSE) 를 달성했습니다.

의의 및 주장
본 논문은 잔여 연결이 없는 아키텍처의 양자화와 관련된 결과를 최초로 식별하고 연구했다고 주장합니다. 그 중심 논지는 양자화 강건성을 단순히 학습 후 압축 문제로 보지 않고, 아키텍처 및 최적화 과제로 보아야 한다는 것입니다.

저자들은 잔여 연결을 제거하고 특정 학습 레시피를 적용함으로써 본질적으로 더 압축 가능한 파운데이션 모델을 만들 수 있다고 주장합니다. 전체 정밀도 정확도 격차가 작고 더 깊은 네트워크로의 확장 필요성과 같은 한계를 인정하면서도, 이 작업은 "양자화에 친화적인" 아키텍처 설계로의 전환을 고무합니다. 그 결과들은 미래의 파운데이션 모델이 대규모 학습 및 배포를 현재 제약하고 있는 통신 및 메모리 오버헤드를 줄이기 위해 아키텍처, 최적화, 압축을 공동으로 고려할 수 있음을 시사합니다.