💬 NLP

Measuring Maximum Activations in Open Large Language Models

본 논문은 27 개의 현대적 오픈 LLM 체크포인트에 걸쳐 최대 활성화 크기를 종합적으로 측정하여, 피크 값이 파라미터 수보다는 모델 계열과 아키텍처에 따라 거의 네 자릿수까지 변동하며, 특히 MoE 모델이 밀집형 모델에 비해 현저히 낮은 피크를 보임을 밝혀냄으로써 최대 활성화가 안정적인 저비트 양자화를 보장하기 위해 보고되어야 할 결정적이고 비단조적인 속성임을 확립한다.

원저자: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

게시일 2026-05-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 디지털 도서관을 짓고 있다고 상상해 보세요. 그곳의 책들은 매우 빠르지만 다소 약한 로봇이 읽습니다. 이 로봇(AI 모델)은 단어를 하나씩 읽으며 이야기를 이해하기 위해 일련의 방들(레이어)을 통과합니다. 이 방들 안에서 로봇은 처리하는 모든 단어에 대해 '흥분 수준'(활성화)을 생성합니다.

대부분의 경우, 이러한 흥분 수준은 차분하고 관리 가능합니다. 하지만 때로는 찰나의 순간, 로봇이 특정 단어를 두고 극도로 흥분하여 에너지가 거대한 스파이크를 일으키기도 합니다.

이 논문은 소형부터 초대형까지, 그리고 다양한 제조사(예: Qwen, Gemma, GPT-OSS 등)에서 만든 27 가지 버전의 이러한 로봇에 대한 안전 점검 보고서와 같습니다. 연구자들은 단순하지만 결정적인 질문에 답하고자 했습니다: 이러한 에너지 스파이크는 얼마나 높게 치솟을 수 있으며, 로봇의 크기가 스파이크의 높이를 결정할까요?

다음은 그들이 발견한 바를 간단한 비유로 설명한 것입니다:

1. '볼륨 조절' 문제

로봇의 내부 에너지를 볼륨 조절 노브라고 생각하세요. 공간을 절약하고 값싼 하드웨어에서 로봇을 더 빠르게 실행하기 위해 엔지니어들은 종종 볼륨을 낮은 설정으로 줄이려 합니다(양자화).

문제: 로봇이 갑자기 1,000,000 의 볼륨으로 비명을 지르는데, 당신의 볼륨 조절 노브가 최대 10,000 만 처리하도록 설정되어 있다면, 그 비명은 '잘려나가거나' 왜곡됩니다. 로봇은 그 단어의 뉘앙스를 잊어버리게 되고, 전체 이야기가 엉망이 됩니다.
발견: 연구자들은 이러한 모든 로봇에 걸쳐 가장 큰 비명(최대 활성화)을 측정했습니다. 그들은 '크기'가 극적으로 다양하다는 사실을 발견했습니다. 어떤 로봇(예: Qwen3.5)은 속삭임 같지만, 다른 로봇(예: Gemma3)은 이륙하는 제트 엔진과 같습니다.

2. 크기가 항상 더 큰 소리를 내는 것은 아님

더 큰 로봇(더 많은 파라미터)이 자연스럽게 더 큰 소리를 낼 것이라고 생각할 수 있습니다.

비유: 더 큰 차가 항상 더 큰 엔진 소리를 낸다고 가정하는 것과 같습니다.
현실: 연구자들은 이것이 사실이 아니라고 발견했습니다. 한 가족의 작은 로봇이 다른 가족의 거대한 로봇보다 훨씬 더 크게 비명을 지를 수 있습니다. '크기'는 단순히 얼마나 큰지에 따라 결정되기보다 누가 만들었는지(아키텍처)와 어떻게 훈련시켰는지(레시피)에 더 의존합니다.
- 예시: 유사한 크기의 Qwen3.5 로봇에 비해 Gemma3 로봇이 약 700,000 배 더 크게 비명을 지르는 것으로 발견되었습니다.

3. 'MoE' 단축키

일부 로봇은 '전문가 혼합(Mixture of Experts, MoE)'이라는 특별한 트릭을 사용합니다. 모든 책을 한 명의 거대한 사서가 읽는 대신, 각 책마다 올바른 2~3 명의 전문가만 호출되는 100 명의 작은 전문가들이 있는 도서관이라고 상상해 보세요.

발견: 이러한 'MoE' 로봇들은 훨씬 조용한 것으로 발견되었습니다. 그들의 가장 큰 비명은 같은 크기의 '밀집형'(비전문가) 사촌들보다 14 배에서 23 배 낮았습니다. 전문가를 사용하는 것이 에너지를 더 잘 통제하는 것 같습니다.

4. 비명은 어디서 일어날까요?

연구자들은 로봇의 뇌에서 정확히 어디서 이러한 스파이크가 발생하는지 추적했습니다.

발견: 거의 모든 경우(24 개 로봇 중 22 개)에서 가장 큰 비명은 정보가 한 방에서 다음 방으로 흐르는 주요 복도(잔여 스트림)에서 발생했습니다. 이는 보통 사이드 룸(주의력 룸이나 수학 룸 등)에서 일어나지 않았습니다.
패턴: 어떤 로봇은 일찍 스파이크를 일으켜 소리를 내며 유지하는 반면(점프 앤 홀드), 다른 로봇은 천천히 쌓이다가 마지막에 가장 크게 비명을 지릅니다(점진적인 상승).

5. 훈련이 볼륨을 변화시킴

연구자들은 새로운 기술을 배우는 학생처럼 훈련의 다른 단계에 있는 로봇들도 살펴보았습니다.

발견: 로봇이 더 오래 훈련할수록(더 많은 책을 볼수록) 약간 더 크게 소리를 내는 경향이 있습니다. 이는 거대한 점프는 아니지만, 로봇이 똑똑해질수록 '볼륨'이 서서히 올라갑니다.

빌더들을 위한 결론

이 논문은 로봇의 크기를 볼 뿐으로는 로봇이 얼마나 크게 소리를 낼지 추측할 수 없다고 결론 내립니다.

교훈: 이러한 로봇을 작은 장치(예: 스마트폰)에서 실행되도록 줄이기 전에, 반드시 그들의 가장 큰 비명을 먼저 측정해야 합니다. 그렇지 않으면 볼륨 조절 노브를 너무 낮게 설정하게 되어, 로봇이 갑작스러운 에너지 스파이크를 처리하지 못해 환각을 보거나 실수를 하게 될 수 있습니다.

저자들은 이러한 로봇을 구축하는 사람들이 압축을 시도하기 전에 이 '크기'를 확인할 수 있도록 측정 도구를 공개했습니다. 이를 통해 로봇이 안정적이고 정확하게 유지되도록 보장합니다.

기술 요약: 오픈 대형 언어 모델에서 최대 활성화 측정

문제 제기

대형 언어 모델 (LLM) 의 활성화 동적 범위는 저비트 양자화, 활성화 스케일링, 안정적인 추론을 위한 중요한 제약 조건입니다. 이전 연구는 주로 2024 년 이전의 LLaMA 스타일 모델 (예: OPT, BLOOM) 에서 "이상치 특징 (outlier features)"과 "거대한 활성화 (massive activations)"를 특징화했습니다. 그러나 다양한 포스트-LLaMA 오픈 모델 (예: Qwen3.5, Gemma3, GPT-OSS) 의 출시와 함께 배포 환경은 크게 변화했으며, 이러한 모델들은 정규화 스택, 게이트형 MLP, 전문가 혼합 (MoE) 라우팅, 멀티모달 적응, 학습 단계 등에서 다양성을 보입니다.

기존 문헌은 거대한 활성화를 이진 범주적 현상 (이상치의 존재) 이거나 양자화 완화 기술 (예: SmoothQuant, AWQ) 의 특정 장애물로만 다루고 있습니다. 다음과 같은 사항에 대한 체계적이고 통합된 측정이 부족합니다:

현대 오픈 LLM 에서 활성화가 얼마나 커질 수 있는지.
활성화 크기가 서로 다른 계열, 세대, 아키텍처 (밀집형 vs MoE), 학습 단계 간에 어떻게 변하는지.
파라미터 수만이 활성화 범위 대한 신뢰할 수 있는 대용량 지표인지 여부.

방법론

저자들은 다양한 모델 세트에 걸쳐 전역 최대 활성화 크기 $M = \max |a|$ 를 측정하기 위한 통합 실증 조사를 제안합니다.

1. 데이터 및 말뭉치:

수학, 코드, 영어 웹, 지식/QA, 중국어, 저자원 언어, 혼합 웹 등 5,000 개의 다중 도메인 텍스트 샘플로 구성된 공유 평가 말뭉치.
시퀀스 길이는 256 에서 4096 토큰으로 구간화되었으며, 긴 컨텍스트 (4096 토큰) 에 치우쳐 있습니다 (93%).
토큰화: 토크나이저 불일치 아티팩트를 피하기 위해 각 모델 계열마다 동일한 원본 텍스트를 재토큰화합니다.

2. 모델 스위트:

Qwen2.5, Qwen2.5-VL, Qwen3, Qwen3.5, Gemma2, Gemma3, Ling, GPT-OSS 등 8 개 오픈 계열의 27 개 체크포인트.
밀집형, MoE, 비전 - 언어, 중간 학습, 지시 튜닝 변형을 포함합니다.
매칭된 규모 (예: MoE vs 밀집형, Base vs Instruct) 에 대한 구체적인 비교를 수행합니다.

3. 측정 프로토콜:

순전파만 추론: 가중치 고정; 파라미터 업데이트 없음.
계측: PyTorch 순전파 훅을 사용하여 다음 6 가지 구성 요소 클래스에서 활성화 통계를 수집합니다:
- 임베딩 출력
- 레이어별 은닉 상태 (잔여 연결 후)
- 어텐션 출력
- MLP 또는 MoE 출력
- SwiGLU 게이트 사전 활성화
- 최종 레이어 정규화 (LayerNorm) 출력
통계: 각 구성 요소에 대해 평균, 표준편차, RMS, 평균 절대값, 최대/최소, 절대값 분위수를 기록합니다.
안정성 확인: 1k 및 2k 샘플을 5 회 반복하는 부분 샘플링 실험을 통해 보고된 전역 최대값이 통계적으로 견고하며 단일 샘플의 아티팩트가 아님을 확인합니다.

4. 분석 프레임워크:

연구는 Sun 등 [29] 기반의 이진 "거대한 활성화" 기준 ( $|x_i| > 100$ 및 로컬 비율 $> 1000\times$ ) 에서 연속적 지표 $M$ 으로 전환합니다.
계열 내 스케일링, 계열 간 크기, 세대별 진화, MoE vs 밀집형, 비전 - 언어 vs 텍스트 전용, Base vs Instruct, 학습 단계별 진화에 대한 비교를 수행합니다.
경량 INT-8 건전성 점검 (sanity check) 은 다양한 스케일링 전략 하에서 측정된 최대값과 재구성 오차 (SQNR) 간의 상관관계를 분석합니다.

주요 기여

가장 큰 계열 간 조사: 이전 연구의 LLaMA 파생 단일 문화 (monoculture) 를 넘어, 8 개 계열의 24 개 포스트-LLaMA 체크포인트에 대한 전역 최대 활성화의 통합 프로토콜 측정을 최초로 수행했습니다.
연속적 크기 재정의: 이진 이상치 플래그를 연속 통계량 $M = \max |a|$ 로 대체합니다. 저자들은 이진 기준과 연속적 크기가 불일치할 수 있음을 입증했습니다. 일부 모델은 이진 기준을 충족하지 못하지만 양자화가 더 쉬운 반면, 일부는 기준을 충족하지만 더 어렵습니다.
매칭된 설계 비교: 규모, 계열, 세대, 아키텍처 (MoE/밀집형), 모달리티 (VL/텍스트), 학습 진행 (Base/Instruct/Stage) 이 활성화 피크에 미치는 영향을 관찰적으로 분해하여 제공합니다.
오픈 파이프라인: 재현성을 지원하기 위해 훅 기반 측정 코드와 체크포인트별 통계를 공개합니다.

주요 결과

1. 크기 변동성 및 스케일링

크기 차이: 비교 가능한 파라미터 수에서 전역 최대값은 거의 4 개의 크기 차수 ( $10^2$ $1 0^{2}$ 에서 $10^5$ $1 0^{5}$ ) 에 걸쳐 분포합니다.
- 낮은 범위: Qwen3.5 및 MoE 체크포인트는 종종 $10^2$ – $10^3$ 범위에 속합니다.
- 높은 범위: Gemma3-27B-it 은 약 $7 \times 10^5$ 에 도달합니다.
비단조적 스케일링: 계열 간 및 세대 간 비교는 단순한 단조 스케일링을 깨뜨립니다. 예를 들어, Qwen3.5 활성화는 Qwen3 에 비해 현저히 억제되는 반면, Gemma3 는 Gemma2 에 비해 급격히 증가합니다. 파라미터 수만으로는 활성화 범위에 대한 신뢰할 수 있는 대용량 지표가 아닙니다.

2. 아키텍처 및 학습 효과

MoE vs 밀집형: MoE 체크포인트는 매칭된 규모의 밀집형 대응 모델 (예: Qwen3-30B-A3B vs Qwen3-32B) 에 비해 14.0–23.4 배 낮은 피크 크기를 보입니다.
잔여 스트림 우세: 잔여 스트림 (레이어별 은닉 상태) 은 24 개 주요 체크포인트 중 22 개에서 전역 최대값을 운반합니다. GPT-OSS-20B 는 MLP 출력이 피크를 운반하는 예외이며, Qwen3.5-0.8B 는 최종 레이어 정규화에서 피크를 보입니다.
지시 튜닝 (SFT): SFT 는 중간 레이어 구조를 재구성하지 않고 주로 후기 레이어 피크를 압축합니다 (예: Qwen2.5-32B Instruct 는 Base 대비 전역 피크가 1.4 배 감소).
학습 진행: Ling-mini 시리즈에서 학습 토큰 수 증가 (5T 에서 20T) 는 전역 최대 활성화의 단조 증가 (1.34 배 증가) 로 이어집니다.

3. 레이어별 패턴

두 가지 뚜렷한 레이어별 궤적이 관찰됩니다:

점프 및 평탄화: 활성화 크기가 초기/중간 레이어에서 급격히 상승한 후 높게 유지됩니다 (예: Qwen2.5, GPT-OSS).
점진적 누적: 깊이에 따라 크기가 부드럽게 증가하여 후기 레이어에서 피크에 도달합니다 (예: Qwen3.5, Gemma).

4. 양자화 함의

경량 INT-8 건전성 점검은 표준 텐서별 스케일링 (최대 - 절대값 또는 99.9% 클리핑) 을 사용할 때 측정된 더 높은 최대값 ( $M$ ) 이 현저히 낮은 신호 - 양자화 - 잡음비 (SQNR) 와 상관관계가 있음을 보여줍니다.
낮은 $M$ 을 가진 모델 (예: Qwen3.5-0.8B) 은 높은 SQNR(~29 dB) 을 유지하는 반면, 높은 $M$ 을 가진 모델은 클리핑 하에서 ~10–14 dB 이하로 떨어집니다.

중요성 및 주장

이 논문은 최대 활성화 크기가 단순한 크기의 부산물이 아니라 계열, 아키텍처, 학습 단계와 연관된 모델 속성이라고 결론지었습니다.

배포 관련성: $M$ 은 배포 지향 모델 카드의 일부로서 오픈 가중치 릴리스와 함께 측정 및 보고되어야 합니다. 이는 활성화 스케일 및 양자화 전략 선택에 직접적인 정보를 제공합니다.
상호 보완성: 본 작업은 이상치가 존재하는 이유를 설명하는 기계적 연구 및 상한을 변환하는 양자화 완화 논문과 직교합니다. 이 논문은 현재 생태계 전반에 걸쳐 경계가 얼마나 큰지에 대한 실증적 기준을 제공합니다.
한계: 저자들은 관찰된 차이에 대한 인과적 메커니즘을 주장하지 않는다고 명시합니다. 본 연구는 관찰적이며 오픈 모델로 제한되며 고정된 말뭉치 (최대 4k 토큰) 를 사용합니다. INT-8 점검은 완전한 엔드 - 투 - 엔드 양자화 평가가 아닌 건전성 점검입니다.

저자들은 향후 배포 파이프라인이 양자화 위험에 대한 중요한 사전 지식으로 $M$ 을 취급할 것을 권장하며, 계열 정체성과 세대는 활성화 동적 범위를 결정하는 데 파라미터 수만큼이나 중요하다고 강조합니다.