🤖 machine learning

Bug or Feature $^2$ : Weight Drift, Activation Sparsity, and Spikes

본 논문은 표준 손실 함수와 양으로 편향된 활성화 간의 상호작용으로 인해 발생하는 근본적인 음의 가중치 드리프트를 규명하였으며, 이는 심층 네트워크에서 높은 활성화 희소성과 정확도 급감을 유발하므로, 저자들은 희소성, 안정성, 성능 간의 균형을 이루는 효과적인 해결책으로 클리핑된 ReLU $^2$ 와 GELU $^2$ 를 제안합니다.

원저자: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수천 개의 작은 스위치 (뉴런) 로 구성된 거대하고 복잡한 기계가 패턴을 인식하도록 학습한다고 상상해 보세요. 수년 동안 엔지니어들은 이러한 기계들을 시행착오를 통해 조정해 왔습니다. 완전히 작동 원리를 이해하지 못한 채, 효과적으로 보이는 기능들을 추가해 왔죠.

이 논문은 **"버그인가, 기능인가 2(Bug or Feature2)"**라는 제목으로, 이러한 기계들이 학습하는 방식에 숨겨진 특이점을 조사합니다. 저자들은 기계 내부에 "유령"이 있음을 발견했습니다. 내부 설정 (가중치) 이 서서히 음수 방향으로 치우치는 경향이 있어, 많은 스위치가 완전히 꺼지게 만든다는 것입니다.

간단한 비유를 통해 그들의 발견 사항을 정리해 보겠습니다:

1. "음수 치우침 (Negative Drift)" (줄다리기)

기계는 모든 설정이 0 을 중심으로 완벽하게 균형을 이루며 시작한다고 가정해 보세요. 저자들은 기계가 실수를 계산하는 방식 (손실 함수라는 표준 수학 공식을 사용) 과 정보를 처리하는 방식 (ReLU 와 같은 활성화 함수 사용) 때문에 미묘하고 보이지 않는 줄다리가 발생함을 발견했습니다.

메커니즘: 학습 초기 몇 초 동안 수학 공식이 설정을 약간 음수 쪽으로 밀어냅니다.
결과: 한 번 설정이 음수가 되면 음수 상태로 머무릅니다. 언덕을 굴러가는 공처럼, 일단 시작되면 벽에 부딪힐 때까지 계속 굴러갑니다. 이는 기계에 무작위적이고 터무니없는 데이터가 공급되더라도 발생합니다. 이는 데이터의 문제가 아니라 학습 과정 자체의 결함입니다.

2. "침묵하는 스위치들" (활성화 희소성)

이제 그 스위치들을 전구라고 상상해 보세요.

ReLU(일반적인 스위치 유형) 의 경우: 설정이 음수로 치우치면 전구는 완전히 꺼져 다시 켜지지 않습니다. 저자들은 일부 모델 (GPT-nano 라는 작은 언어 모델 등) 에서 전구의 90% 까지 꺼져 침묵하는 것을 발견했습니다.
질문: 이것은 버그일까요, 기능일까요?
- 버그: 너무 많은 불이 꺼지면 기계가 실명을 당해 학습을 멈출 수 있습니다.
- 기능: 더 적은 불로 작업을 수행할 수 있다면 기계는 더 효율적일 수 있습니다.

3. "절벽 (Cliff)" (위험 구역)

연구자들은 기계가 붕괴되기 전까지 얼마나 많은 침묵을 견딜 수 있는지 테스트했습니다. 그들은 날카로운 **"절벽"**을 발견했습니다.

안전 구역: 스위치의 최대 **70%**를 꺼도 기계는 이전과 거의 똑같이 작동합니다. 놀라울 정도로 견고합니다.
절벽: 70% 이상 (예: 80% 또는 90%) 을 끄려고 하면 기계의 성능이 급격히 추락합니다. 바퀴 하나만 남은 차를 운전하려는 것과 같습니다. 일정 속도에 도달하기 전까지는 괜찮다가 갑자기 무너집니다.
예외: "스킵 연결 (skip connections)"을 갖춘 기계 (ResNet 또는 Transformer 등) 는 예비 바퀴가 달린 차와 같습니다. 추락하기 전까지 훨씬 더 많은 침묵을 견딜 수 있습니다.

4. "제곱 (Squaring)" 실험 (ReLU2)

저자들은 신호를 제곱하여 큰 수를 더 크게 만드는 새로운 스위치인 ReLU2를 시도했습니다.

문제: 이로 인해 "스파이크 (Spikes)"가 발생했습니다. 몇 개의 전구가 갑자기 너무 밝게 빛나 타버리거나 시스템을 실명시키는 상황을 상상해 보세요. 기계의 중간 층에서 이러한 스파이크는 위험할 정도로 커졌습니다.
해결책: 그들은 스파이크를 **클리핑 (clipping)**하여 전구의 밝기에 상한선을 두는 것이 문제를 해결했음을 발견했습니다.
승자: "클립된 ReLU2"는 원래 버전보다 더 잘 작동했으며, "클립된 GELU2"(다른 부드러운 스위치) 는 실제로 언어 모델에서 가장 좋은 성능을 발휘하여 가장 낮은 오차율을 기록했습니다.

5. "동결 (Freeze)" 트릭 (계산 효율성)

"치우침"은 학습 초기 몇 단계에서 주로 발생합니다. 그 이후 설정은 안정화됩니다.

아이디어: 일반적으로 기계는 새로운 이미지나 문장을 볼 때마다 매번 "중심 (정규화 통계)"을 다시 계산합니다. 이는 느립니다.
해킹: 저자들은 초기 치우침이 안정화된 후 (짧은 "워밍업" 기간 후) 이러한 계산을 **동결 (freeze)**할 수 있음을 발견했습니다. 다시 계산하는 것을 멈추고 초기 숫자만 사용하면 됩니다.
이점: 이는 기계의 최종 지능을 해치지 않으면서 학습 속도를 약 25~30% 빠르게 만듭니다. 방 온도가 적정 온도에 도달하면 매초 온도를 확인하는 대신 한 번만 온도계를 설정하는 것과 같습니다.

요약

이 논문은 현대 AI 모델이 학습 방식의 수학적 특이점으로 인해 많은 뉴런이 작동을 멈추는 "죽은 구역"을 자연스럽게 발달시킨다는 것을 보여줍니다.

데이터의 버그가 아닙니다; 최적화 수학의 버그입니다.
침묵은 어느 정도까지는 괜찮습니다 (70% 까지), 하지만 너무 많은 침묵은 추락을 초래합니다.
**새로운 스위치 (제곱 함수)**는 강력할 수 있지만 위험한 스파이크를 방지하기 위해 "클리핑"이 필요합니다.
초기 계정을 동결하면 학습을 훨씬 더 빠르게 만들 수 있습니다.

저자들은 무작위적인 부작용처럼 보이는 것이 실제로는 이해된다면 더 빠르고 효율적인 AI 를 구축하는 데 도움이 될 수 있는 제어 가능한 메커니즘이라고 결론 내립니다.

기술 요약: 버그인가 기능인가 2: 가중치 드리프트, 활성화 희소성 및 스파이크

문제 정의

현대 신경 아키텍처 설계는 점진적인 경험적 선택을 통해 진화해 왔으나, 훈련 역학을 지배하는 내재적 메커니즘은 여전히 부분적으로만 이해되고 있습니다. 본 논문은 평균 중심 정규화 (mean-centering normalization) 가 부재한 상태에서 표준 손실 함수 (MSE, 교차 엔트로피) 와 양의 편향을 가진 활성화 함수 (예: ReLU, GELU, SiLU) 간의 상호작용으로 인해 발생하는 체계적인 **음의 가중치 드리프트 (negative weight drift)**를 규명합니다.

핵심 문제는 훈련 초기 반복 단계에서 경사 하강법이 가중치를 음의 값 쪽으로 유도한다는 점입니다. 이는 양의 사전 활성화 (pre-activations) 에 대한 기대 경사가 음이 아니기 때문입니다. 결과적으로 사전 활성화가 하향 이동하여 더 많은 뉴런이 0 이하로 떨어지게 됩니다. ReLU 와 같은 활성화 함수를 통과할 때, 이러한 음의 사전 활성화는 0 으로 압축되어 **경성 활성화 희소성 (hard activation sparsity)**을 유발합니다. 저자들은 이러한 나타나는 희소성이 효율성을 위한 유익한 기능인지, 아니면 모델 성능을 저하시키는 해로운 버그인지 조사합니다. 또한, 트랜스포머 아키텍처 내에서 제곱 활성화 함수 (예: ReLU2) 에서 관찰되는 병리적 **활성화 스파이크 (activation spikes)**를 검토합니다.

방법론

1. 가중치 드리프트의 형식적 분석

저자들은 초기화 시 ReLU 기반의 다층 퍼셉트론 (MLP) 에 대한 형식적 증명을 제시합니다.

이론적 프레임워크: 후속 선형 계층과 ReLU 게이트의 합성을 나타내는 유효 가중치 행렬 $V_{eff}$ 를 정의합니다.
주요 정리: 0 평균 i.i.d. 가중치 초기화 하에서, $V_{eff}$ 의 행들은 0 평균을 가지지만 음이 아닌 교차 상관 ( $E[\langle v_i, v_j \rangle] \ge 0$ ) 을 보입니다.
경사 분석: MSE 와 교차 엔트로피 손실 모두에 대해, 임의의 양의 사전 활성화에 대한 기대 경사는 음이 아닙니다. 경사 하강법이 가중치를 경사의 음의 방향으로 업데이트 ( $w \leftarrow w - \eta \nabla w$ ) 하므로, 이 일관되게 양수인 경사는 가중치를 음의 값 쪽으로 유도합니다.
자기 강화 사이클: 가중치가 음수가 되면 사전 활성화는 0 이하로 더 크게 이동하여 죽은 뉴런의 비율을 증가시키고 드리프트를 강화합니다.

2. 경험적 검증

저자들은 다양한 설정에서 이러한 역학을 검증합니다:

아키텍처: MLP, ResNet-18, MaxViT, MP-SENet, GPT-nano.
활성화 함수: ReLU, GELU, SiLU, NoisyReLU, SUGARBSiLU, ReLU2.
데이터: CIFAR-10, ImageNet-1K, FineWeb 과 같은 실제 데이터셋과 데이터 분포로부터 최적화 역학을 분리하기 위해 완전히 무작위인 입력으로 훈련.
옵티마이저: SGD, 모멘텀이 있는 SGD, Adam/AdamW.

3. 희소성 제어 및 트레이드오프 분석

희소성이 "버그"인지 "기능"인지 판단하기 위해, 저자들은 두 가지 메커니즘을 사용하여 희소성 수준을 명시적으로 제어합니다:

Top-K 희소성: 상위 $k\%$ 의 활성화를 유지 (GELU 사용 시 적용).
백분위 중심화 (Percentile Centering, PC): 제안된 방법으로, ReLU 적용 전 평균 대신 목표 백분위수 $q$ 만큼 활성화를 이동시켜 0 으로 설정된 활성化的 비율을 직접 제어합니다.
평가: 아키텍처 간 79 가지 구성을 벤치마크하여 희소성 수준과 모델 정확도/손실 간의 관계를 매핑합니다.

4. 제곱 활성화 및 스파이크 조사

본 논문은 GPT-nano 에서 ReLU2 ( $max(0, x)^2$ ) 와 GELU2를 분석합니다.

스파이크 감지: ReLU2 를 사용할 때 GPT-nano 의 2~4 층에서 막대한 활성화 스파이크가 관찰됩니다.
완화: 스파이크가 해로운지 (버그) 아니면 정보적이지 (기능) 를 판단하기 위해 임계값 (15 및 50) 에서 이러한 활성화를 **클리핑 (clipping)**하여 테스트합니다.

주요 결과

1. 음의 가중치 드리프트는 내재적입니다

보편성: 명시적 정규화 (예: RMSNorm) 가 없는 경우를 포함하여 모든 테스트된 아키텍처와 활성화 함수에서 드리프트가 발생합니다.
최적화 기원: 이 현상은 무작위 데이터에서도 지속되므로, 데이터 분포가 아닌 최적화 역학의 속성임을 확인합니다.
크기: 드리프트는 훈련 초기 반복에서 가장 두드러지며 경사가 감소함에 따라 안정화됩니다. 모멘텀 기반 옵티마이저는 초기 드리프트를 가속화합니다.
희소성 결과: ReLU 기반 모델에서 이 드리프트는 명시적 정규화 없이도 GPT-nano 에서 최대 **90%**에 이르는 자연스러운 희소성을 유발합니다.

2. 희소성 - 정확도 "절벽 (Cliff)"

트레이드오프 곡선: 성능은 중간 정도의 희소성 수준 ( $s \lesssim 0.7$ ) 에서 안정적으로 유지되지만, 임계값 ("절벽") 을 넘어서면 급격히 저하됩니다.
아키텍처 의존성:
- MLP: 약 85% 희소성에서 치명적인 붕괴를 겪습니다.
- ResNet: 구조화된 (채널 단위) 희소성에서는 단조로운 저하를 보이지만, 비구조화된 희소성에서는 견고성을 유지합니다.
- 트랜스포머 (ViT, GPT): 극도의 회복 탄력성을 보입니다. GPT-nano 는 약 91% 희소성까지 기준선과 유사한 성능을 유지합니다.
메커니즘 독립성: 희소성을 유도하는 구체적인 방법 (Top-K 대 백분위 중심화) 은 희소성 수준 자체에 비해 미미한 영향을 미칩니다.

3. 활성화 함수와 희소성

GELU: 대부분의 분류 작업에서 가장 높은 정확도를 달성하지만 자연스러운 희소성은 최소화합니다.
ReLU2: 정규화에 매우 민감합니다. 정규화 없이 MLP 에서는 붕괴되지만, GPT-nano 에서는 GELU(3.260) 보다 **최소 검증 손실 (3.250)**을 달성합니다.
ReLU 화 (ReLUfication): GELU 로 훈련된 모델을 1 에포크의 미세 조정 (fine-tuning) 을 통해 ReLU 로 변환하면 55~74% 의 희소성을 회복하면서 정확도 손실 (<1%) 은 무시할 수 있습니다. 이는 효율성을 위한 실용적인 전략을 제공합니다.

4. 병리적 스파이크 및 클리핑

스파이크 기원: GPT-nano 의 스파이크는 MLP 블록의 업 - 프로젝션 (up-projection) 에서 발생하며 ReLU2 의 제곱 연산에 의해 증폭됩니다.
클리핑의 이점:
- 클리핑된 ReLU2: 클리핑되지 않은 ReLU2(3.251) 보다 우수한 성능 (3.236) 을 보여 극단적인 스파이크가 해롭다는 것을 나타냅니다.
- 클리핑된 GELU2: GPT-nano 에서 전체적으로 가장 좋은 검증 손실 (3.233) 을 달성합니다.
- ViT 결과: MaxViT 에서는 제곱 활성화 함수가 GELU 를 능가하지 않으므로, 제곱 활성화 함수의 이점은 자기회귀 모델에 특화된 것일 수 있음을 시사합니다.

5. 누적 정지를 통한 계산 효율성

관찰: 가중치 드리프트는 수천 단계 후 안정화되므로, 전체 훈련 기간 동안 정규화 통계 (백분위수, 평균) 를 동적으로 계산할 필요가 없습니다.
방법: 저자들은 **누적 정지 (Accumulation Stop, AS)**를 제안합니다. 이는 웜업 단계 (예: 5 만 단계) 동안 지수 이동 평균 (EMA) 을 통해 통계를 계산한 후 고정하는 방식입니다.
결과: 이는 모델 품질을 저하시키지 않고 (FID/IS 점수가 안정적이거나 개선됨) 동적 백분위수 계산의 약 25~30% 오버헤드를 제거하여 훈련 처리량을 기준선 수준으로 회복시킵니다.

중요성 및 주장

본 논문은 활성화 희소성을 데이터의 나타나는 속성이 아니라, 손실 함수, 활성화 함수, 정규화 계층 간의 상호작용으로 인한 제어 가능한 결과로 재정의합니다.

메커니즘적 이해: 이 연구는 평균 중심화를 생략한 현대 아키텍처 (예: RMSNorm 사용) 가 체계적인 가중치 드리프트와 높은 희소성을 보이는 이유에 대한 이론적 및 경험적 설명을 제공합니다.
설계 가이드라인:
- 희소성 제어: 트랜스포머 기반 모델에서는 상당한 성능 저하 없이 (약 70~80% 까지) 공격적인 희소성을 달성할 수 있어 계산 효율성을 위한 경로를 제공합니다.
- 활성화 함수 선택: ReLU2 는 LLM 에서 성능 향상을 제공하지만 병리적 스파이크를 완화하기 위해 클리핑이 필요합니다. GELU 는 여전히 견고한 범용 기준선입니다.
- 효율성: "누적 정지" 기법은 초기 드리프트 안정화 단계 후 정규화 통계를 고정함으로써 훈련 오버헤드를 줄이는 실용적인 방법을 제공합니다.
한계: 저자들은 이론적 증명이 엄격하게 초기화와 ReLU 에 적용되며, 매끄러운 활성화 함수로의 확장은 경험적임을 지적합니다. 이러한 발견이 프론티어 규모 LLM(10 억 개 이상 파라미터) 에 적용 가능한지, 그리고 다양한 아키텍처에 대한 최적 클리핑 임계값은 여전히 열린 질문입니다.

본 논문은 이러한 "일견 우연적인" 설계 선택들을 이해하는 것이, 특히 비 - 중심화 정규화와 희소 추론을 향해 나아가는 분야에서 향후 아키텍처 개발에 필수적이라고 결론지었습니다.