💬 NLP

A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models

본 논문은 대규모 언어 모델에서 대규모 활성화가 발생하고 전파되어 표현 다양성을 감소시키는 특정 "대규모 등장 계층"을 식별하고, 이러한 경직성과 어텐션 싱크를 완화하여 다양한 작업의 성능을 향상시키는 방법을 제안합니다.

원저자: Zeru Shi, Zhenting Wang, Fan Yang, Qifan Wang, Ruixiang Tang

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zeru Shi, Zhenting Wang, Fan Yang, Qifan Wang, Ruixiang Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 '모든 것을 설명하는 단일 층 (A Single Layer to Explain Them All)'이라는 논문에 대한 설명으로, 쉬운 언어와 창의적인 비유를 사용하여 작성되었습니다.

핵심 아이디어: 한 층이 '볼륨 급증'을 유발함

거대 언어 모델 (LLM) 을 거대한 다층 공장으로 상상해 보세요. 원자재 (단어) 가 바닥으로 들어와 각 층에서 처리된 후, 맨 윗층에서 완성된 제품 (답변) 으로 나옵니다.

연구자들은 이 공장에서 이상한 현상이 발생한다는 것을 발견했습니다. 그들이 테스트한 거의 모든 모델에서 특정 한 층 (이를 ME 층 또는 '대규모 등장 층 (Massive Emergence Layer)'이라고 부름) 에서 갑작스럽고 거대한 볼륨 급증이 발생했습니다.

이 특정 층에서 문장의 첫 번째 단어에 대한 '신호'가 갑자기 다른 모든 단어보다 100 배 또는 1,000 배 더 크게 증폭됩니다. 합창단에서 첫 음을 부르는 사람이 갑자기 다른 모든 사람의 목소리를 압도할 정도로 소리치기 시작하고, 그 소리가 건물의 꼭대기까지 계속 유지되는 것과 같습니다.

어떻게 발생하는가: '확성기'와 '증폭기'

이 논문은 왜 그 특정 층에서 이런 일이 발생하는지 파헤칩니다. 그들은 이것이 기계의 두 부분이 팀을 이루어 일하는 결과임을 발견했습니다.

확성기 (RMSNorm): 신호가 주요 처리 장치를 통과하기 전에 정규화 단계를 거칩니다. 이 특정 층에서는 첫 번째 단어의 설정이 실수로 거대한 확성기로 튜닝되어, 다른 단어들보다 훨씬 더 크게 볼륨을 증폭시킵니다.
증폭기 (FFN): 그 다음 신호는 '피드포워드 네트워크 (Feed-Forward Network, 주요 사고 부분)'를 맞습니다. 여기서 기계의 내부 가중치는 이미 큰 소리를 내는 첫 번째 단어를 특별히 표적으로 삼는 초 증폭기처럼 작용하여 그 소리를 더욱 크게 만듭니다.

이 '대규모 활성화 (Massive Activation)'가 생성되면 사라지지 않습니다. 공장이 '잔여 연결 (residual connections, 처리 단계를 건너뛰는 급행 엘리베이터로 생각하면 됨)'을 사용하기 때문에, 이 초고음 신호는 엘리베이터를 타고 꼭대기까지 올라가며全程 동안 크고 변함없이 유지됩니다.

문제: 경직되고 변하지 않는 목소리

이것이 초래하는 문제는 다음과 같습니다. 이 첫 번째 단어가 너무 크고 그 방향이 너무 고정되어 있기 때문에, 공장의 의사결정을 지배하기 시작합니다.

여행 계획을 세우려는 사람들이 있다고 상상해 보세요. 만약 한 사람이 너무 크게 소리쳐서 다른 사람의 목소리가 들리지 않는다면, 그 그룹은 새로운 아이디어를 듣는 것을 멈추고 소리치는 사람을 따라갈 뿐입니다.

AI 에서는 이 '소리치는' 첫 번째 단어가 경직된 방향을 만듭니다. 이는 AI 를 덜 유연하게 만듭니다. AI 가 문장의 다른 부분 (사람이 다른 단서들을 바라보는 것과 같음) 에 주의를 기울이려 할 때, 이 크고 변하지 않는 신호는 실제 맥락과 관계없이 AI 가 매번 같은 방식으로 사물을 보도록 강요합니다. 이는 AI 가 뉘앙스를 이해하고 새로운 질문에 적응하는 능력을 떨어뜨립니다.

해결책: '음소거 버튼 (WeMask)'

연구자들은 WeMask라는 간단한 해결책을 제안했습니다.

공장 전체를 재건하는 대신, 첫 번째 단어가 너무 크게 소리치게 만드는 특정 '채널 (차원)'을 부드럽게 음소거하는 방법을 찾았습니다.

작동 원리: 그들은 첫 번째 단어를 크게 만드는 설정 (가중치) 을 살펴보고, AI 가 다른 단어들에 주의를 기울이려 하기 직전에 그 특정 채널들의 볼륨을 선택적으로 낮춥니다.
비유: 방에서 가장 큰 스피커 위에 작고 전략적인 테이프 조각을 붙이는 것과 같습니다. 스피커는 여전히 존재하고 방은 여전히 작동하지만, 이제 다른 목소리들이 명확하게 들립니다. AI 는 이제 첫 번째 단어뿐만 아니라 전체 대화를 들을 수 있게 됩니다.

결과: 더 나은 사고와 '주의 싱크 (Attention Sinks)' 감소

이 '음소거 버튼'을 적용했을 때, AI 는 테스트한 모든 분야에서 더 나아졌습니다.

지시 따르기: 복잡한 프롬프트를 더 정확하게 따랐습니다.
수학 추론: 수학 문제를 더 잘 풀었습니다.
안전성: 무해한 질문을 거부할 가능성이 줄어든 '과도한 거부 (over-refusal)' 문제가 완화되었습니다.

이 논문은 이를 **'주의 싱크 (Attention Sinks)'**라고 불리는 현상과 연결합니다. 이전까지 과학자들은 AI 모델이 종종 문장의 시작인 첫 번째 토큰에 집착하고 나머지는 무시한다는 것을 발견했습니다. 이 논문은 그 이유를 설명합니다. 첫 번째 토큰이 다른 것들을 물리적으로 압도하는 '대규모 활성화'가 되기 때문입니다.

그들의 방법을 사용하면 첫 번째 단어에 대한 집중을 완전히 제거하지는 않았습니다 (첫 번째 단어는 여전히 들릴 필요가 있으므로 이는 나쁜 결과입니다). 대신 그 지배력을 완화했습니다. 이로 인해 AI 는 문장의 시작을 듣는 것과 이야기의 나머지를 듣는 것 사이의 균형을 잡을 수 있게 되어, 더 지능적이고 유연한 행동을 보이게 되었습니다.

요약

발견: AI 모델의 특정 층이 문장의 첫 번째 단어에 대한 '초고음' 신호를 생성하여 끝까지 지속됩니다.
원인: 그 특정 층에서의 정규화와 처리 가중치의 조합.
문제: 이 큰 신호가 AI 를 경직시키고 새로운 맥락에 적응하는 능력을 떨어뜨립니다.
해결책: 그 신호의 가장 큰 부분들을 선택적으로 음소거하는 간단한 방법으로, 균형을 회복하고 전반적인 성능을 향상시킵니다.

기술적 요약: 모든 것을 설명하는 단일 계층: 대규모 언어 모델에서의 거대 활성화 이해

1. 문제 제기

대규모 언어 모델 (LLM) 은 **거대 활성화 (massive activations)**라는 현상을 보입니다. 이는 중간 표현에서 소수의 특정 토큰 임베딩이 나머지 값보다 수 배의 크기 (orders of magnitude) 로 큰 값을 갖는 현상입니다. 최근 연구들은 이러한 활성화가 지배적인 편향 항 (bias terms) 과 유사하게 행동하며, 문맥 처리에 영향을 미치고 주의 역학 (attention dynamics) 을 변화시킨다고 시사하지만, 기존 문헌은 다음과 같은 사항에 대한 통합적이고 엔드투엔드 (end-to-end) 인 설명이 부족합니다:

모델 아키텍처 내에서 이러한 거대 활성화가 어디서 (Where) 그리고 어떻게 (How) 발생하는지.
하류 행동, 특히 "주의 싱크 (attention sink)" 현상 (모델이 주로 첫 번째 토큰과 같은 소수의 토큰 서브셋에 불균형적으로 주의를 기울이는 현상) 과의 연결고리를 포함한 무엇 (What) 기능적 역할을 수행하는지.
이전 연구들이 기능적 역할을 수행할 수 있다고 제안한 바와 같이, 활성화 자체를 완전히 제거하지 않고 잠재적 부정적 영향 (예: 표현 다양성 감소) 을 완화하는 방법 (How).

2. 방법론 및 분석

2.1. ME 계층의 식별

저자들은 Qwen, Llama, Mistral, DeepSeek 등 여러 모델 계열에 걸쳐 체계적인 분석을 수행하여 거대 활성화의 기원을 추적했습니다. 그 결과, 거대 활성화가 최초로 나타나는 특정 계층을 **거대 발생 계층 (Massive Emergence Layer, ME Layer)**으로 명명하여 식별했습니다.

관찰: 점진적인 누적과 달리, 거대 활성화는 단일 계층 (예: Qwen3-4B 의 7 번째 계층) 에서 갑자기 발생하며, 이후 잔여 연결 (residual connections) 을 통해 더 깊은 계층으로 전파됩니다.
메커니즘: 이러한 발생은 ME 계층 내의 두 구성 요소에 의해 공동으로 주도됩니다:
1. RMSNorm: 사전 FFN RMSNorm 은 큰 가중치를 가진 차원에 스케일링 효과를 집중시킴으로써 특정 토큰 (종종 첫 번째 토큰) 을 불균형하게 증폭시킵니다.
2. FFN (Feed-Forward Network): FFN 계층은 이 신호를 더욱 증폭시켜 거대 활성화 크기를 생성하고 유지하는 주요 동인으로 작용합니다.
안정성: 일단 형성되면, 거대 활성화 토큰의 숨겨진 상태 (hidden state) 는 높은 **방향 불변성 (directional invariance)**을 보입니다. 그 방향은 다양한 입력과 후속 계층에 걸쳐 안정적으로 유지되어, 주의 모듈로 전달되는 숨겨진 표현의 다양성을 감소시킵니다.

2.2. 제안된 개입: WeMask

거대 활성화가 "방향적 경직성 (directional rigidity)"을 유발하여 (다양한 입력에 적응하는 주의 메커니즘의 능력을 제한함) 이라는 발견에 영감을 받아, 저자들은 **WeMask (가중치 기반 마스킹)**를 제안합니다.

메커니즘: ME 계층부터 시작하여, 이 방법은 가장 큰 RMSNorm 가중치에 해당하는 주의 입력의 차원을 선택적으로 마스킹합니다. 이러한 가중치는 지배적인 방향을 증폭시키는 주요 요인으로 식별됩니다.
작동 방식:
1. RMSNorm 가중치의 크기를 기반으로 상위- $k$ 개 차원을 식별합니다 ( $S(l) = \text{TopK}(|w^{(l)}|)$ ).
2. 이러한 차원에 대한 이진 마스크 $m^{(l)}$ 를 구성합니다.
3. 주의 모듈의 숨겨진 상태 입력에 마스크를 적용합니다: $\tilde{h}^{(l)}_0 = h^{(l)}_0 \odot (1 - m^{(l)})$ .
목표: 이 작업은 거대 활성화 토큰의 방향적 경직성을 완화하면서도 전체 표현 구조는 보존하여, 주의 계산을 위한 방향적 다양성을 복원합니다. 이는 훈련 없는 추론 시 개입 또는 미세 조정 (fine-tuning) 시에 적용됩니다.

2.3. 주의 싱크와의 연결

저자들은 주의 싱크 (attention sink) 현상을 재평가했습니다. 그들은 주의 싱크가 단순히 softmax 연산의 인공물이 아니라, ME 계층에서 거대 활성화로 인한 표현 붕괴의 하류 결과라고 주장합니다.

거대 활성화는 주의 유사성 공간에서 고정된 기준점 역할을 하는 저랭크 (low-rank) 이자 방향적으로 경직된 표현을 생성합니다.
제안된 방법은 주의 싱크를 완전히 제거하지는 않지만, 그 영향을 선택적으로 약화시킵니다. 이는 적절한 수준의 싱크 존재는 기능적이지만, 과도한 지배는 해롭다는 것을 시사합니다.

3. 주요 기여

근본 원인 식별: 이 논문은 다양한 모델 계열에 걸쳐 거대 활성화가 단일하고 일관된 계층 (ME 계층) 으로 추적되며, 그들의 발생에 RMSNorm 과 FFN 매개변수의 공동 역할을 식별합니다.
불변성 특성화: ME 계층 이후 거대 활성화 토큰이 높은 입력 불변 방향성을 보이며, 이로 인해 자기 주의 (self-attention) 메커니즘의 유연성이 제한됨을 입증합니다.
완화 전략 (WeMask): 가중치 기반 차원 마스킹을 통해 방향적 경직성을 완화하는 간단하고 효과적인 방법을 제안합니다. 이 접근법은 모델 아키텍처를 변경하거나 추가 계산 비용을 발생시키지 않으면서 성능을 향상시킵니다.
주의 싱크에 대한 새로운 관점: 이 연구는 주의 싱크에 대한 숨겨진 상태 수준의 설명을 제공하며, 이를 거대 활성화와 연결하고 부분적 감쇠 (전체 제거가 아닌) 가 최적의 성능을 산출한다고 제안합니다.

4. 실험 결과

이 방법은 Qwen3-4B, Llama-3.1-8B-Instruct, Qwen3-8B에서 여러 작업 및 설정 (훈련 없는 추론 및 감독 미세 조정) 을 통해 평가되었습니다.

지시 따르기: MMLU, PIQA, ARC-C, StrategyQA 와 같은 벤치마크에서 WeMask 는 훈련 없는 및 미세 조정 설정 모두에서 표준 SFT 기준보다 일관되게 성능을 향상시켰습니다. 예를 들어, Qwen3-4B 의 경우 평균 점수가 64.43(SFT) 에서 64.91(SFT + WeMask TF) 으로 향상되었습니다.
수학 추론: GSM8K, AIME22-24, Math500 에서 이 방법은 특히 미세 조정 시나리오에서 일관된 향상을 보였습니다.
안전 정렬: 안전 작업 (XSTest, AdvBench) 에서 표준 SFT 는 종종 지나치게 보수적인 거부 행동을 초래했습니다. WeMask 는 이를 완화하여 안전성과 유용성 사이의 균형을 맞췄습니다. 예를 들어, XSTest 에서 성능은 72.30(DPO) 에서 74.96(DPO + WeMask TF) 으로 향상되었습니다.
강화 학습: 이 방법은 DPO 와 GRPO 를 사용하는 RL 훈련 모델로 일반화되어 다양한 훈련 패러다임 전반에 걸쳐 견고함을 보여주었습니다.
애블레이션 연구: 무작위 마스킹 및 크기 기반 마스킹과의 비교는 마스크의 가중치 기반 특성이 결정적임을 확인시켰습니다. 무분별한 마스킹은 성능을 저하시켰지만, WeMask 는 성능을 향상시켰습니다.

5. 중요성 및 주장

저자들은 그들의 작업이 LLM 의 근본적인 구조적 한계를 해결하는 원칙적인 표현 수준 개입을 제공한다고 주장합니다.

통합적 설명: 거대 활성화, ME 계층, 그리고 주의 싱크를 연결함으로써, 이 논문은 내부 역학이 모델 행동을 어떻게 형성하는지에 대한 일관된 관점을 제시합니다.
실용적 유용성: 이 방법은 경량화되어 있으며, 아키텍처에 구애받지 않고 훈련 없는 및 훈련 인지 설정 모두에서 효과적이어서 즉각적인 성능 향상을 제공합니다.
이론적 통찰: 이 논문은 주의 싱크를 순수한 병리적 현상으로 보는 관점에 도전하며, 이는 유익한 신호를 인코딩하지만 그 표현적 경직성이 통제되지 않을 때만 해롭다고 제안합니다. 제안된 완화 전략은 구조적 정규화와 표현적 유연성 사이의 균형을 맞춥니다.

저자들은 한계점을 지적했는데, 특히 그들의 분석은 중간 계층에서의 발생에 초점을 맞추고 있으며, 최종 계층에서 관찰되는 거대 활성화에 대한 기계적 설명은 아직 제공하지 않으며, 사전 훈련 단계에 이 방법을 통합하는 효과도 조사하지 않았다고 밝혔습니다.