🤖 machine learning

Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test

이 논문은 "레저 잔차(Ledger Residuals)"라는 구조적 개입을 통해, 트랜스포머의 거대한 활성화가 단순히 과부하된 잔차 스트림의 부산물이 아니라, 모델이 최종 표현을 위해 보호된 디코드 전용 채널을 사용하도록 강제될 때조차 재출현하는 기능적으로 견고한 특징임을 입증한다.

원저자: Maruthi Vemula (University of North Carolina at Chapel Hill)

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maruthi Vemula (University of North Carolina at Chapel Hill)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한, 매우 똑똑한 로봇 뇌(이름하여 "트랜스포머")를 상상해 보세요. 이 로봇은 수백만 권의 책을 읽으며 이야기를 쓰는 법을 배웁니다. 학습이 진행됨에 따라 과학자들은 이 뇌 내부에서 기묘한 현상이 일어나는 것을 발견했습니다. 아주 적은 수의 특정 "전선"(수학적 차원)들이 갑자기 엄청난 에너지를 내뿜으며 밝게 빛나는 반면, 나머지 부분은 어둡게 유지되는 것이었습니다.

더 이상한 점은, 이 초고휘도 전선들이 항상 문장의 첫 단어와 연결되어 있다는 사실이었습니다.

핵심 질문: 글리치인가, 특징인가?
과학자들은 왜 이런 현상이 일어나는지를 두고 논쟁해 왔습니다.

"글리치" 팀 (아티팩트 가설): 이들은 이것이 뇌가 구축된 방식 때문에 발생하는 지저분한 부작용일 뿐이라고 생각합니다. 마치 학생이 숙제를 하는 화이트보드를 최종 시험 답안지로도 사용해야 하는 상황과 같습니다. 학생은 혼란을 느끼기 때문에, 정리를 위해 구석에 거대하고 지저한 메모를 휘갈겨 놓는 것입니다. 만약 우리가 그들에게 최종 답안만을 위한 별도의 깨끗한 화이트보드를 준다면, 더 이상 저런 지저분한 낙서를 할 필요가 없을 것입니다.
"특징" 팀 (기능적 가설): 이들은 로봇에게 이 밝은 전선들이 꼭 필요하다고 생각합니다. 아마도 이것들이 "시작 버튼"이나 "중력 닻" 역할을 하여 전체 사고 과정이 무너지지 않도록 붙잡아 주는 것일 수 있습니다. 만약 이것들을 제거한다면, 로봇은 고장 날 것입니다.

실험: "레저(Ledger)" 테스트
이 논문의 저자인 마루티 베물라(Maruthi Vemula)는 "글리치" 팀의 주장을 검증하기 위해 새로운 종류의 로봇 뇌를 설계하여 테스트하기로 했습니다.

그들은 **레저 잔차(Ledger Residuals)**라는 새로운 설계를 만들었습니다. 하나의 지저분한 화이트보드 대신, 로봇에게 두 개의 뚜렷한 영역을 주었습니다:

"스크래치패드(Scratchpad)" (숙고): 로봇이 생각하고, 실수하고, 지우고 다시 쓸 수 있는 지저분하고 지울 수 있는 공간입니다.
"레저(Ledger)" (확정): 보호되고 잠겨 있는 공책입니다. 로봇은 여기에 기록할 수는 있지만, 이미 써놓은 내용을 절대 지우거나 덮어쓸 수 없습니다. 로봇이 최종 답변을 내야 할 때 들여다볼 수 있는 유일한 장소입니다.

논리:
만약 "글리치" 팀이 옳다면, 로봇은 행복해할 것입니다. 로봇에게는 최종 답변을 적을 깨끗하고 보호된 장소가 생겼기 때문입니다. 따라서 더 이상 저 거대하고 지저분한 "아웃라이어(outlier)" 전선을 만들 필요가 없을 것입니다. 생각하는 것과 답을 내는 것을 같은 판 위에서 동시에 처리할 필요가 없기 때문입니다.

결과: 로봇은 다시 난장판을 재건하다
실험은 "글리치" 팀에게 명백한 실패였습니다.

"레저"라는 새로운 구조를 가졌음에도 불구하고, 로봇는 여전히 그 거대하고 밝은 전선들을 만들어냈습니다.

로봇에게 답변을 적을 깨끗한 장소가 생겼다는 사실은 중요하지 않았습니다.
"스크래치패드"가 지저분해도 상관없다는 것도 중요하지 않았습니다.
로봇은 즉시 보호된 "레저" 내부에서 정확히 똑같은 "초고휘도 전선"을 다시 만들어냈습니다.

심지어 연구진은 로봇이 레저에 글을 쓰는 것을 더 어렵게 만들어(희소성 패널티 부여) 더 절제하도록 강제하려 했습니다. 하지만 로봇은 이 행동을 멈추기는커녕, 오히려 그 특정 전선에 더 집착하여 더욱 밝고 집중되게 만들었습니다.

비유
요리사의 주방을 생각해 보세요.

기존 방식: 요리사는 채소를 썰고, 소스를 섞고, 마지막 접시를 담는 모든 과정을 하나의 커다란 도마 위에서 수행해야 합니다. 최종 요리를 안전하게 지키기 위해, 그들은 구석에 거대하고 빛나는 식재료 더미를 쌓아둡니다(이것이 "거대 활성화"입니다).
테스트: 연구진은 요리사에게 최종 요리만을 위한 유리 케이스를 따로 주었습니다. 그들은 말했습니다. "이제 지저한 도마 위에서 마음껏 썰고 섞어도 됩니다. 그리고 최종 요리만 깨끗한 케이스에 담으세요. 이제 저 거대한 식재료 더미는 필요 없을 겁니다."
결과: 요리사는 즉시 유리 케이스 안에서 거대한 식재료 더미를 만들기 시작했습니다. 그들은 지저분한 도마는 무시한 채, 오로지 깨끗한 케이스에만 집중했습니다.

결론
이 논문은 이러한 "거대 활성화"가 지저분한 설계로 인한 글리치가 아니라고 결론짓습니다. 그것들은 **구조적으로 견고(architecturally robust)**합니다. 즉, 로봇이 제대로 기능하기 위해 이것들이 반드시 필요하다는 뜻입니다. 설계를 어떻게 바꾸든, 혹은 깨끗한 작업 공간을 제공하든, 로봇은 항상 그 특정한 "시작 버튼" 전선을 재건할 방법을 찾아냅니다.

연구진은 이 전선들이 아마도 로봇의 생각이 통제 불능 상태로 휘둘리지 않도록 잡아주는 "중력 닻"이나 "시작 신호"와 같은 기능적 필수 요소일 것이라고 제안합니다. 연구진은 다른 사람들이 더 큰 로봇에서도 이 패턴을 깨뜨릴 수 있도록 코드를 공개했지만, 지금까지 이 패턴은 강력하게 유지되고 있습니다.

기술 요약: 거대 활성화(Massive Activations)의 구조적 견고성

문제 정의
학습된 트랜스포머 모델들은 일관되게 "거대 활성화(massive activations)" 현상을 보입니다. 이는 소수의 은닉 상태 차원이 중간값보다 수천 배 더 큰 크기를 갖는 현상입니다. 이러한 이상치(outliers)는 구조적으로 특정되어 있으며, 입력값에 관계없이 고정된 차원에 나타나고, 시퀀스 시작(또는 구분자) 토큰에 집중되는 경und를 보입니다. 이들은 네트워크 초기 단계에서 발생하여 후속 레이어를 통해 지속되며, 모델의 붕괴를 초래할 정도로 핵심적인 역할을 수행합니다.

이러한 활성화의 기원을 두고는 활발한 논쟁이 진행 중입니다. 한 진영은 이를 잔차 연결(residual stream)의 과부하된 역할에 따른 **인위적 산물(artifact)**로 봅니다. 즉, 단일 스트림이 중간 계산을 위한 가변적인 스크래치패드(scratchpad) 역할과 최종 답변을 위한 안정적인 누적기(accumulator) 역할을 동시에 수행해야 하기 때문이라는 것입니다. 이 관점을 지지하는 이들은 QK-정규화(QK-normalization)나 키/값 바이어스(key/value biases)와 같은 명시적인 구조적 개입을 통해, 언어 모델링 성능의 손실을 최소와화하면서 이상치의 크기를 억제할 수 있다고 주장합니다. 반대 진영은 이를 **기능적 필연성(functional necessities)**으로 보며, 과도한 혼합(over-mixing)을 방 prevent하기 위한 어텐션 싱크(attention sinks), 적응형 그래디언트 조절기(adaptive gradient regulators), 또는 특정 계산에 필요한 바이어스 항 등으로 간주합니다.

본 연구가 다루는 핵심 질문은 거대 활성화가 아키텍처의 부산물로서 제거 가능한 것인지, 아니면 읽기/쓰기 역할을 분리하기 위해 사용된 메커니즘과 상관없이 모델이 반드시 재구성하게 될 기능적 요구사항인지 여부입니다.

방법론: 레저 잔차(Ledger Residuals)
저자들은 이 산물 가설(artifact hypothesis)을 직접 테스트하기 위해, 표준적인 단일 잔차 스트림을 두 개의 별도 채널로 분리하는 레저 잔차(Ledger Residuals) 아키텍처를 도입했습니다.

숙의 스트림(Deliberation Stream, $D$ ): 하위 레이어들이 자유롭게 쓰고, 결정적으로 내용을 '삭제'할 수 있는 가변적인 "스크래치패드"입니다. 이를 통해 중간 계산 과정에서 오래된 데이터를 덮어쓰지 않고도 데이터를 덮어쓸 수 있습니다.
약정 스트림(Commitment Stream, $C$ ): 보호된, 추가 전용(append-only) "장부(ledger)"입니다. 하위 레이어는 학습된 게이트를 통해 이 스트림에 내용을 추가할 수 있지만, 기존 내용을 덮어쓸 수는 없습니다. 결정적으로, 언어 모델의 출력 헤드(unembedding layer)는 오직 이 스트림으로부터만 디코딩합니다.

이 설계는 만약 거대 활성화가 스크래치패드와 답변 역할 사이의 충돌을 해결하기 위한 임시방편이라면, 전용의 보호된 답변 채널을 제공함으로써 이러한 이상치가 불필요해질 것이라는 가정에 기반합니다. 또한, 이 아키텍처는 특정 게이트 설정 하에서 표준적인 pre-norm 트랜스포머로 정확히 축소되도록 매개변수화되어, 관찰된 차이가 용량 증가 때문이 아니라 오직 계층적 분리(factorization) 때문임을 보장합니다.

저자들은 FineWeb-Edu 코퍼스를 사용하여 160M 및 290M 파라미터 규모의 디코더 전용 트랜스포머를 학습시켰습니다. 검증 손실(validation loss)을 동일하게 맞춘 상태에서 다음 네 가지 구성을 비교했습니다:

Vanilla: 표준 pre-norm 트랜스포머.
Suppress: 이상치의 크기를 줄이는 것으로 알려진 QK-정규화가 적용된 Vanilla 모델.
Ledger: 제안된 분리 스트림 아키텍처와 약정 채널에 대한 가벼운 희소성 페널티(sparsity penalty) 적용.
Ledger-HS: 약정 채널을 희소하게 강제하기 위해 6배 더 강력한 희소성 페널티를 적용한 동일 아키텍처.

주요 결과
이 개입은 거대 활성화를 제거하는 데 실패했으며, 이는 산물 가설에 대한 명확한 부정적 결과를 도출했습니다:

보호된 채널에서의 재구성: Ledger 모델에서, 보호된 약정 스트림( $C$ )은 전형적인 고정 차원, 시작 토큰 이상치를 재구축했습니다. $C$ 내의 이상치 크기는 표준 "Vanilla" 모델보다 낮았으나, 구조적 특징은 그대로 유지되었습니다: 해당 특징은 동일한 고정 차원에 집중되어 있었으며, 시작 토큰(BOS)에 강력하게 고정되어 있었습니다.
희소성이 특징을 강화함: 약정 채널을 희소하게 만들어 지속적인 이상치 형성을 막을 것이라는 직관과 달리, 높은 희소성 페널티를 적용한 Ledger-HS 구성은 오히려 해당 특징을 더욱 강화했습니다. 지배적인 차원의 지속성은 0.58에서 0.96으로 증가했고, 시작 토큰 집중도는 3.36에서 4.69로 상승했습니다. 모델은 해당 특징을 포기하는 대신, 자신에게 주어진 희소한 "약정(commitments)"을 그곳에 집중시켰습니다.
크기(Magnitude) 대 구조(Structure): 본 연구는 이상치의 크기와 구조를 구분합니다. QK-정규화("Suppress" 베이스라인)는 이상치의 크기와 시작 토큰 집중도를 성공적으로 줄였지만, Ledger 아키텍처는 모델에게 깨끗한 채널이 주어졌음에도 불구하고 구조(고정 차원 + 시작 토크 고정)가 다시 나타남을 보여주었습니다.
성능 저하 없음: 이상치의 크기가 약정 스트림으로 이동했음에도 불구하고, 검증 퍼플렉시티(perplexity)나 가중치 양자화(8-bit 및 4-bit)에 대한 모델의 견고성에는 측정 가능한 영향이 없었습니다.

의의 및 주장
본 논문은 거대 활성화가 **아키텍처적으로 견고하다(architecturally robust)**고 주장합니다. 모델이 계산을 위한 별도의 스크래치 공간을 가지고 있음에도 불구하고, 전용의 보호된 채널에서 특정 고정 차원 및 시작 토큰 이상치를 재구축한다는 사실은, 이러한 활성화가 단순히 잔차 연결의 이중 역할에 따른 산물이 아님을 시사합니다. 대신, 이들은 모델이 최종 표현을 어디에 저장하도록 강제되든 상관없이 능동적으로 의존하는 기능적 필수 요소인 것으로 보입니다.

저자들은 이러한 결과가 "기능적" 측면의 논쟁을 뒷받침하는 증거라고 위치시킵니다. 그들은 비록 이상치의 크기는 (바이어스나 정규화를 사용한 선행 연구에서 보여준 것처럼) 억제될 수 있지만, 모델에게서 산물을 피할 수 있는 아키텍처적 자유를 주더라도 근본적인 구조는 지속된다고 주장합니다. 본 연구가 이러한 활성화의 구체적인 기능(예: 어텐션 싱크, 그래디언트 조절기, 또는 바이어스 항)을 규명한 것은 아니나, 모델이 디코딩을 수행할 때마다 이 특정한 구조적 특징을 재구축한다는 점을 입증했습니다.

저자들은 이 테스트의 재현과 확장을 용이하게 하기 위해 Ledger Residuals 아키텍처와 측정 코드를 공개했습니다. 이들은 상대적으로 작은 모델 크기(290M)와 단일 시드 사용을 한계점으로 인정하며, 이러한 발견을 완전히 일반화하기 위해서는 더 큰 규모와 다양한 작업에 대한 추가 테스트가 필요함을 명시했습니다.

유사한 논문