Negative Pre-activations Differentiate Syntax

이 논문은 매끄러운 활성화 함수를 사용하는 대규모 언어 모델에서 음수 전활성화 (negative pre-activations) 가 단순한 부수적 현상이 아니라, 희소하게 존재하는 '워셔슈타인 뉴런'을 통해 구문론적 구조를 처리하는 능동적인 기제로 작용함을 입증합니다.

핵심

"마이너스"가 문법을 만든다: AI 의 숨겨진 비밀을 밝히다

이 논문은 최신 인공지능 (LLM) 이 어떻게 문법을 배우고 사용하는지, 특히 우리가 그동안 '무의미한 영역'으로 생각했던 '음수 (Negative)' 값이 실제로 얼마나 중요한 역할을 하는지 밝혀낸 흥미로운 연구입니다.

상상해 보세요. AI 의 뇌 (신경망) 는 수많은 작은 스위치 (뉴런) 로 이루어진 거대한 도시입니다. 이 도시에서 우리는 오랫동안 **"스위치가 켜져서 빛나는 (양수) 부분만 중요하고, 꺼져 있거나 어두운 (음수) 부분은 그냥 휴지통"**이라고 생각했습니다. 마치 옛날 전구처럼요.

하지만 이 연구는 **"아니요! 그 어두운 부분 (음수) 이 오히려 문법의 핵심을 담당하고 있습니다!"**라고 외칩니다.

---

1. 연구의 핵심: "워터스틴 (Wasserstein)" 뉴런이라는 특수 부대

연구진은 AI 모델 속에 숨겨진 특별한 뉴런들을 발견했습니다. 이들을 **'워터스틴 뉴런'**이라고 부르는데, 마치 정교한 분류기처럼 작동합니다.

• 비유: 이 뉴런들은 두 개의 매우 비슷한 단어를 보고, "아, 이 두 단어는 문법적으로 완전히 다르구나!"라고 판단해서 서로 다른 방향으로 쏘아보냅니다.
• 특이점: 이 분류 작업이 주로 음수 (Negative) 영역에서 일어납니다. 즉, AI 는 "0 보다 작은 값"을 이용해 문법적 뉘앙스를 세밀하게 조절하고 있었습니다.

2. 실험: "음수"를 지우면 문법이 무너진다

연구진은 이 특수 부대 (워터스틴 뉴런) 의 음수 부분만 선택적으로 지워버리는 (0 으로 만드는) 실험을 했습니다. 마치 AI 의 뇌에서 '어두운 부분'만 가려버린 것과 같습니다.

• 결과 1 (문법 붕괴): AI 는 갑자기 문법을 잊어버렸습니다. "그는 가다"가 아니라 "그는 가"라고 말하거나, 주어와 동사의 일치를 못 맞추는 등 문법 오류가 폭증했습니다.
• 결과 2 (비문법 능력은 유지): 반면, 과학 상식이나 논리 추론 같은 문법과 상관없는 능력은 크게 떨어지지 않았습니다.
• 결과 3 (대조군 실험): 만약 문법과 상관없는 일반 뉴런들을 무작위로 많이 지웠다면? 문법은 그대로였는데, 오히려 상식이나 추론 능력이 망가졌습니다.

결론: AI 는 문법을 위해 음수 값을 적극적으로 활용하고 있었고, 이는 단순한 계산의 부산물이 아니라 의도적인 설계였습니다.

3. 구체적인 예시: "의미 있는 단어"를 구분하는 마법

이 특수 뉴런들은 어떤 일을 할까요?

• 예시: "the (관사)"와 "for (전치사)"는 문법적으로 매우 중요한 단어들이지만, AI 가 입력하는 숫자 데이터상으로는 서로 매우 비슷하게 보일 수 있습니다.
• 작동 원리: 이 뉴런은 두 단어를 모두 음수 영역으로 보내지만, "the"는 -0.1 로, "for"는 -0.9 로 보내서 완전히 다른 값으로 만듭니다.
• 비유: 마치 두 사람이 같은 검은 옷 (음수) 을 입었지만, 한 사람은 검은색이 아주 진하고 다른 사람은 연한 회색빛을 띠게 만들어서 구별하는 것과 같습니다. AI 는 이 **음수의 깊이 (Depth)**를 이용해 문법적 역할을 구분합니다.

4. 학습 과정: 문법은 일찍 시작된다

AI 가 학습하는 과정을 보면, 이 특수 뉴런들은 **학습 초기 (아기 단계)**에 이미 문법 규칙을 익히기 시작합니다.

• 학습이 진행될수록 이 뉴런들의 음수 영역 활용도가 더 정교해지고, AI 의 문법 실력이 좋아지는 것과 정확히 일치합니다.
• 이는 문법이라는 것이 AI 의 가장 깊은 층이 아니라, 초기 층에서 음수 값을 통해 기초를 닦고 그 위에 쌓아진다는 것을 의미합니다.

---

🌟 요약: 왜 이 연구가 중요한가요?

1. 오해의 해소: 과거에는 "음수 값은 ReLU(휴지) 때문에 중요하지 않다"고 생각했지만, 현대 AI(GELU, SiLU 사용) 에서는 음수 값이 문법의 핵심 엔진임을 증명했습니다.
2. 새로운 시각: AI 를 해석할 때 "빛나는 부분 (양수)"만 보지 말고, "어두운 부분 (음수)"도 꼼꼼히 봐야 한다는 교훈을 줍니다.
3. 미래의 AI: 문법뿐만 아니라 AI 의 복잡한 사고 과정을 이해하려면, 이 음수 영역의 미세한 차이를 어떻게 활용하는지 연구해야 합니다.

한 줄 요약:

"AI 는 문법을 배울 때, **어두운 그림자 (음수 값)**를 이용해 단어들의 역할을 정교하게 구분하고 있었습니다. 이 그림자를 지우면 AI 는 문법을 잊어버리는 것입니다."

기술 요약

이 논문은 현대의 대규모 언어 모델 (LLM) 이 부드러운 활성화 함수 (GELU, SiLU 등) 를 사용할 때, 음수 사전 활성화 (negative pre-activations) 영역이 문법 (syntax) 처리에 핵심적인 역할을 한다는 점을 규명한 연구입니다. 기존의 해석 가능성 연구는 주로 양수 활성화에 집중하여 음수 영역을 단순한 최적화의 부산물이나 비활성 영역으로 간주해 왔으나, 이 연구는 이를 반박하고 음수 활성화가 문법적 구조를 구분하는 데 능동적으로 사용됨을 증명합니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

• 배경: 최신 LLM 은 ReLU 대신 GELU 나 SiLU 와 같은 부드러운 활성화 함수를 사용하여 최적화 효율을 높이고 '죽은 뉴런 (dying ReLU)' 문제를 해결합니다. 이러한 함수는 0 미만의 입력에서도 0 이 아닌 출력과 기울기를 생성하므로, 이론적으로 음수 영역도 계산에 활용 가능합니다.
• 가설의 한계: 그러나 기존의 뉴런 수준 해석 연구는 ReLU 시대의 관습을 답습하여, 뉴런이 무엇을 '표현'하는지 분석할 때 주로 높은 양수 활성화에 집중해 왔습니다. 이로 인해 음수 활성화 영역이 정보 전달이나 문법 처리에 어떤 기능을 하는지 상대적으로 간과되었습니다.
• 연구 질문: 음수 사전 활성화는 실제로 모델에 의해 기능적으로 활용되는가? 만약 그렇다면 어떤 목적으로 활용되는가?

2. 방법론 (Methodology)

연구팀은 **워셔스틴 뉴런 (Wasserstein Neurons)**이라는 특정 뉴런 서브그룹을 분석 대상으로 선정했습니다.

• 워셔스틴 뉴런 정의: 입력 분포가 가우시안 기준선에서 워셔스틴 거리 (Wasserstein Distance, WD) 가 크게 벗어나는 뉴런들입니다. 이러한 뉴런들은 서로 유사한 입력 벡터를 출력 스칼라로 매핑할 때 큰 거리 (Mapping Difficulty, MD) 를 두는 '얽힘 (entanglement)' 특성을 가집니다.
• 관찰: 비 ReLU 모델 (GELU/SiLU 기반) 에서 이러한 워셔스틴 뉴런의 가우시안으로부터의 편차는 주로 사전 활성화 공간의 음수 영역에 집중되어 있음을 발견했습니다.
• 실험 설계 (개입 및 대조군):
  1. 음수 활성화 클램핑 (Targeted Ablation): 각 MLP 게이트/업 프로젝션에서 상위 1% 의 워셔스틴 뉴런에 대해 음수 사전 활성화만 0 으로 설정 (Zeroing) 하는 실험을 수행했습니다. (모델의 다른 부분과 가중치는 변경하지 않음)
  2. 대조군 설정:
     • 무작위 제어: 동일한 수의 무작위 뉴런에 동일한 개입 수행.
     • 퍼플렉시티 매칭 제어 (Perplexity-matched Control): 워셔스틴 뉴런 개입으로 인한 퍼플렉시티 증가량과 동일한 수준으로 퍼플렉시티가 떨어지도록, 낮은 WD 를 가진 많은 수의 뉴런 (비얽힘 뉴런) 의 음수 활성화만 제거하는 실험.
• 평가 지표:
  • 문법 능력: BLiMP (언어적 최소 쌍 벤치마크) 및 TSE (Targeted Syntactic Evaluation) 점수.
  • 일반 능력: ARC, BoolQ, HellaSwag 등 문법과 무관한 추론 및 이해 벤치마크.
  • 언어 모델 성능: WikiText 2 퍼플렉시티.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 문법적 성능에 대한 선택적 파괴 (Double Dissociation)

• 문법 저하: 상위 1% 의 워셔스틴 뉴런 음수 활성화만 제거했을 때, BLiMP 와 TSE 점수가 급격히 하락했습니다. 이는 모델의 전체적인 언어 이해도 (퍼플렉시티) 를 비슷하게 떨어뜨리는 대조군 (많은 수의 저-WD 뉴런 제거) 에 비해 훨씬 더 심각한 문법적 오류를 유발했습니다.
• 일반 능력 보존: 반대로, 많은 수의 저-WD 뉴런을 제거하여 퍼플렉시티를 동일하게 떨어뜨린 경우, 문법 점수는 거의 유지되는 반면 일반 추론 및 이해 벤치마크 (ARC, HellaSwag 등) 의 성능은 크게 저하되었습니다.
• 의미: 이는 '음수 활성화의 부재'가 문법 처리에 필수적임을, 그리고 다른 일반적 능력은 분산된 저-WD 뉴런들에 의해 처리됨을 보여주는 이중 분리 (Double Dissociation) 현상입니다.

B. 층별 분석 및 누적 효과

• 초기 층의 중요성: 워셔스틴 뉴런의 음수 활성화 개입은 모델의 **초기 층 (Early Layers)**에서 가장 치명적인 오류를 유발했습니다.
• 누적 오차: 초기 층의 작은 손상이 깊은 층으로 전달되며 누적되어 전체적인 문법적 실패로 이어짐을 확인했습니다. 특히 주어 - 동사 일치, 생략 (ellipsis), 부정 극성 항목 (negative polarity items) 등 비국소적 의존성이 필요한 문법 구조에 취약했습니다.

C. 음수 분화 (Negative Differentiation) 메커니즘

• 기능적 단어 구분: 워셔스틴 뉴런은 유사한 입력 (예: 기능어인 'the', 'for', 'and' 등) 을 **양수 영역이 아닌 음수 영역 내에서 서로 다른 깊이 (magnitude)**로 매핑하여 구분합니다.
• 음수 영역의 활용: 뉴런의 출력 분포를 분석한 결과, 가장 잘 구분된 토큰 쌍 중 80% 이상이 두 값 모두 음수이면서 그 크기가 다르게 분포하는 '음수 - 음수 (NN)' 쌍이었습니다. 이는 뉴런이 양수/음수 부호의 차이뿐만 아니라, 음수 값 자체의 크기를 이용해 문법적 기능을 정교하게 구분하고 있음을 시사합니다.

D. 학습 역학 (Training Dynamics)

• 조기 등장 및 안정화: 워셔스틴 뉴런은 학습 초기 (약 500 억 토큰 이내) 에 빠르게 등장하여 WD 가 급격히 증가하고, 이후 안정화됩니다. 이 시기는 모델의 문법 능력 획득 시기와 정확히 일치합니다.
• 구조적 상관관계: 워셔스틴 뉴런의 분포가 가우시안에서 멀어질수록 (WD 증가), 해당 뉴런의 음수 활성화 제거 시 문법 오류가 더 크게 증가하는 강한 상관관계를 보였습니다.

4. 의의 (Significance)

1. 활성화 함수에 대한 새로운 관점: GELU 나 SiLU 와 같은 부드러운 활성화 함수에서 음수 영역은 단순한 최적화의 부산물이 아니라, 문법적 구조를 구현하기 위해 능동적으로 활용되는 계산 기지임을 증명했습니다.
2. 해석 가능성의 패러다임 전환: 기존의 "양수 활성화 = 활성/정보"라는 ReLU 시대의 직관을 깨뜨리고, 음수 활성화 영역의 부호와 크기가 중요한 정보를 담고 있음을 강조합니다. 따라서 모델 해석 시 음수 영역을 포함한 전체 활성화 지형을 고려해야 함을 시사합니다.
3. 문법 처리 메커니즘 규명: LLM 이 문법을 학습하는 방식이 단순히 주의 메커니즘 (Attention) 이나 밀집된 표현 공간에 국한되지 않고, MLP 의 특정 뉴런 (워셔스틴 뉴런) 이 음수 영역을 이용한 정교한 입력 분화를 통해 문법적 스텔레 (scaffolding) 를 구축함을 밝혔습니다.

결론적으로, 이 연구는 현대 LLM 의 문법적 능력이 모델의 특정 뉴런 서브그룹이 음수 활성화 영역을 전략적으로 활용하여 기능어와 문법적 관계를 구분하는 메커니즘에 기반하고 있음을 규명한 획기적인 연구입니다.