GLUScope: A Tool for Analyzing GLU Neurons in Transformer Language Models

이 논문은 SwiGLU 와 같은 게이트 활성화 함수를 사용하는 최신 트랜스포머 언어 모델의 해석 가능성을 높이기 위해, 각 뉴런의 게이트와 입력 활성화의 네 가지 부호 조합에 따른 텍스트 예시와 발생 빈도를 분석하는 오픈소스 도구인 GLUScope 를 제안합니다.

핵심

🧐 GLUScope: AI 의 뇌세포를 들여다보는 새로운 망원경

이 논문은 인공지능 (LLM) 이 어떻게 작동하는지 이해하려는 연구자들을 위해 만든 새로운 도구인 GLUScope를 소개합니다.

기존의 도구들은 마치 "불이 켜졌으면 켜진 거고, 꺼졌으면 꺼진 거다"라고만 생각했지만, 최신 AI 모델들은 훨씬 더 복잡한 방식으로 작동합니다. GLUScope 는 이 복잡한 방식을 정확히 파악할 수 있게 해줍니다.

이해를 돕기 위해 몇 가지 비유를 들어 설명해 드릴게요.

---

1. 왜 새로운 도구가 필요할까요? (과거 vs 현재)

🍎 과거의 AI (ReLU 등): "스위치" 방식
예전 AI 모델의 신경세포 (뉴런) 는 아주 단순했습니다. 마치 전등 스위치처럼 작동했죠.

• ON (켜짐): 신호가 들어오면 불이 켜집니다 (양의 값).
• OFF (꺼짐): 신호가 없으면 불이 꺼집니다 (0).
• 연구: 연구자들은 "어떤 단어를 보면 이 스위치가 켜지지?"라고만 물으면 됐습니다.

🚪 현재의 AI (SwiGLU 등): "자동문 + 신호등" 방식
최신 AI 모델 (Llama, OLMo 등) 은 훨씬 똑똑해져서 게이트 (문) 방식을 사용합니다.
이제 각 뉴런은 **두 개의 문 (게이트)**을 가지고 있습니다.

1. 입구 문 (Gate): "이 신호를 통과시켜도 될까?"를 결정합니다.
2. 본문 신호 (Input): 실제로 들어오는 정보입니다.

이 두 문이 **열림 (양수)**과 **닫힘 (음수)**의 조합으로 작동합니다. 여기서 재미있는 일이 발생합니다.

• 문이 열리고 (Gate +) 신호가 들어오면 (Input +) → 강력한 긍정 신호
• 문이 열리고 (Gate +) 신호가 반대라면 (Input -) → 강력한 부정 신호 (AI 가 "아니야!"라고 외치는 것)
• 문이 닫히고 (Gate -) 신호가 들어와도 (Input +) → 무시됨
• 문이 닫히고 (Gate -) 신호도 반대라면 (Gate - Input -) → 의미심장한 부정 신호

핵심 문제: 기존 도구들은 "불이 켜진 경우"만 찾아봤습니다. 하지만 최신 AI 는 **"문은 열렸는데 신호가 반대일 때"**나 **"문도 닫히고 신호도 반대일 때"**에 더 중요한 정보를 숨기고 있을 수 있습니다. GLUScope 는 이 **4 가지 경우 (조합)**를 모두 구별해서 찾아냅니다.

---

2. GLUScope 는 어떻게 작동하나요?

GLUScope 는 마치 고해상도 현미경이나 대시보드 같은 웹사이트입니다.

• 4 가지 상자를 보여줍니다: 각 뉴런이 어떤 상황에서 켜졌는지 (Gate +/+, Gate +/-, Gate -/+, Gate -/-) 네 가지 상자로 나누어 보여줍니다.
• 실제 예시를 보여줍니다: "아, 이 뉴런은 '다시 (again)'라는 단어가 나올 때, 문이 닫히고 신호가 반대일 때 가장 잘 작동하는구나!"라고 구체적인 문장 예시를 보여줍니다.
• 통계를 알려줍니다: "이 뉴런은 전체의 67% 는 부정적인 신호를 보냈고, 17% 는 '다시'라는 단어와 관련이 있었어요"라고 숫자로 알려줍니다.

---

3. 실제 발견 사례: "다시 (Again)"라는 단어의 비밀

논문의 저자들은 이 도구를 이용해 OLMo 라는 AI 모델의 한 뉴런 (31 번 레이어, 9634 번 뉴런) 을 조사했습니다.

• 기존 추측: 이 뉴런의 구조를 보면 "다시 (again)"라는 단어를 예측할 때 켜질 것 같았습니다.
• GLUScope 로 확인해 보니:
  • 의외의 발견: 이 뉴런은 "다시"가 나올 때 켜지는 게 아니라, "다시"가 나오지 말아야 할 때 (부정적 신호) 더 자주 켜졌습니다.
  • 진짜 비밀: 하지만 **문 (Gate) 이 닫히고 신호도 반대일 때 (Gate -/ -)**만 유독 "다시"라는 단어와 관련된 문장들 ("한 번 더", "다시 한번" 등) 에서 강하게 반응했습니다.
  • 결론: 이 뉴런은 "다시"라는 단어를 강력하게 추천하는 역할을 하지만, 다른 신호들이 이를 방해할 때만 그 역할을 수행한다는 것을 발견했습니다.

만약 GLUScope 가 없었다면?
기존 도구들은 가장 강하게 켜진 경우 (Gate +/+) 만 보여줬을 것입니다. 그때는 "다시"와 관련된 문장이 전혀 나오지 않아, 이 뉴런의 진짜 역할을 완전히 놓쳐버렸을 것입니다. 마치 어두운 방에서 전등만 켜고 숨겨진 보물상자를 찾지 못하는 것과 같습니다.

---

4. 요약: 왜 이것이 중요한가요?

• 오픈 소스 도구: 누구나 무료로 사용할 수 있습니다.
• 최신 모델 지원: 최신 AI 모델들이 쓰는 복잡한 '게이트' 방식을 이해할 수 있게 해줍니다.
• 새로운 통찰: AI 가 왜 특정 단어를 선택하는지, 혹은 왜 틀린 답을 내는지 그 미세한 이유를 찾아낼 수 있게 해줍니다.

한 줄 요약:

GLUScope는 최신 AI 모델의 복잡한 '뇌세포' 작동 방식을 4 가지 색깔로 나누어 자세히 보여줌으로써, 우리가 AI 의 숨겨진 사고 과정을 더 깊이 이해할 수 있게 해주는 마법의 돋보기입니다.

이 도구를 통해 연구자들은 AI 가 단순히 "무엇을" 말하는지뿐만 아니라, "왜 그렇게 말하는지" 그 깊은 이유를 파헤칠 수 있게 되었습니다.

기술 요약

논문 요약: GLUScope (GLU 뉴런 분석 도구)

1. 문제 제기 (Problem)

• 배경: 트랜스포머 기반 대규모 언어 모델 (LLM) 의 내부 작동 원리를 이해하려는 '기계적 해석 가능성 (Mechanistic Interpretability)' 연구가 활발히 진행되고 있습니다. 기존 연구들은 주로 개별 뉴런 (MLP 레이어의 숨겨진 차원) 이 어떤 텍스트 예시에 의해 강하게 활성화되는지 분석해 왔습니다.
• 한계점: 기존 해석 도구들 (예: Neuroscope, Transformer Debugger 등) 은 대부분 ReLU, GELU, Swish 와 같은 전통적인 활성화 함수를 가정하고 설계되었습니다.
• 핵심 문제: 최신 LLM (Llama, OLMo, Gemma 등) 은 게이트드 활성화 함수 (Gated Activation Functions, 예: SwiGLU, GEGLU) 를 광범위하게 사용합니다. 이러한 함수는 게이트 (Gate) 와 입력 (In) 두 가지 경로를 가지며, 각각의 신호 (양수/음수) 조합에 따라 뉴런의 출력이 결정됩니다.
  • 기존 도구는 단순히 '강한 양수 활성화'만 분석하여 게이트드 뉴런의 복잡한 동작 (4 가지 부호 조합: $x_{gate} > 0, x_{in} > 0$, $x_{gate} > 0, x_{in} < 0$ 등) 을 놓치고 있습니다.
  • 이로 인해 게이트드 뉴런의 실제 기능과 패턴을 오해하거나 중요한 인사이트를 놓칠 수 있습니다.

2. 방법론 (Methodology)

저자들은 게이트드 활성화 함수의 복잡성을 고려한 새로운 분석 도구 GLUScope를 개발했습니다.

• 게이트드 활성화 함수 분석 프레임워크:
  • SwiGLU 등의 함수는 $Swish(x_{gate}) \cdot x_{in}$ 형태로 작동합니다.
  • $x_{gate}$와 $x_{in}$의 부호 (+/-) 에 따라 4 가지 조합이 발생하며, 각 조합마다 뉴런의 동작 패턴이 다를 수 있음을 인식합니다.
  • 기존 방식과 달리, 각 뉴런에 대해 4 가지 부호 조합 각각에서 가장 강한 활성화 값을 별도로 기록하고 분석합니다.
• 아티팩트 (Artifacts) 공개:
  1. 데이터셋: OLMo-7B 모델이 Dolma 서브셋 (약 2 천만 토큰) 을 처리할 때 생성된 뉴런 활성화 요약 데이터셋. 각 뉴런의 4 가지 부호 조합별 빈도, 중간 활성화 값 (hook_post, hook_pre_linear 등) 의 평균/최대/최소값, 그리고 해당 토큰이 나타난 데이터셋 인덱스를 포함합니다.
  2. 시각화 도구 (GLUScope 웹사이트): 선택된 개별 뉴런에 대해 4 가지 부호 조합별 통계와 텍스트 예시를 시각적으로 보여주는 웹 인터페이스.
  3. 코드: 데이터셋 생성 및 시각화 재현을 위한 오픈소스 코드.

3. 주요 기여 (Key Contributions)

1. 최초의 GLU 특화 분석 도구: 게이트드 활성화 함수를 사용하는 최신 모델의 뉴런을 분석할 수 있는 최초의 오픈소스 도구인 GLUScope 를 제공합니다.
2. 세분화된 활성화 분석: 단순히 전체적인 최대 활성화가 아닌, 4 가지 부호 조합 ($gate+/in+, gate+/in-, gate-/in+, gate-/in-$) 별로 분리된 분석을 가능하게 하여 뉴런의 미묘한 동작 차이를 포착합니다.
3. 새로운 인사이트 발견: 기존 도구로는 발견할 수 없었던 뉴런의 복잡한 동작 패턴을 발견할 수 있음을 실증합니다.

4. 결과 및 사례 연구 (Results & Usage Examples)

논문의 5 장에서는 GLUScope 를 활용한 두 가지 사례를 통해 도구의 유용성을 입증합니다.

• 사례 1: 모델 전체 분석 (활성화 데이터셋 활용)
  • 뉴런의 입력 가중치 ($w_{in}$) 와 출력 가중치 ($w_{out}$) 간의 코사인 유사도와 $x_{gate} > 0$인 빈도 사이에 강한 부정적 상관관계가 있음을 발견했습니다. 이는 기존 도구로는 파악하기 어려웠던 전역적 특성을 데이터셋을 통해 규명했습니다.
• 사례 2: 개별 뉴런 심층 분석 (Neuron 31.9634)
  • 가설: 가중치 분석 결과, 해당 뉴런은 'again'이라는 토큰과 관련이 있어 보였으나, 게이트 ($w_{gate}$) 와 입력 ($w_{in}$) 가 서로 유사하여 대부분 양수 활성화가 예상되었습니다.
  • GLUScope 를 통한 발견:
    • 실제로는 **67.7%**의 활성화가 $x_{gate} > 0, x_{in} < 0$ (음수 출력) 인 경우가 많았습니다.
    • 가장 중요한 발견: 가장 해석 가능한 패턴은 전체 활성화 중 17.34% 만 차지하는 $x_{gate} < 0, x_{in} < 0$ (게이트 -/입력 -) 조합에서 나타났습니다. 이 경우 뉴런은 "once again"과 같은 문맥에서 'again'이 다음 토큰으로 올 확률을 높이는 역할을 했습니다.
    • 기존 도구의 한계: 만약 전통적인 도구 (Neuroscope 등) 를 사용했다면, 절대값이 큰 양수/음수 활성화만 기록했기 때문에, 절대값은 작지만 매우 해석 가능한 'gate-/in-' 패턴은 완전히 누락되었을 것입니다.

5. 의의 및 의의 (Significance)

• 해석 가능성 연구의 진전: 최신 LLM 아키텍처 (SwiGLU 등) 에 맞춰 해석 도구도 진화해야 함을 보여줍니다. 단순히 "어떤 단어가 뉴런을 켜는가"를 넘어, "어떤 조건 (게이트/입력 부호) 에서 뉴런이 어떻게 작동하는가"를 이해해야 함을 강조합니다.
• 오픈소스 생태계 기여: 연구자들이 새로운 모델을 쉽게 분석하고, 커스텀된 뉴런 데이터셋을 생성하여 재현 가능한 연구를 수행할 수 있는 인프라를 제공합니다.
• 미래 연구 방향: 게이트드 뉴런의 복잡한 상호작용을 이해함으로써, 더 정교한 모델 제어 및 디버깅 기법 개발에 기여할 수 있습니다.

결론적으로, GLUScope 는 기존 해석 도구의 아키텍처적 한계를 극복하고, 게이트드 활성화 함수를 사용하는 현대적 LLM 의 뉴런 동작을 다차원적으로 분석할 수 있게 함으로써 기계적 해석 가능성 연구의 새로운 지평을 엽니다.