Darkness Visible: Reading the Exception Handler of a Language Model
이 논문은 GPT-2 Small 모델의 최종 MLP 층이 지식 저장이 아닌 문맥적 제약에 따른 신호 라우팅을 수행하는 27 개의 명명된 뉴런으로 구성된 완전히 해석 가능한 예외 처리기 구조를 갖추고 있으며, 이는 모델의 깊이에 따라 최종 층에서만 나타나는 특징임을 밝히고 있습니다.
이 논문은 AI 의 마지막 층 (Layer 11) 을 조사했습니다. 여기서 발견된 구조는 마치 비상 상황 처리 센터와 같습니다.
1. AI 의 두 가지 뇌: "명령실"과 "데이터 창고"
AI 의 마지막 단계는 크게 두 부분으로 나뉩니다.
27 명의 '명령관' (명확한 프로그램): 이들은 AI 가 "지금 무슨 일이 일어나고 있나?"를 판단하고, 상황에 따라 다른 길로 안내하는 역할을 합니다.
3,000 여 명의 '데이터 창고' (흐릿한 지식): 실제 지식 (사실, 단어, 정보) 은 이 27 명에게 저장된 게 아니라, 나머지 3,000 여 명의 neuron(뉴런) 들이 흩어져 가지고 있습니다. 이 부분은 여전히 해독하기 어려운 '어둠' 속에 있습니다.
비유: AI 는 고속도로의 톨게이트와 같습니다.
27 명의 명령관은 톨게이트의 신호등과 안내판입니다. "이 차는 통행료 면제 (정상)", "이 차는 수리 필요 (비상)"라고 빠르게 판단합니다.
나머지 3,000 명은 차에 실려 있는 화물 (지식) 입니다. 화물 자체는 복잡하게 쌓여 있지만, 톨게이트 직원은 화물의 내용보다는 차의 종류와 목적지만 보고 통행 여부를 결정합니다.
2. 비상 처리 시스템의 3 단계 (The Exception Handler)
이 27 명의 명령관은 3 단계로 나뉘어 작동합니다.
🚨 1 단계: 비상 신호 (Exception Indicator)
N2123이라는 뉴런이 "지금 뭔가 이상해! 우리가 뭘 해야 할지 모르겠어!"라고 외칩니다.
이 신호가 켜지면, AI 는 평소와 다른 처리 방식을 취합니다.
🛠️ 2 단계: 3 가지 대응 팀
핵심 팀 (Core): "일단 기본으로 돌아가자!"라고 외치며 단어들을 'the, in, and' 같은 쉬운 접속사나 관사로 초기화합니다. (예: 글이 너무 복잡해지면 문장을 짧게 끊어 기본 구조로 돌리는 것)
차별화 팀 (Differentiators): "틀린 답은 지워라!"라고 합니다. 잘못된 후보들을 억제하여 정답을 찾아냅니다.
전문가 팀 (Specialists): "문단이나 문장이 끝났나?"를 감지합니다. 글의 구조적 경계를 확인합니다.
✅ 3 단계: 정상 상태 (Consensus)
만약 7 개의 '정상 감지 뉴런'이 모두 "모든 게 정상이다"라고 동의하면, AI 는 더 이상 개입하지 않습니다.
재미있는 사실: AI 는 "정상이다"라고 판단될 때조차도 무조건 개입을 시도합니다. 마치 모래시계처럼, 정상일 때는 개입이 오히려 방해가 되는데도 멈출 수 없는 구조입니다.
3. 지식은 어디에 있을까? (지식 뉴런의 오해)
과거 연구에서는 "특정 뉴런이 특정 사실 (예: 프랑스의 수도는 파리) 을 저장한다"고 믿었습니다. 하지만 이 논문은 그 사실을 반박합니다.
비유: "지식 뉴런"은 창고가 아니라 고속도로의 안내판입니다.
안내판이 "파리"라고 써 있다고 해서, 그 판에 파리의 모든 정보가 저장된 건 아닙니다.
그 뉴런은 "파리에 가는 길로 가라"고 경로를 안내할 뿐입니다.
실제 지식 (파리에 대한 정보) 은 AI 의 다른 부분 (Attention, 잔여 스트림) 에 흩어져 있고, 이 뉴런들은 그 지식을 끌어와서 올바른 방향으로 보내는 교통 통제관 역할을 합니다.
4. 마지막 층에서만 보이는 마법 (Terminal Crystallization)
이런 정교한 비상 처리 시스템은 AI 의 **마지막 층 (Layer 11)**에서만 발견됩니다.
이유: AI 는 글의 앞부분에서는 정보를 모으고, 중간에서는 추측을 합니다. 하지만 마지막 순간에 "이제 정답을 내야 한다"는 압박을 받습니다. 이때 가장 명확하게 "정상인지 비상인지"를 판단하는 프로그램이 완성됩니다.
더 큰 AI 모델에서도 이 구조는 마지막 층에 있을 것이라고 예측합니다.
💡 요약: 이 논문이 우리에게 주는 교훈
AI 는 완전히 검은 상자가 아니다: 마지막 단계에서는 매우 논리적이고 읽을 수 있는 "프로그램"이 작동하고 있습니다.
지식과 판단은 분리되어 있다: AI 는 지식을 저장하는 곳과, 그 지식을 어떻게 사용할지 판단하는 곳을 명확히 구분합니다.
수정할 때 주의하세요: 만약 AI 의 지식을 고치려고 뉴런을 건드리면, 사실 자체가 바뀌는 게 아니라 **어떤 정보를 어떻게 꺼내 쓸지 결정하는 '경로'**가 바뀔 뿐입니다.
한 줄 평:
"AI 의 마지막 단계는 복잡한 지식 창고가 아니라, 혼란스러운 상황을 정리하고 올바른 길로 안내하는 정교한 교통 통제소였습니다."
논문 개요: GPT-2 Small 의 마지막 MLP 계층 해부
이 논문은 트랜스포머 언어 모델의 MLP(다층 퍼셉트론) 계층이 일반적으로 '불투명한 비선형 변환'으로 간주되어 왔으나, GPT-2 Small 의 최종 계층 (Layer 11) 에서는 **가독성 있는 라우팅 프로그램 (routing program)**이 명확하게 존재함을 규명했습니다. 저자는 3,072 개의 뉴런 중 27 개의 명명된 뉴런이 3 단계의 예외 처리기 (exception handler) 로 조직화되어 있으며, 나머지 약 3,040 개의 뉴런은 분산된 지식 (entangled knowledge) 을 담당한다고 주장합니다.
1. 연구 문제 (Problem)
MLP 의 불투명성: 기존 연구에서 MLP 계층은 키 - 밸류 메모리나 비선형 변환으로 간주되었으나, 특정 뉴런들의 논리적 흐름을 마치 의사코드 (pseudocode) 처럼 읽을 수 있는 완전한 설명은 부재했습니다.
지식 저장 vs 라우팅: "지식 뉴런 (Knowledge Neurons)"이 사실 정보를 저장하는 곳인지, 아니면 정보 처리 경로를 제어하는 인프라인지에 대한 논쟁이 있었습니다.
계층별 차이: 모델의 모든 계층에서 동일한 구조가 발견되는지, 아니면 특정 계층 (예: 최종 계층) 에만 고유한 구조가 존재하는지 불명확했습니다.
2. 방법론 (Methodology)
투명한 순전파 (Transparent Forward Pass): GPT-2 Small(124M 파라미터) 의 가중치를 수정하지 않고, Layer 11 의 MLP 출력을 4 가지 구성 요소로 분해하여 분석했습니다.
각 계층 (Tier) 의 뉴런을 마스크하여 개별적으로 활성화 패턴과 출력 영향을 측정했습니다.
데이터셋: WikiText-103 의 512,000 토큰을 사용했습니다.
뉴런 활성화 정의:
예외 (Exception) 경로: 뉴런 N2123의 활성화가 1.0 을 초과하는 고강도 모드 (토큰의 약 11.3%) 를 '예외 경로 활성화'로 정의했습니다.
합의 (Consensus): 7 개의 합의 뉴런이 활성화된 비율을 기준으로 MLP 의 개입이 유익한지 해로운지를 분석했습니다.
통계적 검증: 부트스트랩 (10,000 회 재표본 추출) 을 사용하여 신뢰구간 (CI) 을 계산하고, Fisher 의 정확한 검정을 통해 뉴런의 기능적 연관성을 검증했습니다.
3. 주요 기여 및 발견 (Key Contributions & Results)
A. 가독성 있는 라우팅 프로그램 (27 개의 명명된 뉴런)
Layer 11 의 MLP 는 3 단계의 예외 처리기로 구성되어 있으며, 이는 의사코드로 표현될 수 있습니다.
코어 (Core, 5 개 뉴런):
N2123을 포함한 5 개의 뉴런이 거의 동시에 활성화됩니다.
기능: 어휘를 기능어 (the, in, and, a 등) 로 리셋하여 일반적인 사전 확률을 설정합니다.
영향: 출력 노름의 54% 를 차지하지만, 제거 시 PPL(Perplexity) 변화는 미미 (+0.2%) 합니다. 이는 'DC 오프셋'과 유사하며, 잔류 스트림 (residual stream) 이 이미 제공하는 정보를 재정의하는 역할을 합니다.
디퍼렌시 에이터 (Differentiators, 10 개 뉴런):
기능: 잘못된 후보를 억제 (suppress) 하고 서브워드 조각을 수정합니다.
영향: 출력 노름의 23% 를 차지하며, 제거 시 PPL 이 크게 악화 (+1.3%) 됩니다. 실제 변별 작업을 수행하는 핵심 계층입니다.
스페셜리스트 (Specialists, 5 개 뉴런):
기능: 문단이나 절의 경계를 감지합니다.
영향: 출력 노름의 4% 를 차지하며, 제거 시 PPL 이 약간 개선 (-0.3%) 됩니다. 예측 불가능한 구조적 경계에서 어휘 추정이 실제 다음 토큰과 충돌할 때 작동합니다.
B. 합의와 교차점 (Consensus and Crossover)
7 개의 합의 뉴런: 7 개의 뉴런이 각각 다른 언어적 차원 (구조적 예측 가능성, 구체적 참조 등) 을 모니터링합니다.
교차점 (Crossover):
4/7 이하: MLP 의 개입이 유익합니다 (확률 증가).
5/7 이상: MLP 의 개입이 해롭습니다 (확률 감소).
통계적 의미: 4/7 과 5/7 사이에서 MLP 의 효과가 정반대로 전환되는 통계적으로 날카로운 지점이 존재합니다.
결론: 모델은 7/7 완전 합의 상태에서도 MLP 처리를 생략할 수 없으며 (아키텍처적 제약), 이는 불필요한 계산 비용을 발생시킵니다.
C. 지식의 위치: 라우팅 인프라 vs 사실 저장
지식 뉴런의 재해석: Dai et al. (2022) 이 '지식 뉴런'으로 지목한 뉴런들은 실제로 사실을 저장하는 창고가 아니라, **라우팅 인프라 (고속도로 표지판)**입니다.
실험 결과:
지식 뉴런을 제거하면 오히려 목표 토큰의 확률이 증가합니다 (저장된 사실을 지우는 것이 아니라, 잘못된 라우팅을 막는 역할).
사실적 지식은 Attention 을 통해 잔류 스트림으로 전달되며, MLP 는 이 신호를 증폭하거나 억제하는 역할만 수행합니다.
결론: ROME 등의 모델 편집 기법은 저장된 사실을 수정하는 것이 아니라, 라우팅 결정을 변경하는 것입니다.
D. 말단 결정화 (Terminal Crystallization)
계층별 차이: 12 개 계층 전체를 조사한 결과, 이러한 명확한 라우팅 구조는 최종 계층 (Layer 11) 에서만 발견되었습니다.
예측: 더 깊은 모델 (GPT-2 Medium/Large) 에서도 유사한 구조는 최종 MLP 계층에 존재할 것이며, 중간 계층 (예: L11) 에서는 나타나지 않을 것입니다.
E. 가드닝 - 패스 (Garden-Path) 실험
결과: GPT-2 는 문법적 재분석 (syntactic reparse) 이 필요한 가드닝 - 패스 문장에서 예상과 달리 동사 하위 범주화 (verb subcategorization) 를 즉시 사용했습니다.
의미: 예외 처리기는 토큰 수준의 예측 불가능성 (vocabulary uncertainty) 에 반응하지만, 구문론적 모호성 (syntactic ambiguity) 에는 반응하지 않습니다.
4. 의의 및 결론 (Significance & Conclusion)
MLP 해석 가능성의 새로운 지평: MLP 계층이 완전히 불투명한 것이 아니라, 최종 계층에서 **가독성 있는 제어 흐름 (27 개 뉴런)**과 **불투명한 지식 데이터베이스 (약 3,040 개 뉴런)**로 분리되어 있음을 증명했습니다.
모델 편집 및 효율성 개선:
모델 편집: "지식"을 수정하려면 가중치를 직접 편집하는 것이 아니라, 라우팅 경로를 변경해야 함을 시사합니다.
효율성: 높은 합의 (5/7 이상) 상태에서는 MLP 처리가 해롭기 때문에, 이 경우 MLP 를 우회 (bypass) 하는 것이 계산 효율성과 예측 정확도 모두를 개선할 수 있습니다.
개발적 관점: 언어 모델의 학습 과정에서 라우팅 논리는 모델의 마지막 단계에서 '결정화 (crystallization)'된다는 것을 보여주었습니다.
요약하자면, 이 논문은 GPT-2 의 마지막 MLP 계층이 단순한 비선형 변환이 아니라, 예외 상황 (예측 불확실성) 을 감지하고 처리 경로를 선택하는 정교한 라우팅 프로그램을 수행하고 있음을 규명했습니다. 이는 언어 모델의 내부 작동 원리를 이해하고, 더 효율적이고 제어 가능한 모델을 설계하는 데 중요한 통찰을 제공합니다.