기술 요약: 신경망을 위한 기계론적 해석 가능성 (Mechanistic Interpretability)

문제 정의

현대의 트랜스포머 기반 대규모 언어 모델(LLM)과 비전 트랜스포머(ViT)는 복잡한 "블랙박스"로서 기능한다. 살리언시 맵(saliency maps), LIME, SHAP과 같은 전통적인 설명 가능한 AI(XAI) 방법들은 입력과 출력 사이의 표면적인 상관관계를 제공할 뿐, 모델 행동의 근간이 되는 내부 알고리즘을 역공학하는 데는 실패한다. 이러한 불투명성은 의료, 법률, 자율 주행과 같이 안전성, 감사 가능성, 신뢰가 필수적인 고위험 영역에서 심각한 위험을 초래한다.

이러한 모델을 이해하는 데 있어 핵심적인 장애물은 **중첩(superposition)**과 **다의성(polysemanticity)**이다. 신경망은 방대한 수의 특징($M$)을 제한된 수의 차원($D$, 여기서 $M \gg D$)으로 압축한다. 결과적으로 개별 뉴런은 단일하고 잘 정의된 특징(단의성, monosemanticity)이 아니라, 서로 관련 없는 개념들이 혼합된 반응(다의성)을 보인다. 고차원 공간에 분산된 이러한 의미 구조는 전통적인 뉴런 수준의 분석을 오도하게 만든다. 또한, 어텐션 시각화는 정보가 어디로 전달되는지는 보여주지만, 무엇이 표현되는지 또는 그것이 출력에 인과적으로 필요한지 여부는 항상 설명해주지 않는다.

본 논문은 모델의 행동을 인간이 해석 가능한 알고리즘, 의사코드(pseudocode), 기능적 구성 요소로 역공학하는 데 전념하는 분야인 **기계론적 해석 가능성(Mechanistic Interpretability, MI)**에 대한 범위 검토(scoping review)를 제시한다. 본 연구의 방법론은 개별 연구의 품질에 대한 의무적인 비판적 평가 없이 MI 도구와 개념의 지형을 매핑하는 PRISMA-ScR 가이드라인을 따른다.

본 검토는 세 가지 주요 방법론적 기둥에 집중한다:

1. 회로 분석 (Circuit Analysis): 어텐션 헤드, MLP 레이어, 잔차 스트림(residual streams)으로 구성된 인과적 서브 네트워크(회로)로 모델을 분해한다.
2. 특징 분리 (Feature Disentanglement): 희소 오토인코더(Sparse Autoencoders, SAEs)와 트랜스코더(transcoders)를 사용하여 다의적인 활성화 값을 단의적인 특징들로 분리한다.
3. 개입 및 뉴로심볼릭 통합 (Intervention and Neurosymbolic Integration): 스티어링 벡터(steering vectors)를 통해 모델 행동을 수정하고, 신경 표현을 명시적인 논리 규칙으로 변환한다.

본 검토는 2018년부터 2026년까지의 연구를 우선적으로 다루며, 특히 트랜스포머 아키텍처(LLM, ViT, VLA)와 자동 회로 발견(ACDC), 활성화 패칭(Activation Patching), 선형 인공 토모그래피(Linear Artificial Tomography, LAT)와 같은 방법론에 중점을 둔다.

주요 기여 및 기술적 발견

1. 트랜스포머 회로 분석

본 논문은 트랜스포머 모델이 잔차 스트림(중앙 통신 채널)과 어텐션 메커니즘을 분석함으로써 어떻게 역공학될 수 있는지 상세히 설명한다.

• 회로 분해: 본 검토는 유사한 데이터로 학습된 유사한 모델은 유사한 내부 회로를 발달시킨다는 **보편성 가설(Universality Hypothesis)**을 강조한다. 이를 통해 재사용 가능한 계산 경로를 식별할 수 있다.
• 유도 헤드 (Induction Heads): 인컨텍스트 학습(in-context learning)을 담당하는 유도 헤드의 식별은 중요한 발견이다. 이 헤드들은 (A) 이전 토큰에 주목하고, (B) 패턴을 찾기 위해 쿼리-키(query-key)를 매칭하며, (C) 후속 토큰을 복사하는 3단계 서브 회로를 통해 작동한다. 이 메커니즘은 급격한 상전이를 통해 나타나며 가산적(additive)이다. 즉, 네트워크는 강력한 헤드가 제거되었을 때 약한 헤드가 보완할 수 있는 거대한 중복성을 가진다.
• 간접 목적어 식별 (IOI): IOI 작업은 회로 분석의 벤치마크 역할을 한다. GPT-2 Small의 경우, 이 작업은 특정 26개 어텐션 헤드(중복 토큰 헤드, S-억제 헤드, 이름 이동 헤드)로 구성된 회로에 의해 해결된다. 본 논문은 이러한 회로 구조가 비 트랜스포머 아키텍처(예: Mamba)에서는 다르게 나타난다는 점을 언급하며, 해석 도구가 아키텍처를 인식해야 함을 입증한다.
• 자동 발견: 수동 분석의 시간 소모 문제를 해결하기 위해, 본 논문은 계산 그래프에서 무관한 엣지를 제거하기 위해 활성화 패칭을 사용하는 **자동 회로 발견(ACDC)**을 검토한다. 엣지 속성 패칭(EAP) 및 ALTI와 같은 더 확장 가능한 방법들은 단 한 번의 순전파/역전파 과정에서 그래디언트 선형화를 사용하여 연결의 중요도를 속성하며, 인공적인 대조 템플릿의 필요성을 제거한다.

2. 중첩 및 희소 오토인코더 (SAEs)

다의성 문제를 해결하기 위해 본 논문은 **희소 오토인코더(SAEs)**에 집중한다.

• 메커니즘: SAE는 고정된 베이스 모델의 활성화 값을 학습하여, 밀집되고 다의적인 벡터를 넓고 과완전한(overcomplete) 희소 단의적 특징 사전(dictionary)으로 분해한다.
• 아키텍처: 본 검토는 "수축 효과(shrinkage effect)"와 죽은 잠재 특징(dead latent features) 문제를 완화하는 Gated SAEs, TopK SAEs, JumpReLU SAEs와 같은 고급 변형 모델과 표준 SAE를 비교한다.
• 스케일링 법칙: 재구성 오차는 잠재 특징의 수에 따라 거듭제곱 함수로 감소하며, 이는 프런티어 모델을 완전히 분리하기 위해서는 수천만 개의 특징을 가진 사전이 필요할 수 있음을 시사한다.
• 트랜스코더 (Transcoders): SAE가 정적인 활성화를 재구성하는 반면, 트랜스코더(및 교차 레이어 트랜스코더)는 전체 MLP 레이어나 다층 변환의 입출력 동작을 모방하도록 학습된다. 이를 통해 연구자들은 정보가 단순히 무엇인지뿐만 아니라 어떻게 변환되는지를 추적할 수 있다.
• 다국어 처리: 교차 레이어 트랜스코더를 사용하여, 본 논문은 다국어 모델이 텍ext를 세 단계로 처리함을 밝혀낸다: 언어별 인코딩, 공유된 언어 중립적 의미 공간(중간 레이어), 그리고 언어별 디코딩. 이 공유 공간은 단순한 영어 중심 학습 데이터의 부산물이 아니라 아키텍처적 특성이다.

3. 스티어링 벡터 및 활성화 개입

본 논문은 인과적 개입 방법으로서 **스티어링 벡터(steering vectors)**를 탐구한다.

• 선형 표현 가설 (LRH): 이 가설은 고차원 개념(예: 진실성, 감성)이 활성화 공간 내의 선형 방향으로 인코딩된다고 제안한다.
• 추출 방법: 단순한 활성화 차이(ActAdd)부터 강력한 대조 방법(CAA) 및 **선형 인공 토모그래피(LAT)**에 이르는 기술들을 다룬다.
• SAE 기반 스티어링: SAE를 사용하여 특정 특징을 격리함으로써, 연구자들은 특정 특징의 활성화를 고정하거나 증폭하는 **특징 클램핑(feature clamping)**을 수행하여 모델 행동을 인과적으로 변화시킬 수 있다. 예를 들어, "절박함" 벡터를 증폭하면 유해한 전략을 유도할 수 있고, "내적 갈등" 벡터를 증폭하면 모델이 숨겨진 정보를 드러내도록 강제할 수 있다.
• 동적 제어: **동적 희소 프롬프트 조건부 활성화 스티어링(DSPA)**과 같은 방법은 초기 레이어에서 프롬프트를 분석하고 후기 레이어에서 제어 특징을 활성화함으로써 문맥에 민감한 스티어링을 가능하게 한다.

4. 뉴로심볼릭 프레임워크

본 논문은 MI를 신경망으로부터 명시적인 논리 규칙을 추출하는 것을 목표로 하는 **뉴로심볼릭 AI (NeSy)**와 연결한다.

• 규칙 추출: NeSyFOLD(CNN용) 및 NeSyViT(Vision Transformer용)와 같은 프레임워크는 모델 활성화로부터 계층화된 논리 규칙(Answer Set Programs)을 추출한다. 이 규칙들은 예외 사항("펭귄의 경우 제외")을 포함한 기본 논리(default logic, 예: "새는 난다")를 사용하여 결정 경계를 근사한다.
• 통합: 순수 추출과 달리, Logic-LM 및 LLM-Modulo와 같은 프레임 프레임워크는 LLM을 외부 심볼릭 솔버와 통합한다. LLM은 자연어를 형식 논리로 번역하고, 이는 결정론적 솔버에 의해 해결되어 순수 신경 추론이 결여한 정확성 보장을 제공한다.

결과 및 의의에 대한 주장

본 논문은 기계론적 해석 가능성이 표면적인 상관관계를 넘어 신경망 행동에 대한 인과적, 알고리즘적 설명을 식별하는 데 성공했다고 주장한다.

• 구조의 검증: 이 분야는 복잡한 행동(예: 인컨텍스트 학습, 간접 목적어 식별)이 임의적인 것이 아니라 구조화되고 식별 가능한 회로에 의해 구현된다는 것을 입증했다.
• 인과적 제어: 특정 특징(예: "위험한 코드" 특징 억제 또는 "진실성" 증폭)을 통해 모델을 조종할 수 있는 능력은 내부 표현이 출력 행동과 인과적으로 연결되어 있다는 경험적 증거를 제공한다.
• 안전성 함의: 본 논문은 내부 메커니즘을 이해하는 것이 AI 안전을 위해 필수적이라고 주장한다. 기존의 정렬(Alignment, 예: RLHF)은 표면적인 부적절한 행동을 가릴 뿐일 수 있지만, 기계론적 해석 가능성은 근저에 깔린 추론 전략을 탐지하고 수정할 수 있다.
• 한계점: 저자들은 대부분의 상세한 회로 분석이 현재 작은 모델이나 합성 작업(synthetic tasks)에 국한되어 있다는 점을 겸허히 인정한다. GPT-2 Small을 설명하는 것과 프런티어 규모 시스템의 추론이나 기만을 설명하는 것 사이에는 상당한 격차가 존재한다. 또한, SAE가 해석 가능성을 개선하지만, 개념을 파편화하거나 트랜스코더 없이는 동적인 변환을 포착하지 못할 수 있으므로 완전한 해결책은 아니다.

결론

본 논문은 기계론적 해석 가능성이 AI의 안전성과 감사 가능성을 보장하기 위한 필수적인 진화라고 결론짓는다. 이 분야는 특정 회로와 특징을 역공학하는 데 상당한 진전을 이루었으나, 핵심적인 미결 과제는 이러한 기술이 범용 프런티어 모델의 복잡성으로 확장될 수 있는지 여부이다. 향후 연구는 확장 가능한 자동 발견, 더 나은 평가 벤치마크 개발, 그리고 "설계 단계부터 해석 가능한(interpretable by design)" 모델 개발에 집중해야 한다.