[기술 요약] Patches of Nonlinearity: 대규모 언어 모델의 지시 벡터(Instruction Vectors) 연구

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)의 핵심 기술인 **지시 미세 조정(Instruction Tuning)**이 모델의 성능을 비약적으로 향상시켰음에도 불구하고, 모델 내부에서 지시 사항(Instruction)이 구체적으로 어떻게 표현되고 처리되는지에 대한 메커니즘적 이해는 매우 부족한 상태입니다.

기존 연구들은 모델이 태스크 정보를 압축하여 표현한다는 점(Function Vectors)이나, 특정 방향으로 활성화 값을 조정하여 지시 이행 능력을 높일 수 있다는 점(Steering Vectors)을 밝혀냈으나, 다음과 같은 근본적인 질문에는 답하지 못했습니다:

• 모델은 지시 사항을 언제(Just-in-time vs. Eagerly) 처리하는가?
• 지시 사항의 내부 표현은 어떤 기하학적/인과적 특성을 갖는가?
• 기존의 **선형 표현 가설(Linear Representation Hypothesis)**이 지시 사항 처리 과정에도 유효한가?

2. 연구 방법론 (Methodology)

본 연구는 OLMo-2(1B 및 7B 모델)를 대상으로 SFT(Supervised Fine-Tuning)와 DPO(Direct Preference Optimization) 단계를 거친 모델들을 비교 분석하였습니다.

• 인과적 매개 분석 (Causal Mediation Analysis): 'Activation Patching' 기법을 사용하여 특정 레이어의 지시 사항 표현($T_{inst}$)이 최종 출력 토큰의 예측에 미치는 인과적 영향을 측정했습니다. 특히 단일 레이어 패칭과 두 개 이상의 레이어를 동시에 패칭하는 다중 레이어 패칭을 비교했습니다.
• 국소 선형 사상 (Locally-linear Surrogate Maps): 기존의 인과적 발견 방법론(Circuit Discovery)은 구성 요소 간의 관계를 선형적/가산적(Additive)으로 가정하는 한계가 있습니다. 이를 극복하기 위해, 트랜스포머를 토큰 간의 국소 선형 사상들의 집합으로 모델링하여 비선형적 상호작용을 포착할 수 있는 새로운 경로 추적(Path-tracing) 방법을 제안했습니다.
• 기하학적 분석 (Geometric Analysis): LDA(Linear Discriminant Analysis)와 선형 프로브(Linear Probe)를 사용하여 지시 사항 표현이 태스크별로 어떻게 클러스터링되는지 확인했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

① 지시 벡터(Instruction Vectors, IVs)의 발견 및 국소화

• 모델은 지시 사항을 처리한 직후, 마지막 지시 토큰($T_{inst}$) 위치에 태스크 정보를 담은 **국소화된 신경 요약본(Localized Neural Digests)**을 생성합니다. 이는 모델이 쿼리를 처리하기 전에 미리 지시 사항을 처리하는 'Eager Computation' 방식을 취함을 의미합니다.

② 비선형적 상호작용: 초가산성(Superadditivity) 발견

• 본 논문의 가장 중요한 발견 중 하나는 지시 벡터가 **초가산적(Superadditive)**이라는 점입니다. 즉, 두 레이어의 인과적 영향력의 합보다, 두 레이어를 동시에 패칭했을 때의 영향력이 훨씬 큽니다($f(x_i \cup x_j) \geq f(x_i) + f(x_j)$).
• 이는 지시 사항 처리가 단순한 선형 결합이 아닌 비선형적 상호작용을 통해 이루어짐을 시사하며, 기존의 선형적 인과 모델(DAG 기반 모델)의 한계를 지적합니다.

③ 지시 벡터의 역할: 회로 선택기 (Circuit Selectors)

• 제안된 경로 추적 방법을 통해 분석한 결과, 지시 벡터는 단순히 정보를 전달하는 것이 아니라, 이후 레이어에서 쿼리를 처리할 때 어떤 연산 경로(Circuit)를 사용할지 결정하는 '회로 선택기' 역할을 수행합니다.
• 초기 레이어에서는 태스크와 무관한 공통 회로를 사용하지만, 지시 벡터가 형성된 이후의 후기 레이어에서는 지시 벡터에 의해 조건화된(Conditioned) 태스크별 특화 회로가 선택됩니다.

④ 기하학적 특성

• 지시 벡터는 고차원 공간에서 태스크별로 잘 정의된 클러스터를 형성하며, 선형 프로브를 통해 매우 높은 정확도로 태스크를 구분할 수 있습니다.

4. 연구의 의의 (Significance)

1. 해석 가능성(Interpretability) 연구의 패러다임 전환: "하나의 구성 요소가 하나의 인과적 역할을 한다"는 기존의 단순화된 가설에 의문을 제기합니다. 변수 간의 시너지 효과(Synergy)가 존재하므로, 단일 구성 요소의 기여도만 측정하는 방식은 실제 영향력을 과소평가할 수 있음을 경고합니다.
2. 모델 정렬(Alignment) 및 안전성: 지시 사항이 모델 내부에서 어떻게 병목(Bottleneck)을 형성하고 처리되는지 이해함으로써, 적대적 공격(Adversarial Perturbations)에 대한 모델의 강건성을 높이는 연구의 토대를 마련했습니다.
3. 새로운 분석 도구 제안: 비선형적 상호작용을 고려하면서도 계산 가능한 새로운 정보 흐름 분석 방법론을 제시하여, 향후 더 복잡한 모델의 내부 메커니즘을 규명하는 데 기여할 수 있습니다.