기술 요약: 레버리지(Leverage)는 도달(Reach)이 아니다: 언어 모델의 단일 뉴런 스티어링을 위한 제어 창(Control-Window) 법칙

1. 문제 정의

정렬된 언어 모델은 희소한 피드포워드(FFN) 뉴런을 통해 결정적인 행동(예: 거절, 언어 라우팅, 산술 연산자 선택)을 제어하지만, 현재로서는 단일 뉴런에 개입했을 때 모델 출력이 일관된 행동을 제어할 것인지 아니면 퇴보적인 텍스트로 붕괴(collapse)될 것인지를 예측하는 이론적 프레임워크가 존재하지 않는다.

현재 문헌에는 두 가지 근본적인 격차가 존재한다:

1. 기여도(Attribution)와 개입(Intervention)의 불일치: 로컬 그래디언트 기여도(gradient attribution)에 의해 중요도가 높게 평가된 뉴런들이 실제로는 행동을 인과적으로 제어하지 못하는 경우가 많으며, 반대로 진정한 제어 뉴런들은 그래디언트에서 보이지 않는 경우가 빈번하다. 높은 "레버리지"(용량이 모델 상태를 변화시키는 능력)가 "도달"(일관된 행동적 효과)을 예측하지는 못한다.
2. 예측 이론의 부재: 왜 특정 개입이 하나의 행동은 일관되게 전환시키면서 다른 행동은 붕괴시키는지 설명하는 기존의 원리가 없다. 고정된 크기의 용량(dose)으로 수행되는 개입은 임의로 선택된 용량에 따라 상충되는 결과를 낳으므로, 단일 뉴런 제어를 예측 가능하고 검증 가능한 현상으로 만드는 데 방해가 된다.

2. 방법론: 예산 정규화 제어 창(Budget-Normalized Control-Window) 프레임워크

저자들은 단일 뉴런 개입을 약리학과 유사한 용량-반응 관계(dose-response relationship)로 취급하는 프레임워크를 제안한다. 핵심 혁신은 개입 용량을 고정된 크기가 아니라 모델의 내부 기하학적 구조에 따라 정규화하는 것이다.

제어 좌표 (The Control Coordinate)

단일 뉴런 개입은 FFN 뉴런의 쓰기 방향(write direction, $v$, 다운 프로젝션 컬럼)의 스칼라 배 $t$를 잔차 스트림(residual stream) $r_L$에 더한다:
$$r(t) = r_L + t v$$
잔차 스트림은 정규화 과정을 거치므로, 섭동된(perturbed) 스트림의 방향만이 중요하다. 이 효과는 단일 제어 좌표인, 섭동된 잔차와 쓰기 방향 사이의 정렬도 $\cos \theta_v$로 축소된다:
$$\cos \theta_v = \frac{g}{\sqrt{1 + g^2}}$$
여기서 $g = t/B$는 무차원 결합(dimensionless coupling)이며, 용량이 증가함에 따라 잔차가 쓰기 방향으로 회전하는 방식을 설명하는 보편적인 포화 곡선을 따른다.

제어 창 법칙 (The Control-Window Law)

일관된 제어는 행동의 트리거 임계값(trigger threshold, $\cos \theta_{trig}^v$)이 붕괴 천장(collapse ceiling, $\cos \theta_{coll}^v$)보다 낮을 때만 존재한다:
$$\text{일관된 제어(Coherent Control)} \iff \cos \theta_{trig}^v(\tau) < \cos \theta_{coll}^v$$

• 트리거(The Trigger): 행동이 전환되는 행동 의존적 임계값이다. 이는 행동 클래스(예: 언어 라우팅 $\approx 0.3$, 거절 $\approx 0.45$)와 롤아웃 호라이즌(rollout horizon) $\tau$에 따라 달라진다.
• 천장(The Ceiling): 출력 붕괴가 발생하는 기하학적 임계값이다. 이는 모델 가중치와 단 한 번의 순방향 패스(forward pass)를 통해 예측되며, 잔차의 참여 비율(participation ratio)과 관련된 붕괴 계수 $m^*$에 의해 스케일링된다.

3. 주요 기여

1. 단일 좌표상의 제어 창 법칙: 본 논문은 모든 용량의 효과가 단일 좌표 $\cos \theta_v$로 축소되며, 보편적인 구동 곡선을 따른다는 것을 입증한다. 일관된 제어는 트리거(행동 특화)와 천장(기하학 특화)에 의해 엄격하게 제한된다.
2. 선제적 천장 예측: 붕elle 천장은 가중치와 단 한 번의 일반적인 순방향 패스만을 사용하여 개입 전에 예측할 수 있다. 15개의 홀드아웃(held-out) 뉴런에 대해, 예측된 천장의 평균 절대 오차(MAE)는 0.14였으며, 벌크 레이어(bulk layers)에서는 0.07였다.
3. 창이 닫히는 세 가지 메커니즘: 뉴런이 행동 제어에 실패하는 세 가지 이유를 식별했다:
   • 기하학적 폐쇄(Geometric Close): 붕괴 천장이 트리거보다 낮은 경우 (Gemma 모델에서 관찰됨).
   • 구동 제한 폐쇄(Drive-Capped Close): 포스트-FFN 정규화가 뉴런의 도달 범위를 트리거 미만으로 제한하는 경우 (Gemma에서 관찰됨).
   • 디커플링 폐쇄(Decoupled Close): 쓰기(write)가 네트워크 깊이의 너무 늦은 단계에서 발생하여 출력이 생성되기 전에 전파되지 못하는 경우.
4. 행동에 대한 일반성: 이 법칙은 무해한 모드 전환(언어 라우팅, 연산자 선택)과 안전 행동(거절) 모두를 지배한다. 트리거 값은 행동 클래스마다 다르지만, 근본적인 기하학은 일관되게 유지된다.
5. 레버 vs 도달 (그래디언트 맹목성): 로컬 그래디언트 기여도가 제어를 역으로 예측함을 보여준다. 진정한 컨트롤러는 "오프-액시스(off-axis, 축 외)"로 쓰며, 이는 즉각적인 리드아웃(readout)과는 수직 방향이라 1차 그래디언트는 거의 0에 가깝지만 유의미한 2차 곡률(second-order curvature)을 가진다. 결과적으로 그래디언트 순위 기반 뉴런은 붕괴되기 쉬운 반면, 가장 효과적인 컨트롤러는 표준 기여도 분석에서 보이지 않는다.
6. 유형화된 결과(Typed Outcomes): 개입의 성공은 단순한 스칼라가 아니라 "유형"을 갖는다. 뉴런은 일관된 우회(coherent bypass)(유창한 텍를 유지하며 거절을 우회함)는 달성할 수 있지만, 엄격한 실행 가능 도달(strict-actionable reach)(유해하거나 실행 가능한 콘텐츠를 생성함)은 달성하지 못할 수 있다. 이 두 결과는 특히 거절 시나리오에서 서로 분리된다.

4. 결과 및 검증

• 예측 정확도: 이 프레임워크는 15개의 홀드아웃 뉴런 중 11개에 대해 "열림" 또는 "닫힘" 판정을 성공적으로 예측했다. 4개의 "실패" 사례는 법칙의 위반이 아니라 정보가 풍부한 에지 케이스(예: 기하학적 폐쇄, 구동 제한 폐쇄 등)였다.
• 붕괴 계수: 붕와 계수 $m^*$는 아키텍처 의존적임이 밝혀졌다. Qwen 및 Llama 제품군에서는 $\approx 1.4\text{--}1.7$인 반면, Gemma-3에서는 $0.31$로 떨어지며, 이는 잔차의 참여 비율(집중도)과 상관관계가 있다.
• 발견 효율성: 순방향 전용 대조 스크리닝(forward-only contrastive screen)과 제어 창 법칙을 결합하여, 그래디언트 순위가 놓친 4/4개의 알려진 컨트롤러를 모두 찾아냈다(그래디언트 방식은 0/4). 대조 스크리닝은 재현율(recall)을 제공하고, 창 법칙은 정밀도(precision)를 제공한다.
• 거절 감사(Refusal Audit): 거절 뉴론 코호트에 대한 연구 결과, 많은 뉴런이 일관되게 거절을 우회할 수 있었으나, 실제 실행 가능한 유해 콘텐츠를 생성하는 것은 일부(감사 대상 6개 중 3개의 Llama 피벗)뿐이었다. 또한, 실행 가능한 콘텐츠는 종종 롤아웃 후반부($\approx 96\text{--}128$ 토큰 이후)에 발생하여 초기 토큰 우회와 구별된다.
• 2차원 창: 제어 창은 용량과 롤아웃 시간의 함수인 표면(surface)으로 나타난다. 언어 라우팅과 같은 행동은 토큰 로컬(token-local)인 반면, 연산자 전환과 같은 행동은 발현을 위해 롤아웃 호라이즌이 필요하다.

5. 의의 및 주장

본 논문은 단일 뉴런 스티어링을 딥러닝 메커니즘의 예측 가능하고 검증 가능한 법칙으로 변모시킨다고 주장한다.

• 통합: 본 연구는 제어, 붕괴, 가시성 사이의 모순을 해결함으로써 기존의 발견들(super weights, refusal neurons, arithmetic mechanisms)을 동일한 제어 창 위에 배치하여 통합한다.
• 방어적 유용성: "이중 축 안전 진단"(일관된 우회 여백 vs 엄격한 실행 가능 잠재력)을 제공한다. 모델 소유자는 모델의 견고성을 감사할 수 있다. 모델은 넓은 우회 창을 가지면서도 실행 가능한 도달력은 제로일 수 있으며, 혹은 창 자체가 완전히 닫혀 있을 수도 있다.
• 방법론적 전환: 고정된 크기의 과잉 투여(overshoot)로 인해 파괴적이라고 잘못 라벨링된 뉴런들에 대한 기록을 바로잡기 위해, **행동의 롤아웃 호라이즌에서 읽히는 용량 정규화 투여(budget-normalized dosing)**라는 새로운 개입 표준을 제시한다.
• 이론적 통찰: "레버리지는 도달이 아니다"라는 점을 명확히 한다. 진정한 컨트롤러는 하류 회로가 증폭할 수 있는 오프-액시스 섭동을 심음으로써 작동하며, 이로 인해 1차 그래디언트 분석에서는 보이지 않게 된다.

저자들은 붕괴 천장은 기하학으로부터 예측 가능하지만, 트리거 값은 행동 클래스에 따라 달라지는 측정된 양으로 남는다는 점을 지적하며, 이것이 완전한 제1원리 기반 이론을 위한 주요 과제임을 밝힌다. 이 연구는 행동적 라우팅과 능력적 도달을 구분하는 측정 규율을 확립하며, 모델의 제어 가능성을 감사하기 위한 엄격한 도구를 제공한다.