Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

기술적 요약: 계획은 어디에 있는가? 경량 기계적 개입을 통한 언어 모델의 잠재적 계획 위치 파악

문제 제기
자기회귀 언어 모델은 토큰 단위로 텍스트를 생성하지만, 종종 운율 구절과 같은 장거리 구조적 일관성이 필요한 출력을 생성합니다. 이는 **잠재적 계획 (latent planning)**에 관한 근본적인 질문을 제기합니다: 외부 행동 평가에는 보이지 않는 과정일지라도, 모델이 생성을 인과적으로 주도하는 미래 출력에 대한 내부 표현을 형성할까요? 이전 연구는 일부 모델에 계획과 호환되는 정보가 존재함을 입증했으나, 순전파 (forward pass) 중 이 정보가 정확히 어디에 위치하며 이동하는지 (저자들이 계획 사이트 형성이라고 명명한 현상) 는 여전히 불분명합니다. 또한, 단순히 인코딩된 (수동적인) 정보와 인과적으로 사용된 (능동적인) 정보를 구분하는 것은 정확한 기계적 이해와 안전성 평가에 필수적입니다.

방법론
저자들은 운율 구절 완성이라는 정교한 테스트 사례를 활용합니다. 운율 단어 $r_1$로 끝나는 첫 번째 줄이 주어졌을 때, 모델은 $r_2$로 끝나는 두 번째 줄을 생성해야 합니다. 본 연구는 다양한 규모 (최대 700 억 파라미터) 의 세 가지 오픈소스 모델 계열 (Qwen3, Gemma-3, Llama-3) 에 걸쳐 두 가지 경량 기계적 개입 방법을 적용합니다:

1. 선형 프로빙 (인코딩 증거): 다양한 층 $\ell$과 위치 $i$의 숨겨진 상태 $h_{\ell,i}$로부터 미래 운율 토큰 $r_2$를 예측하도록 선형 분류기를 훈련시킵니다. 이를 통해 계획과 호환되는 정보가 특정 위치 (예: 마지막 단어 토큰 대 개행 토큰) 에서 복호화 가능한지를 판단합니다.
2. 활성화 패칭 (인과적 증거): 다른 운율 계열을 대상으로 한 '부정 (corrupt)' 실행의 특정 위치와 층의 숨겨진 상태를 '정제 (clean)' 실행에 대체합니다. 만약 이 개입이 생성을 부정적인 운율 쪽으로 전환시킨다면, 해당 위치를 인과적으로 능동적인 계획 사이트로 식별합니다.

본 연구는 인과적 영향의 이동을 추적하기 위해 마지막 단어 토큰 (위치 $i \approx -1$ 또는 $-2$) 과 **개행 토큰** (위치$i = 0$) 을 구체적으로 비교합니다.

주요 결과

• 인코딩과 인과성의 분리:

  • 프로빙: 세 가지 모델 계열 모두에서 선형 프로브가 개행 토큰에서 미래 운율 정보를 성공적으로 복호화합니다. 이 신호의 강도는 일반적으로 모델 규모가 커질수록 증가하여, 계획과 호환되는 표현이 더 큰 모델의 발현적 속성임을 시사합니다.
  • 활성화 패칭: 강력한 프로브 신호에도 불구하고, Gemma-3-27B 모델에서만 개행 토큰에 인과적으로 능동적인 계획 사이트가 관찰됩니다. 이 모델에서 생성의 인과적 동인은 약 30 층 부근에서 마지막 단어 토큰에서 개행 토큰으로 이동합니다.
  • 다른 모델들: Qwen3 (최대 320 억) 과 Llama-3 (최대 700 억) 은 생성 전반에 걸쳐 마지막 단어 토큰에 조건을 둡니다. 프로브를 통해 개행 토큰에서 운율 정보가 인코딩되고 있음이 드러났음에도 불구하고, 이러한 모델에서 개행 토큰을 패칭하는 것은 출력에 거의 인과적 영향을 미치지 않습니다.

• 이양 (Handoff) 의 국소화 (Gemma-3-27B):

  • 마지막 단어에서 개행으로의 인과적 영향의 '이양'은 28 층과 30 층의 희소 집합인 다섯 개의 어텐션 헤드에 의해 매개됩니다.
  • **2 단계 경로 패칭 (two-stage path patching)**을 사용하여 저자들은 이 다섯 개의 특정 헤드를 동시에 패칭함으로써 개행에서 전체 잔여 스트림을 덮어쓰는 것으로 일반적으로 달성되는 운율 라우팅 용량의 약 **90%**를 회복할 수 있음을 입증했습니다.
  • 이 메커니즘은 어텐션에 특화되어 있으며, 해당 MLP 를 패칭할 경우 효과는 없습니다.

주요 기여

1. 계획 사이트 형성의 정의: 본 논문은 프로빙을 통해 탐지 가능한 계획과 호환되는 표현과 개입을 통해 확립된 인과적으로 능동적인 계획 사이트 사이의 구분을 공식화하여, 전자가 후자를 보장하지 않음을 강조합니다.
2. 확장 가능한 기계적 프레임워크: 저자들은 트랜스코더 훈련이 필요 없고 스티어링 벡터 접근법보다 훨씬 적은 데이터를 요구하는 선형 프로빙과 활성화 패칭을 활용한 프레임워크를 제안하여, 대규모 오픈소스 아키텍처에 적용 가능하게 합니다.
3. 이질의 경험적 발견: 본 연구는 서로 다른 모델 아키텍처 (동일한 규모 범위 내에서도) 가 구조적 제약을 근본적으로 다른 메커니즘으로 해결함을 밝힙니다: 일부는 정적 '마지막 단어' 조건에 의존하는 반면, 다른 일부 (Gemma-3-27B 등) 는 개행으로의 동적 '이양'을 구현합니다.
4. 희소 회로 식별: 본 연구는 Gemma-3-27B 의 복잡한 계획 행동을 특정 소수의 어텐션 헤드로 국소화하는 데 성공하여, 이러한 발현적 현상이 확산된 것이 아니라 구조화될 수 있음을 입증했습니다.

의의 및 주장
본 논문은 프로브 신호만으로는 계획 사이트의 충분한 증거가 되지 않는다고 주장합니다. 수동적 인코딩과 능동적 인과적 사용을 구분하지 못한다면, 표준 행동 평가나 단순한 프로빙은 모델의 계획 능력을 체계적으로 과소평가하거나 오인할 수 있습니다.

저자들은 계획 사이트 형성이 강력한 계획과 호환되는 표현의 보편적 결과가 아니라, 특정 모델 규모와 아키텍처에 tied 된 구별된 발현적 현상이라고 주장합니다. 희소하고 인과적인 회로 (다섯 개의 어텐션 헤드) 를 식별한 것은 잠재적 계획이 고도로 구조화된 계산 과정일 수 있음을 시사합니다.

본 연구는 modest 한 한계로 결론을 맺습니다: 현재 발견은 세 가지 모델 계열과 단일 구조화 작업 (운율) 으로 제한됩니다. 저자들은 이 '이양' 메커니즘이 일반적인 계획 원시적 요소인지 아니면 음운론적 제약에 특정한 것인지, 그리고 Qwen 과 Llama 모델에서 이 이양이 부재한 이유가 아키텍처 차이 때문인지 훈련 데이터 때문인지는 여전히 열린 질문이라고 지적합니다.