논문 요약: Prolepsis 의 최소 아키텍처: 소형 트랜스포머의 작업 간 조기 불가역적 의사결정

이 논문은 트랜스포머 모델이 언제 결정을 내리고, 그 결정을 수정하는 것이 왜 불가능한지에 대한 메커니즘을 규명합니다. 저자는 Prolepsis(전조, anticipations) 라는 새로운 구조적 모티프를 제안하며, 이는 모델이 초기 레이어에서 결정을 내린 후, 주어진 작업에 특화된 어텐션 헤드를 통해 그 결정을 출력까지 수정 없이 전달하는 현상을 의미합니다.

1. 연구 배경 및 문제 제기

• 기존 연구의 한계: Lindsey et al. (2025) 은 독점 모델 (Claude 3.5 Haiku) 에서 시를 쓸 때, 모델이 실제 단어를 생성하기 전에 줄바꿈 토큰 위치에서 운율 (rhyme) 을 미리 결정하는 '계획 사이트 (planning site)'를 발견했습니다. 그러나 이 연구는 독점 모델과 도구를 사용했으므로 외부 연구자가 검증할 수 없었습니다.
• 핵심 질문: 오픈 소스 모델에서도 이러한 '계획 사이트'가 존재하는가? 그리고 모델이 결정을 내린 후 이를 수정하지 않는 (irrevocable) 메커니즘은 무엇인가?
• 주요 가설: 계획 (planning) 과 사실적 회상 (factual recall) 은 서로 다른 계산 하위 구조 (computational substrates) 를 가지며, 계획은 희소 특징 (sparse features) 과 어텐션 라우팅을 통해 이루어진다.

2. 방법론 (Methodology)

• 모델 및 도구:
  • 모델: Gemma 2 2B (26 레이어), Llama 3.2 1B (16 레이어).
  • CLT (Cross-Layer Transcoders): 모델의 잔여 스트림 (residual stream) 을 해석 가능한 단의적 특징 (monosemantic features) 으로 분해하는 희소 사전 학습 도구. 기존에 공개된 CLT 를 사용하여 실험을 수행했습니다.
  • 하드웨어: 단일 소비자용 GPU (16GB VRAM) 에서 모든 실험을 재현 가능하게 수행했습니다.
• 실험 설계:
  • 작업 1 (운율 계획): 운율 끝단 (rhyme ending) 을 미리 정하고 다음 줄을 완성하는 시 생성 작업.
  • 작업 2 (사실적 회상): CounterFact 데이터셋을 사용하여 사실 관계를 변경하는 작업.
  • 기법:
    • Suppress + Inject: 특정 CLT 특징을 억제 (suppress) 하고 대안 특징을 주입 (inject) 하여 모델의 출력을 조작.
    • 위치 스윕 (Position Sweep): 주입 위치를 모든 토큰 위치에서 변경하며 결정이 언제 이루어지는지 파악.
    • 레이어 억제 (Layer Suppression): 특정 레이어를 건너뛰어 계획 회로의 최소 깊이를 확인.
    • 어텐션 라우팅 분석: 의사결정이 출력까지 전달되는 경로를 추적.

3. 주요 발견 및 결과 (Key Findings)

Q1: CLT 없이 계획을 관찰할 수 있는가?

• 결과: 불가능합니다.
• 이유: 기존 6 가지 표준 해석 기법 (최대 활성화 프로브, 대비적 스티어링 벡터 등) 은 모두 실패했습니다. 사실적 회상은 잔여 스트림의 방향성으로 인코딩되지만, 계획은 희소 CLT 특징으로 인코딩되어 있어 기존 방법으로는 보이지 않습니다. CLT 는 계획 회로를 관찰하는 유일한 렌즈입니다.

Q2: 계획 사이트 (Planning Site) 국소화가 재현되는가?

• 결과: 예, 재현됩니다.
• 세부 사항: Gemma 와 Llama 모두에서 운율 결정이 생성 직전 마지막 토큰 위치 (계획 사이트) 에서 극적으로 증가하는 '스파이크' 패턴을 보였습니다. 이는 Anthropic 의 연구 결과와 기하학적으로 동일한 구조를 가집니다.

Q3: 결정이 출력으로 전달되는 방식은?

• 결과: 특정 어텐션 라우팅 헤드를 통해 전달됩니다.
• 메커니즘: 'Suppress + Inject' 작업 시, L21:H5(Gemma 기준) 와 같은 특정 어텐션 헤드가 계획 사이트에서 출력 위치로 주의를 집중하거나 이탈시킴으로써 결정을 전달합니다.
• 중요성: 기존 인과성 그래프 (attribution graphs) 에서는 보이지 않았던 이 라우팅 경로를 발견하여, 결정이 어떻게 유지되는지 설명했습니다.

Q4: 최소 아키텍처 (깊이) 는 무엇인가?

• 결과: 검색 (Search) 은 ≤16 레이어, 결정 (Commitment) 은 >16 레이어가 필요합니다.
• 비교:
  • Llama 3.2 1B (16 레이어): 운율 단어를 중간 레이어에서 생성하지만, 이후 레이어에서 신호가 소멸하여 일관된 운율을 생성하지 못합니다 (검색만 가능).
  • Gemma 2 2B (26 레이어): 결정이 초기에 이루어진 후, 후기 레이어까지 유지되어 일관된 출력을 생성합니다 (결정 가능).
  • 결론: 파라미터 수가 아닌 레이어 깊이가 의사결정 유지 (commitment) 의 핵심 요인입니다.

Q5: 이 현상은 계획에만 국한되는가?

• 결과: 아닙니다. Prolepsis 는 구조적 모티프입니다.
• 사실적 회상: 사실적 회상에서도 초기에 결정이 내려지고 수정되지 않는 'Prolepsis' 패턴이 관찰되지만, 라우팅 헤드의 깊이가 다릅니다.
  • 계획: 중간 레이어 (약 46% 깊이) 의 헤드가 사용됨.
  • 사실적 회상: 후기 레이어 (약 80% 깊이) 의 헤드가 사용됨.
  • 중요 발견: 두 작업에서 재발생하는 헤드는 전혀 겹치지 않습니다 (Zero Overlap). 이는 Prolepsis 가 고정된 회로가 아니라, 작업에 따라 다른 하위 구조를 사용하는 공통된 아키텍처 템플릿임을 의미합니다.

4. 주요 기여 (Contributions)

1. 독립적 재현: 오픈 소스 모델과 CLT 를 사용하여 Lindsey et al. (2025) 의 '계획 사이트' 발견을 최초로 독립적으로 검증했습니다.
2. CLT 의 필수성 증명: 계획 회로는 잔여 스트림 기반 방법으로는 보이지 않으며, 희소 특징 분해 (CLT) 가 필수적임을 입증했습니다.
3. 어텐션 라우팅 헤드의 식별: 결정이 출력으로 전달되는 구체적인 경로 (예: L21:H5) 를 발견하여 기존 해석 방법의 공백을 메웠습니다.
4. 최소 깊이 임계값 규명: '검색'과 '결정'을 구분하는 레이어 깊이 임계값 (약 16) 을 발견했습니다.
5. Prolepsis 개념 정립: 다양한 작업 (계획, 사실 회상) 에서 공통적으로 나타나는 '조기 결정 - 유지 - 불가역성' 구조를 Prolepsis로 정의하고, 이것이 아키텍처적 특성임을 증명했습니다.
6. 재현성: 단일 소비자 GPU 에서 모든 실험을 재현 가능하게 공개했습니다.

5. 의의 및 시사점

• 안전성 (Safety): 모델이 초기 레이어에서 결정을 내리고 이후 레이어에서 이를 수정하지 않는 (irrevocable) 메커니즘은 모델의 안전성 제어에 중요한 시사점을 줍니다. 초기에 잘못된 결정을 내리면, 이후 레이어가 이를 교정하지 못해 해로운 출력이 발생할 수 있습니다.
• 해석 방법론의 확장: 사실적 지식 (MLP 기반) 과 계획/추론 (어텐션 기반) 은 서로 다른 계산 하위 구조를 가지므로, 모델의 행동을 이해하기 위해서는 작업에 맞는 해석 도구 (CLT 등) 를 선택해야 함을 보여줍니다.
• 모델 설계: 모델의 '사고' 능력은 단순한 파라미터 수 증가가 아니라, 의사결정을 유지할 수 있는 충분한 레이어 깊이를 확보하는 데 달려 있음을 시사합니다.

이 논문은 트랜스포머 모델 내부에서 '사고'와 '결정'이 어떻게 이루어지는지에 대한 메커니즘적 이해를 한 단계 끌어올렸으며, 특히 Prolepsis라는 개념을 통해 모델의 의사결정 과정이 단순한 선형 과정이 아니라, 초기 결정이 고착화되는 구조적 특성을 가짐을 밝혔습니다.