Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 파라미터 업데이트 없이 문맥 내 예시 (In-Context Examples) 를 통해 새로운 작업에 적응하는 문맥 학습 (ICL) 능력을 보입니다. 본 논문은 ICL 의 한 특수한 형태인 **'문맥적 회상 (Contextual Recall)'**에 초점을 맞춥니다.

• 문맥적 회상의 정의: 모델이 사전 학습 데이터 (예: 랜드마크 설명) 를 통해 사실적 지식 (주제 - 속성 쌍) 을 습득한 후, 테스트 시에는 명시적인 문법적 단서 (Grammar Cues) 없이 **문맥 내 예시 쌍 (Subject-Attribute Pairs)**만 제공받아, 해당 속성 유형 (Attribute Type, 예: '국가', '연도') 을 암묵적으로 추론하고 쿼리 주제에 맞는 사실을 회상하는 작업입니다.
• 핵심 질문:
  1. 이러한 문맥적 회상 능력은 사전 학습만으로 자연스럽게 발현되는가?
  2. 만약 아니라면, 어떤 종류의 미세 조정이 필요한가?
  3. 트랜스포머 아키텍처 내에서 어떤 메커니즘이 이러한 능력을 가능하게 하는가?

2. 방법론 (Methodology)

저자들은 이 문제를 통제된 합성 프레임워크 (Controlled Synthetic Framework) 를 통해 연구했습니다.

• 데이터 생성 프로세스:

  • 어휘: $M$개의 주제 (Subjects), $L$개의 속성 유형 (Attribute Types), $G$개의 문법 토큰 (Grammar Tokens), 구분자 토큰 ([SEP]).
  • PT 시퀀스 (Pretraining): 주제 - 문법 - 속성 튜플로 구성됩니다. 각 속성 유형은 고유한 **1 차 마르코프 체인 (Markov Chain)**을 따르는 문법 시퀀스와 연결되어, 문법 토큰의 통계적 특성이 속성 유형을 암시합니다. (사실적 지식 습득용)
  • ICL 시퀀스 (Evaluation): 주제 - 속성 쌍이 공유된 속성 유형으로 나열되지만, 문법 토큰이 제거된 형태입니다. 모델은 문맥 내 예시들로부터 속성 유형을 추론해야 합니다.
  • ICL+Grm 시퀀스 (Finetuning): ICL 과 유사하지만, 주제와 속성 사이에 짧은 문법 시퀀스가 포함됩니다. 이는 모델이 암묵적 추론을 학습하도록 유도하되, 평가 시의 형식과는 다른 분포를 가집니다.

• 실험 설정:

  • 2 레이어 단일 헤드 디코더 전용 트랜스포머 모델 사용.
  • 단계 1 (Pretraining): PT 시퀀스로 모델 학습.
  • 단계 2 (Finetuning): PT 학습 모델에 대해 **주제의 일부 (Subset)**만을 사용하여 ICL 또는 ICL+Grm 시퀀스로 미세 조정.
  • 평가: 미세 조정 시 보지 못한 (Held-out) 주제에 대한 ICL 시퀀스에서의 성능 측정.

3. 주요 기여 및 발견 (Key Contributions & Findings)

Finding 1: 사전 학습만으로는 부족함

PT 시퀀스 (문법 단서 포함) 로만 사전 학습된 모델은 사실적 회상 (Factual Recall) 에는 탁월한 성능을 보이지만, 문법 단서가 없는 ICL 시퀀스에서는 성능이 거의 0 에 수렴합니다. 즉, 모델은 명시적 문법 통계에 의존하며, 문맥 내 예시만으로 속성 유형을 추론하는 능력을 스스로 습득하지 못합니다.

Finding 2 & 3: 미세 조정과 일반화

• ICL 미세 조정: ICL 시퀀스로 미세 조정하면 모델은 암묵적 추론을 학습하여 보지 못한 주제에 대해서도 잘 일반화합니다.
• ICL+Grm 미세 조정 (핵심 발견): ICL 과는 다른 형식 (짧고 가변적인 문법 포함) 인 ICL+Grm 시퀀스로 미세 조정하더라도, 모델은 ICL 평가에서 뛰어난 성능을 보입니다. 이는 모델이 형식적 차이 (Distribution Shift) 를 극복하고 문맥 내 속성 토큰을 통해 속성 유형을 추론하는 메커니즘을 학습했음을 의미합니다.
• 부분 집합 학습: 전체 주제가 아닌 **주체의 일부 (Subset)**로만 미세 조정해도, 모든 주제에 대한 문맥적 회상 능력이 발현됩니다. 이는 모델이 새로운 사실 관계를 학습하는 것이 아니라, **속성 유형을 추론하는 '접근 메커니즘 (Access Mechanism)'**을 학습했기 때문입니다.

Finding 4 & 5: 표현 분석과 메커니즘

• 저차원 잠재 인코딩 (Task Vectors): 미세 조정 후, 모델은 문맥 내 예시들로부터 공유된 속성 유형을 인코딩하는 **저차원 잠재 벡터 (Task Vectors)**를 형성합니다.
• 클러스터링 강도: 문맥 내 예시 (Demonstrations) 의 수가 증가할수록, 그리고 사전 학습 시 마르코프 체인의 분리도 (Diversity) 가 높을수록, 속성 유형별 표현의 클러스터링이 더 명확해지고 성능이 향상됩니다.
• 메커니즘: 미세 조정된 모델은 문맥 내 속성 토큰들을 집계하여 안정적인 속성 유형 표현을 만들고, 이를 통해 쿼리 주제의 올바른 속성을 선택합니다.

4. 기계적 분석 (Mechanistic Analysis)

저자들은 단순화된 설정 (단일 레이어, Attention-only 모델) 에서 이론적 구성 (Construction) 을 제시하여 위 현상을 증명했습니다.

• PT 시퀀스 (사전 학습):
  • Relation Head: 문법 토큰 (Relation Token) 을 주시하여 해당 유형의 모든 속성 합을 출력.
  • Subject Head: 주제 토큰을 주시하여 해당 주제와 관련 없는 속성을 억제 (Negative Sum).
  • 두 헤드의 결합으로 정확한 속성 예측.
• ICL 시퀀스 (미세 조정 후):
  • Relation Head의 변화: 명시적 Relation Token 이 없으므로, 문맥 내 속성 토큰들에 주의를 기울여 공유된 속성 유형을 추론하고 해당 유형의 모든 속성 합을 출력하도록 재구성됨.
  • Subject Head: 쿼리 주제를 주시하여 관련 없는 속성을 억제하는 역할은 유지.
• 학습 동역학: 미세 조정 과정에서 Relation Head 의 $W_{OV}$ 행렬이 먼저 속성 간 연관성을 학습하고, 이후 $W_{KQ}$가 문맥 내 속성 토큰에 주의를 기울이도록 업데이트되는 2 단계 캐스케이드 (Two-step Cascade) 과정을 통해 이 전이가 일어남을 수학적으로 보임.

5. 의의 및 결론 (Significance)

이 연구는 다음과 같은 중요한 통찰을 제공합니다:

1. 사전 학습 vs 미세 조정의 역할 분리: 사전 학습은 **지식 (사실적 연결)**을 저장하는 역할을 하고, 미세 조정은 그 지식을 **추론하는 메커니즘 (Implicit Inference)**을 활성화하는 역할을 합니다.
2. ICL 의 본질: 문맥적 회상 능력은 단순히 더 많은 데이터를 학습하는 것이 아니라, 특정 작업 (Task) 을 수행하기 위한 **저차원 벡터 (Task Vectors)**의 형성과 관련이 있으며, 이는 미세 조정을 통해 유도될 수 있습니다.
3. 데이터 다양성의 중요성: 사전 학습 데이터의 다양성 (마르코프 체인의 분리도 등) 이 미세 조정 후의 일반화 성능과 표현의 분리도 (Disentanglement) 에 직접적인 영향을 미칩니다.

결론적으로, 트랜스포머 모델이 새로운 문맥에서 지식을 회상하기 위해서는 **명시적 단서가 없는 상황에서도 속성 유형을 추론할 수 있도록 미세 조정된 '접근 메커니즘'**이 필수적이며, 이는 부분적인 데이터로 학습된 후 전체 집합에 대해 일반화될 수 있음을 보여줍니다.