Understanding the Staged Dynamics of Transformers in Learning Latent Structure

1. 문제 제기 (Problem)

• 배경: 언어 모델링 연구에서 변환기 (Transformer) 가 문맥으로부터 잠재적 구조 (예: 구문 계층, 인과 그래프) 를 발견할 수 있음은 알려져 있습니다.
• 한계: 그러나 모델이 이러한 구조의 서로 다른 구성 요소를 어떻게, 어떤 순서로 학습하는지에 대한 역학은 잘 이해되지 않고 있습니다. 이로 인해 모델이 진정한 일반화를 하는지, 아니면 단순히 훈련 데이터를 재조합 (remixing) 하는지에 대한 의문이 제기됩니다.
• 목표: 복잡한 자연어 데이터의 복잡성을 배제하고, 명확하게 정의된 잠재적 구조를 가진 통제된 환경에서 학습의 진행 과정 (단계별 도약과 정체) 을 분석하여 모델의 능력 획득 과정을 세부적으로 규명하는 것.

2. 방법론 (Methodology)

저자들은 **Alchemy 벤치마크 (Wang et al., 2021)**를 사용하여 통제된 실험을 수행했습니다.

• 데이터셋 (Alchemy):
  • 8 개의 '돌 (Stone)' 상태와 '약 (Potion)' 적용에 따른 상태 전이로 구성된 입체 구조 (큐브) 그래프를 가집니다.
  • 각 약은 돌의 특성 (색상, 크기, 둥근 정도, 보상) 을 변경하며, 모든 화학 반응 (Chemistry) 은 동일한 잠재적 큐브 구조를 공유합니다.
  • 모델은 훈련 데이터에서 특정 약의 전이 규칙을 학습하여 새로운 쿼리에 대한 정답을 추론해야 합니다.
• 모델: 약 200 만 파라미터 규모의 작은 디코더 전용 (decoder-only) Transformer 모델 (4 레이어).
• 실험 설계 (3 가지 태스크):
  1. 잠재 구조 발견 (Withheld Potion Pair): 특정 약 쌍에 대한 전이 정보를 훈련 데이터에서 제거하고, 모델이 이를 추론할 수 있는지 테스트합니다.
  2. 구성 (Composition): 1 단계 (1-hop) 전이 정보만 제공받고, 이를 조합하여 다단계 (multi-hop) 쿼리를 해결하는지 테스트합니다.
  3. 분해 (Decomposition): 다단계 전이 시퀀스를 제공받고, 이를 분해하여 단일 단계 (1-hop) 전이 규칙을 추론하는지 테스트합니다.
• 분석 기법:
  • 작업 분해 (Task Factorization): 전체 정확도를 해석 가능한 하위 사건 (예: 지원 집합 내 예측, 올바른 반쪽 선택, 정답 일치) 으로 분해하여 각 단계의 학습 진행 상황을 정량화합니다.
  • 인과적 개입 (Causal Interventions): 학습 중 특정 레이어의 가중치를 동결 (Freezing) 하여, 각 레이어가 학습의 특정 단계에 필수적인 '가소성 창 (Plasticity Window)'이 존재하는지 확인합니다.

3. 주요 기여 (Key Contributions)

1. 학습 단계의 해석 가능한 분해: 모델의 전체 정확도 곡선에서 관찰되는 '정체 (plateau)'와 '급격한 상승 (jump)'이 무작위가 아니라, 구체적인 해석 가능한 하위 기술 (sub-skills) 의 획득에 해당함을 증명했습니다.
2. 비대칭적 학습 역학 발견:
   • 구성 (Composition): 모델은 작업 복잡도 (쿼리 홉 길이) 에 관계없이 일관된 속도로 학습합니다.
   • 분해 (Decomposition): 지원 데이터의 복잡도 (홉 길이) 가 증가할수록 학습 수렴이 지연되며, 특히 중간 단계 학습이 크게 지연됩니다.
3. 레이어별 가소성 창 규명: 학습의 특정 단계가 완료되기 위해서는 특정 레이어가 일정 기간 동안 계속 학습 가능 (trainable) 해야 함을 인과적 개입을 통해 입증했습니다.

4. 주요 결과 (Key Results)

A. 잠재 구조 발견 (Withheld Potion Pair)

• 3 단계 학습:
  1. 지원 집합 내 제한 (In-support): 모델은 먼저 전역 공간이 아닌 현재 화학 반응의 8 개 돌 중 하나로 예측 범위를 좁힙니다.
  2. 정확한 반쪽 식별 (Correct Half): 약의 전이로 인해 그래프가 두 개의 분리된 부분으로 나뉘는데, 모델은 올바른 절반을 식별하는 데 어려움을 겪습니다. 흥미롭게도, 정답 일치 (Exact Match) 정확도가 올바른 절반 식별 정확도보다 먼저 상승하는 역설적인 현상이 관찰되었습니다. 이는 모델이 '보상 (Reward)' 구조를 활용한 인접성 편향 (adjacency bias) 을 먼저 학습했기 때문입니다.
  3. 정답 일치: 최종적으로 올바른 절반 내에서 정답을 정확히 맞추는 단계가 완성됩니다.

B. 구성 (Composition)

• 복잡도 불변성: 쿼리의 홉 길이 (2~5 단계) 가 변하더라도 학습 수렴 속도에 유의미한 차이가 없습니다.
• ** coarse-to-fine 학습:** 모델은 먼저 '지원 집합 내' -> '도달 가능한 돌 집합' -> '정확한 정답' 순서로 점진적으로 학습합니다. 이는 모델이 1 단계 전이 규칙을 학습하면 이를 조합하여 복잡한 다단계 문제를 해결할 수 있음을 의미합니다.

C. 분해 (Decomposition)

• 지연된 수렴: 지원 데이터의 홉 길이가 길어질수록 (2~5 단계) 모델의 수렴이 지연됩니다.
• 병목 현상: '도달 가능한 돌 집합 (Reachable stones)'을 식별하는 단계 ($P[B|A]$) 에서 모델이 오랫동안 정체 (stagnation) 합니다. 이는 복잡한 다단계 시퀀스에서 단일 단계 규칙을 추출하는 것이 모델에게 더 어렵기 때문입니다.

D. 가소성 창 (Plasticity Windows)

• 레이어별 의존성: 특정 학습 단계 (예: 정답 일치) 를 달성하기 위해서는 Transformer 레이어가 학습 초기부터 특정 시점까지 계속 학습되어야 합니다.
• 동결 효과: 학습의 초기 단계가 끝난 후 특정 레이어를 동결하면, 후속 단계의 학습이 크게 지연되거나 아예 수렴하지 못합니다. 이는 각 레이어가 학습의 특정 단계에 필수적인 '가소성 창'을 가지고 있음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 통찰: 이 연구는 딥러닝 모델이 복잡한 추론 능력을 획득할 때, 단순한 점진적 개선을 거치는 것이 아니라 이산적인 (discrete) 단계를 거치며, 각 단계가 모델의 내부 구조적 변화와 밀접하게 연결되어 있음을 보여줍니다.
• 모델 해석성: 모델이 '무엇을' 학습하는지뿐만 아니라, '언제' 그리고 '어떻게' 학습하는지에 대한 메커니즘을 규명하여, 모델의 일반화 능력과 과적합 (overfitting) 현상을 이해하는 데 기여합니다.
• 향후 방향: 더 큰 규모의 모델이나 사전 훈련된 LLM 에서도 이러한 단계적 역학이 관찰되는지, 그리고 분해 과제의 지연 현상을 완화할 수 있는 전략은 무엇인지에 대한 후속 연구가 필요함을 제시합니다.

요약하자면, 이 논문은 Alchemy 벤치마크를 통해 Transformer 가 잠재적 구조를 학습할 때 단계적 (staged) 역학을 보이며, 구성 과제는 복잡도에 둔감하지만 분해 과제는 복잡도에 민감하게 반응하고, 각 학습 단계는 레이어별 가소성 창에 의존한다는 사실을 체계적으로 증명했습니다.