기술 요약: 트랜스포머의 복잡성 제어에 있어 중요한 시간 창

문제 제기

최근 문헌은 작은 초기화 규모 ($\gamma$) 와 가중치 감쇠 ($\lambda$) 를 통해 복잡성을 제어함으로써 트랜스포머가 특정 작업에서 암기가 아닌 구성적 일반화 (추론) 를 달성할 수 있음을 입증했다. 그러나 기존 분석들은 이러한 하이퍼파라미터를 정적인 선택으로 간주하며, 모델의 궤적을 결정하는 유일한 요인이 정규화의 크기라고 가정한다. 본 논문은 중요한 간극을 탐구한다: 복잡성 제어의 시기가 중요한가? 구체적으로, 암기 솔루션과 추론 솔루션 사이의 선택은 학습 전체 과정에서 이루어지는가, 아니면 특정 식별 가능한 시간 창 내에서 결정되는가?

방법론

저자들은 앵커 심볼의 치환을 구성해야 하는 앵커 - 함수 작업 (anchor-function task) (Zhang et al., 2025 에 의해 소개됨) 을 중심으로 한 통제된 실험 프레임워크를 활용한다.

• 아키텍처: 작은 2 계층 및 4 계층 프리 - 노멀라이제이션 (pre-norm) 트랜스포머 ($d_{model}=64$, 2 헤더).
• 학습: 완전한 계측을 통해 단계별 분포 외 (OOD) 정확도 추적, 응축 지수, 및 부분 공간 정렬이 가능하다.
• 핵심 변수: 저자들은 누적 정규화 예산 ($\int \lambda(t) dt$) 과 초기화 규모 ($\gamma$) 를 일정하게 유지하면서 가중치 감쇠 ($\lambda$) 의 시간적 배치를 체계적으로 변화시킨다.
• 실험 설계: 학습의 특정 구간 (예: 초기, 중기, 후기) 에만 가중치 감쇠를 적용하는 "창 (windowed)" 스케줄을 테스트하여, 전체 학습 및 정규화 없는 기준선과 비교한다.
• 이론적 분석: "암기 질량"과 "추론 질량"에 대한 속도 방정식을 유도하기 위해 선형화된 2 계층 어텐션 모델을 분석하여 이들의 시간 척도 분리를 예측한다.

주요 기여 및 결과

1. 중요 시간 창 (Critical Window) 의 존재

주요 실증적 발견은 트랜스포머의 운명 (추론 대 암기) 이 학습의 날카롭고 좁은 시간 창 내에서 결정된다는 것이다.

• 창의 효과성: 학습의 단일 25% 구간 (20k 단계 실행 중 2,500~17,500 단계) 에만 가중치 감쇠를 적용하면 전체 학습 가중치 감쇠 (0.91) 와 비교 가능한 분포 외 정확도 (0.93) 를 달성한다.
• 창 외부의 비효율성: 동일한 가중치 감쇠 예산을 이 창 이전 (05,000 단계) 이나 이후에 완전히 적용하면 무작위 수준의 분포 외 정확도 (0.15) 로 이어져 정규화가 없는 경우와 구별되지 않는다.
• 예산 대 시기: 총 정규화 예산이 일정하게 유지될 때, 학습 중기에 배치하는 것이 초기에 배치하는 것보다 분포 외 정확도가 5~9 배 높다. 이는 정규화가 얼마나 적용되는지보다 언제 적용되는지가 더 중요함을 보여준다.

2. 시간 경계의 날카로움

중요 시간 창으로의 전환은 놀라울 정도로 급격하다.

• 창 시작 시점을 100 최적화 단계만큼만 이동시켜도 평균 분포 외 정확도가 무작위 수준 (0.15) 에서 추론 영역 (0.61) 으로 점프한다.
• 400 단계가 되면 시스템은 추론 평탄부 (0.93) 에 도달한다. 이는 모델이 추론으로 유도될 수 있는 역량이 특정 초기화 기간 이후에만 활성화되는 위상 전이와 같은 행동을 시사한다.

3. 초기화 규모와 끌개 영역 (Basin) 의 축소

추론을 위해 작은 초기화가 균일하게 더 좋다는 지배적인 권장 사항과 달리, 본 논문은 미묘한 관계를 발견한다:

• 창의 위치: $\gamma$가 증가함에 따라 중요 시간 창은 더 일찍 이동한다.
• 끌개 영역: 매우 작은 초기화 규모 (예: $\gamma=0.5$) 에서 추론 솔루션에 대한 끌개 영역이 크게 축소된다. 12 개의 시드 실행에서 $\gamma=0.5$일 때 OOD > 0.5 에 도달한 시드는 12 개 중 8 개였으나, $\gamma=1.1$에서는 12 개 중 12 개가 성공했다.
• 시사점: 중간 정도의 초기화 ($\gamma \in [0.7, 1.1]$) 는 유한한 학습 시간 하에서 추론 솔루션에 대한 더 넓은 끌개 영역을 제공하여 "작을수록 항상 좋다"는 휴리스틱에 도전한다.

4. 작업 특이성과 범위

이 현상은 모든 지연 일반화 작업에 보편적인 것은 아니다:

• 그로킹 (Grokking, 모듈러 산술): 중요 시간 창은 나타나지 않는다. 모듈러 산술에서는 적절하게 조정된 상수 가중치 감쇠가 시간 국소화 스케줄보다 5 배 빠르게 그로킹을 달성한다.
• SCAN (add_prim_jump): 바닐라 2 계층 트랜스포머는 어떤 스케줄 하에서도 구성적 솔루션 끌개 영역에 전혀 도달하지 못한다. 이는 이 현상이 암기와 추론 끌개 영역 모두에 도달 가능한 손실 지형을 필요로 함을 나타낸다.

5. 이론적 메커니즘: 이중 시간 척도 분리

저자들은 선형화된 모델을 기반으로 한 이론적 설명을 제공하여, 암기와 추론 회로가 질적으로 다른 속도 방정식 하에서 진화함을 보인다:

• 암기 속도: $\mu_m = \Theta(1)$ ($\gamma$와 무관).
• 추론 속도: $\mu_r = \Theta(\gamma^2)$.
• 메커니즘: 작은 $\gamma$에서 추론이 암기보다 훨씬 느리게 진화하기 때문에, 암기는 포화되었으나 추론은 여전히 발전 중인 시간 간격이 존재한다. 이 구간 동안 적용된 가중치 감쇠는 포화된 암기 경로를 선택적으로 억제하면서 추론 경로의 성장을 허용한다. 이 구간 이전에 적용된 가중치 감쇠는 두 경로를 비례적으로 축소하여 (비율에 영향 없음), 이후에 적용되면 모델은 이미 암기에 고정된 상태가 된다.

6. 견고성

• 깊이: 이 현상은 4 계층 모델에서도 지속되지만, 추론 평탄부는 더 낮고 시드 분산이 더 크다. 이는 매개변수 차원이 증가함에 따라 이론적으로 예측된 끌개 영역 축소와 일치한다.
• 옵티마이저: 이 현상은 모멘텀이 있는 바닐라 SGD 하에서도 재현된다. 주목할 점은 SGD 하에서 상수 가중치 감쇠가 창 스케줄보다 현저히 성능이 낮은 반면, AdamW 는 적응적 프리컨디셔닝을 통해 이 효과를 부분적으로 가린다는 것이다.

중요성과 주장

본 논문은 구성적 일반화에서 이전에 보고되지 않은 시간 국소화 위상 전이를 특징짓는다고 주장한다. 그 중요성은 다음과 같다:

1. 복잡성 제어의 재정의: 정적인 하이퍼파라미터 관점에서 동적이고 시간적인 관점으로 패러다임을 전환한다. 추론을 유도하는 "레시피"는 단순히 "작은 $\gamma$ + 가중치 감쇠"가 아니라, "작은 $\gamma$ + 중요 시간 창 동안 적용된 가중치 감쇠"이다.
2. 이전 권장 사항의 수정: 최소 초기화 권장 사항에 대한 주의점을 제시하여, 유한 시간 학습 체계에서 안정성 (끌개 영역의 너비) 을 위해 중간 정도의 초기화가 더 우월할 수 있음을 보여준다.
3. 이론적 정렬: 중요 시간 창 존재, 위치, 너비 및 관찰된 끌개 영역 축소를 예측하는 이중 시간 척도 이론적 설명을 제공한다.
4. 범위 정의: 이 메커니즘이 모델이 암기와 추론 끌개 영역 모두에 접근할 수 있는 설정에 구체적으로 적용되며, 그로킹과 같은 다른 일반화 현상과 구별됨을 규정한다.

저자들은 복잡성 제어가 근본적으로 시간적 현상이며, 기존 정적 프레임워크가 트랜스포머가 추론과 암기 솔루션 사이를 선택하는 방식을 설명하는 데 불완전하다고 결론지었다.