기술 요약: 옵티마이저 메모리가 셔플 순서를 미세 조정 노이즈의 1차 원인으로 만든다

1. 문제 정의

대규모 언어 모델을 미세 조정할 때, 데이터 도메인(또는 배치)이 제시되는 순서는 최종 모델 파라미터에 상당한 영향을 미칠 수 있다. 메모리 없는(memoryless) 그래디언트 단계를 가정하는 기존의 이론적 분석들은, 동일한 멀티셋(multiset)의 데이터를 재정렬하더라도 그 영향이 학습률 $\eta$에 대해 2차 수준($O(\eta^2)$)에 불과할 것이라고 예측했다. 이는 메모리 없는 전개식에서 1차 항이 멀티셋에 대한 평탄한 합(flat sum)이며, 이 합은 치환(permutation)에 대해 불변하기 때문이다.

그러나 AdamW와 같은 실제 옵티마이저는 메모리리스가 아니다. 이들은 내부 상태 버퍼(모멘텀, 분산 추정치, 바이어스 보정 카운터 등)를 유지하며, 이 버퍼들은 연속 시간 훈련 변수 $\tau = \eta k$가 아닌 이산 단계 인덱스 $k$에 따라 진행된다. 본 논문은 이러한 "고정된 시계(fixed-clock)" 상태 진행 방식이 동일한 그래디언트에 대해서도 시퀀스 내 위치에 따라 서로 다른 가중치를 부여하게 만든다고 주장한다. 결과적으로, 동일한 데이터의 두 가지 다른 순서(예: 시퀀스 $AB$와$BA$) 간의 차이는 2차 효과가 아닌 1차 효과($O(\eta)$)가 될 수 있으며, 이는 셔플 순서를 미세 조정 비교의 지배적인 노이즈 원인으로 만들 수 있다.

2. 방법론

이론적 프레임워크: 리프티드-스테이트 클록 정리 (Lifted-State Clock Theorem)

저자들은 옵티마이저 상태 $z = (\theta, \xi)$가 파라미터 $\theta$와 내부 버퍼 $\xi$를 포함하는 "리프티드-스테이트(lifted-state)" 프레임워크를 도입한다. 이들은 고정된 측정 상태를 가진 유한한 윈도우 $K$ 스텝 동안의 옵티마이저의 국소적 동작을 분석한다.

• 일반적인 옵티마이저 (Regular Optimizers): 국소 상태 맵 $F^\eta_D(z) = z + \eta X_D(z) + O(\eta^2)$의 임펄스 가중치가 위치에 독립적인 경우로 정의된다. 이 경우, 동일 멀티셋 간의 대비는 $O(\eta^2)$이다.
• 고정된 시계 옵티마이저 (Fixed-Clock Optimizers): AdamW와 같은 옵티마이저에서는 버퍼(예: $m_{t} = \beta_1 m_{t-1} + (1-\beta_1)g_t$)에 대한 상태 업데이트가 단계 인덱스 $t$에 따라 진행된다. 저자들은 리프티드-스테이트 클록 정리를 유도하여, 고정된 시계 옵티마이저의 경우 동일한 멀티셋의 두 치환 $w$와 $w'$ 사이의 종단 파라미터 차이가 다음과 같음을 보여준다:
  $$\langle u, \theta_K(w) - \theta_K(w') \rangle = \eta \Lambda_{w,w'}(u) + O(\eta^2)$$
  여기서 $\Lambda_{w,w'}(u)$는 "동결된 파라미터 옵티마이저-상태 리플레이(frozen-parameter optimizer-state replays)"의 차이다. 만약 이 리플레이 계수가 0이 아니라면, 순서에 따른 대비는 $O(\eta)$로 스케일링된다.

분석적 특수화: 동결된 프리컨디셔너 AdamW (Frozen-Preconditioner AdamW)

폐쇄형(closed-form) 결과를 도출하기 위해, 본 논문은 측정 상태에서 동결된 프리컨디셔너($P_0$)를 사용하면서도 1차 모멘트 버퍼와 바이어스 보정 클록은 활성화된 상태의 AdamW로 특수화한다.

• 임펄스 가중치 (Impulse Weights): 저자들은 위치 $r$에 있는 그래디언트에 대한 위치 의존적 임펄스 가중치 커널 $W^{(s,\beta)}_{r,K}$를 유도한다. 일반적인 옵티마이저와 달리, 이 가중치는 비평탄하며(예: 일반적인 하이퍼파라미터 설정에서 16 스텝의 윈도우 동안 0.815에서 0.100까지 감소), 이는 위치에 따라 달라진다.
• 분산 하한 (Variance Floor): 무작위 치환에 따른 결과의 점근적 하한을 유도한다. 주요 항은 다음과 같다:
  $$\text{Var}_w[\langle g_E, \theta_K(w) \rangle] \approx \eta^2 \frac{K}{K-1} \sigma^2_\phi V_K$$
  여기서 $\sigma^2_\phi$는 투영된 그래디언트의 분산이고, $V_K$는 옵티마이저-메모리 대비(임펄스 가중치의 분산)를 나타내는 척도이다. 일반적인 옵티마이저의 경우 $V_K=0$이어서 $O(\eta^4)$의 분산을 갖지만, 고정된 시계 옵티마이저의 경우 $V_K > 0$이므로 $O(\eta^2)$의 분산을 갖는다.

실험 프로토콜

저자들은 Pythia-1B 및 Llama-3.2-1B 모델에 대한 로컬 LoRA 미세 조정 셀을 사용하여 이러한 주장을 검증한다.

• 지수 분리 (Exponent Split): 학습률 $\eta$에 따른 중앙값 파라미터 차이($\|\theta_{AB} - \theta_{BA}\|$)의 스케일링을 측정한다.
• 대조군 (Controls): 다음 모델들과 비교한다:
  • SGD: 메모리리스(memoryless).
  • 매치드-클록 모멘텀 (Matched-Clock Momentum): 감쇠 $\beta$와 정규화가 $\eta$와 함께 스케일링되어(예: $\beta = e^{-a\eta}$) 일반적인 $O(\eta^2)$ 동작을 복구하는 경우.
  • 고정-$\beta$ 모멘텀 (Fixed-$\beta$ Momentum): 좌표 적응성(coordinate adaptivity)을 제외하고 버퍼링 효과만을 격리하기 위한 비적응형 대조군.
• 비트 단위 결정론적 리플레이 (Bitwise-Deterministic Replay): 메커니즘을 격리하기 위해, 예열된 옵티마이저 상태를 포크(fork)하여 서로 다른 순서로 비트 단위 결정론적 단계를 리플레이함으로써 확률적 그래디언트 노이즈를 제거한다.
• 진단 (Diagnostics): 국소적 유효성을 위한 신뢰 영역 비율 $\rho$, 스칼라 동결-P와 전체 리플레이 간의 보존성 갭 $\chi$, 그리고 쌍별 순서 선호도의 스칼라 정렬 가능성 $\rho_{curl}$을 나타내는 지표를 도입한다.

3. 주요 결과

1. 2차에서 1차로의 지수 이동

실험적 측정은 이론적 스케일링 지수의 변화를 확인해 준다:

• SGD 및 매치드-클록 모멘텀: 순서 대비는 $\eta^2$ 근처로 스케일링된다 (지수 $\approx 2.0$).
• 고정-클록 AdamW 및 Lion: 순서 대비는 $\eta^1$ 근처로 스케일링된다 (지수 $\approx 0.91 - 1.09$).
• 고정-$\beta$ 모멘텀: 고정-클록 버퍼링을 가진 비적응형 대조군 또한 $1.0$ 근처의 지수를 보이며, 이는 버퍼링 자체(좌표 적응성 없이도)가 1차 순서 채널을 생성하기에 충분함을 확인시켜 준다.

2. 분산 하한 및 순서 노이즈

• 분산 스케일링: 고정-클록 AdamW의 순서-궤도(order-orbit) 분산은 $\eta^{1.20}$(원시 데이터) 또는 이질적 입력이 제어되었을 때 $\eta^{1.83}$으로 스해일링되며, 이는 SGD 및 매치드-클록 대조군에서 관찰된 $\eta^{3.83} - \eta^{4.00}$ 스케일링보다 현저히 크다.
• 결정론적 리플레이: 비트 단위 결정론적 리플레이는 AdamW의 경우 1.83, 고정-$\beta$ 모멘텀의 경우 2.00, SGD의 경우 4.00의 기울기를 나타내어, 확률적 그래디언트 노이즈로부터 메커니즘을 격리한다.

3. 국소 유효성 및 정렬 가능성

• 신뢰 영역 ($\rho$): 1차 근사 모델은 $\rho < 1$일 때 높은 상관관계(피어슨 상관계수 0.80)를 가지며 실제 결과와 잘 일치한다.
• 스칼라 정렬 가능성 ($\rho_{curl}$): 섭동 영역에서 쌍별 순서 선호도는 주로 스칼라 포텐셜에 의해 정렬 가능하다 ( $\rho_{curl} < 1$일 때 방향성 3-사이클이 관찰되지 않음). $\rho_{curl}$이 1에 가까워지면, 비보존적 브래킷 항이 방향성 사이클(비이행적 선호)을 생성할 수 있다.

4. 셔플 시드 예산 (Shuffle-Seed Budget)

본 논문은 순서 노이즈 표준 편차 $\sigma_{ord}$가 주어졌을 때, 성능 차이 $\Delta$를 해소하기 위해 필요한 셔플 시드의 수를 계산하는 공식을 제공한다.

• 시사점: 두 구성 간의 차이가 순서 노이즈 수준과 비슷할 때 ($|\Delta|/\sigma_{ord} < 1$), 단일 셔플 비교는 통계적 검정력이 부족하며 결과의 부호를 쉽게 뒤집을 수 있다. 예를 들어, 홀드아웃 NLL 캘리브레이션에서 차이가 작을 때 부호 변경률은 33~44%에 달했다.

4. 의의 및 주장

본 논문은 고정된 시계 옵티마이저 메모리라는 특정 메커니즘을 격리하고 정량화하여, 데이터 순서를 무시할 수 있는 2차 효과에서 미세 조정의 지배적인 1차 노이즈 원인으로 격상시킨다는 점을 입증한다.

• 메커니즘 식별: 기존 이론적 작업의 "메모리리스" 가정이 표준적인 옵티마이저에서 실패함을 보여준다. 왜냐에는 이들의 내부 클록(단계 카운터)이 학습률과 함께 스케일링되지 않기 때문이며, 이로 인해 위치 의존적인 가중치가 생성된다.
• 실질적 영향: 결과적인 "순서 채널"은 매우 커서, 단일 랜덤 시드가 미세 조정 시의 A/B 테스트 결과를 쉽게 뒤집을 수 있다. 이는 하이퍼파라미터 튜닝 및 모델 선택 시 단일 시드 비교의 신뢰성에 도전한다.
• 진단 도구: 유도된 분산 하한과 임펄스 가중치를 사용하여 이 노이즈를 크기 측정(size)할 수 있는 "모델 피팅이 필요 없는(fit-free)" 방법을 제공하며, 이를 통해 재현 가능한 비교를 위한 셔플 시드 예산 결정 기준을 제시한다.
• 범위 제한: 저자들은 자신들의 폐쇄형 결과가 유한한 측정 윈도우 내에서 국소적이며, 동결된 프리컨리셔너 근사에 의존한다는 점을 명시한다. 이들은 글로벌 수렴 문제를 해결하거나 보편적인 순서 정책을 제공하려는 것이 아니라, 로컬 미세 조정 셀에서 관찰되는 분산을 설명하고자 한다.

요약하자면, 본 논문은 옵티마이저 메모리가 셔플 순서를 미세 조정의 1차 노이즈 원인으로 만든다고 주장하며, AdamW와 같은 고정된 시계 옵티마이저를 사용할 때 더 큰 시드 예산과 신중한 비교 해석이 필요함을 강조한다.