Testing History Dependence Between In-Context and In-Weights Learning

기술 요약: 인컨텍스트 학습(ICL)과 인웨이트 학습(IWL) 간의 이력 의존성 테스트

문제 정의

인컨텍스트 학습(ICL)과 인웨이트 학습(IWL)은 트랜스포머가 프롬프트 기반 연관 또는 안정적인 파라미터화된 연관을 사용하여 예측 작업을 수행할 수 있게 한다. 선행 연구는 ICL이 출현한 후 학습 과정에서 IWL을 위해 감소할 수 있음을 입증했지만, 현재의 데이터 분포가 모델의 메커니즘을 유일하게 결정하는지는 여전히 불분명하다. 즉, 고정된 ICL/IWL 혼합 비율 상태에 있는 모델이 유일한 것인지, 아니면 모델이 자신의 행동과 인과적 회로 조직에 영향을 미치는 "기억"(이력 의존성)을 유지하는지는 알려져 있지 않다. 본 연구는 서로 다른 방향(증가하는 경우와 감소하는 경우의 혼합 스케줄)에서 동일한 ICL/IWL 혼합 비율에 도달한 모델이 서로 다른 행동이나 인과적 민감도를 보이는지 조사하며, 이는 동역학계의 이력 현상(hysteresis)과 유사한 현상이다.

방법론

저자는 모호한 연관 회상(associative-recall) 작업에 대해 소규모 디코더 전용 트랜스포머(2개 레이어, 4개 헤드, 72k 파라미터)를 사용하여 통제되고 상쇄된 인과 연구를 설계하였다.

1. 태스크 설계: 태스크는 쿼리 키(query key)에 대한 값을 예측하는 것이다. 두 가지 경쟁하는 규칙이 존재한다: 문맥적(contextual) 규칙(현재 프롬프트의 키-값 쌍에 기반함)과 고정된(fixed) 규칙(가중치에 학습된 전역 순열). 혼합 파라미터 $p_{ICL}$은 훈련 타겟이 문맥적 규칙을 따를 확률을 제어한다. 결정적으로, 입력 분포는 고정된 채로 $p_{ICL}$이 변하므로, 변화하는 행동은 입력 통계가 아닌 타겟 분포에 의해 유도된다.
2. 상쇄된 학습 스케줄(Counterbalanced Training Schedules):
   • "앵커(anchor)" 모델을 타겟 혼합 비율 $p_0$에서 수렴할 때까지 학습시킨다.
   • 모델과 옵티마이저 상태를 복제한다.
   • 두 분기(branch)는 동일한 업데이트 횟수, 동일한 학습 예시의 멀티셋, 동일한 누적 노출량을 가지며 서로 반대 순서로 삼각형 혼합 스케줄을 통과한다:
     • 아래로부터(From Below): $p_0 \to p_0 + \delta \to p_0 - \delta \to p_0$ (IWL을 선호하는 측면에서 타겟에 접근).
     • 위로부터(From Above): $p_0 \to p_0 - \delta \to p_0 + \delta \to p_0$ (ICL을 선호하는 측링에서 타겟에 접근).
   • 이 설계는 훈련 연령, 옵티마이저 상태, 데이터 노출을 일치시키면서 순서와 최종 접근 방향의 효과를 격리한다.
3. 평가 지표:
   • 행동적(Behavioral): 충돌 사례(conflict trials)에서 문맥적 답변과 고정된 답변 사이의 로짓 마진(logit margin).
   • 인과적 개입(Causal Interventions):
     • 활성화 패칭(Activation Patching): 클린(clean) 실행과 오염된(corrupted) 실행 사이의 내부 상태를 교체하여 정보 흐름을 추적한다.
     • 평균 대체(Mean Replacement): 어텐션 헤드 출력을 체크포인트별 평균값으로 교체하여 예시별 정보의 기여도를 측정한다.
4. 완화 제어(Relaxation Control): 고정된 타겟 혼합 비율에서 0, 25, 100회의 추가 업데이트 후에 평가하여, 일시적인 지연(lag)과 지속적인 이력 현상(hysteresis)을 구분한다.

주요 기여

• 상쇄된 스케줄 설계: 동일한 혼합 비율, 업데이트 횟수, 옵티마이저 연령, 누적 구성 요소 노출량을 가진 상태에서 반대되는 도착 방향을 비교하는 새로운 실험 설정을 제공한다.
• 행동적으로 식별 가능한 태스크: 문맥적 답변과 가중치 기반 답변이 직접 충돌하는 태스크를 통해, 전략 선호도를 집계된 정확도가 아닌 연속적인 로짓 마진으로 측정할 수 있게 한다.
• 행동 및 인과 테스트의 결합: 독립적인 학습 시드에 걸쳐 잔차 스트림(residual-stream) 패칭과 헤드/MLP 평균 교체를 통합하여 이력 의존성의 근원을 국소화한다.
• 완화 제어 프로토콜: 모델이 단순히 변화하는 데이터 혼합을 따라가는 속도가 느린 것인지, 아니면 지속적인 이력 효과를 보이는지를 구분하기 위한 프로토콜을 제시한다.

결과

1. 즉각적 이력 의존성: 균형 잡힌 혼합($p_0 = 0.5$)에서, 아래로부터 도달한 모델(IWL 선호 측)은 위로부터 도달한 모델보다 더 높은 문맥적-고정적 로짓 마진($+0.0976$)을 보였다. 이 차이는 5개의 독립적인 시드 모두에서 일관되게 나타났으며(모두 양수), 이는 가장 작은 달성 가능한 양측 검정 $p$-값인 0.0625를 산출했다. 저자는 이 이진적 유의성 주장 대신 공통된 부호와 구간을 설명한다.
2. 일시적 특성: 행동적 격차는 25회의 공통 업데이트 후에 약간 역전되었고, 100회 업데이트 후에는 사라졌다(0에 근접). 이는 관찰된 효과가 안정적인 분기나 준정적 이력 현상이 아니라 일시적인 오버슈트(overshoot)임을 나타낸다.
3. 인과적 메커니즘:
   • 모든 쿼리 위치 어텐션 헤드 출력을 체크포인트별 평균으로 교체했을 때 즉각적인 행동 격차의 **86.8%**가 완화되었다.
   • 행동적 차이에도 불구하고, 지배적인 어텐션 헤드의 정체와 활성화 패칭 경로의 *위상(topology)*은 두 이력 간에 거의 동일했다(상관관계 > 0.999).
   • 결과는 훈련 순서가 별도의 대안 회로를 선택하기보다는 공유된 문맥적 경로의 **이득(gain)**을 조절한다는 것을 시사한다.

의의 및 주장

본 논문은 소규모 트랜스포머가 일치된 ICL/IWL 혼합 비율에서 **유한율 경로 의존성(finite-rate path dependence)**을 보이지만, **준정적 이력 현상(quasi-static hysteresis)**을 보이지는 않는다고 결론짓는다.

• 이력 현상에 대한 신중한 주장: 저자는 관찰된 효과가 빠르게 완화되는 "훈련 순서의 일시적 기억"이라고 명시적으로 밝힌다. 그들은 느린 스윕(sweep) 하에서도 지속적인 분기 격차를 입증하지 않고서는 커리큘럼 순서 효과를 자동으로 이력 현상이라 부를 수 없다고 주장한다.
• 발달적 해석 가능성: 본 연구는 모델의 스냅샷(파라미터 및 현재 데이터 혼합)이 반드시 즉각적인 계산을 유일하게 예측하는 것은 아님을 강조한다. 밀접하게 일치하는 모델들도 짧은 시간 동안 훈련 이력에 대한 정보를 보유할 수 있다.
• 회로의 정체성 vs. 참여도: 핵심 발견은 회로의 위상과 회로의 참여도(engagement) 사이의 구분이다. 두 이력 모두에서 동일한 인과적 회로(특정 어텐션 헤드를 통한 문맥적 경로)가 사용되었으나, 훈련 궤적에 의해 그 참여 강도가 조절되었다.
• 방법론적 엄밀성: 저자는 완화(relaxation)를 측정하지 않으면 일시적인 차이를 지속적인 회로 분기로 오해할 수 있음을 강조한다. 매치드 루프(matched-loop) 설계는 연령과 노출을 통제하면서 이력 의존성을 테스트하는 압축적인 방법을 제공한다.

저자는 외부 타당성(소규모 합성 모델)과 옵티마이저 상태의 메모리와 파라미터의 메모리를 완전히 분리할 수 없다는 점을 언급하며, 속도, 옵티마이저 및 자연스러운 태스크 전반에 걸친 추가 테스트 없이 이러한 결과를 프런티어 언어 모델로 일반화하는 것에 대해 주의를 구한다.