기술 요약: 변장한 예시 모델: 순수 예시 모델이 추상화 우선 학습을 모방하다

문제 제기

언어 학습 및 인지 과학의 핵심 질문 중 하나는 지식 습득의 시간적 순서에 관한 것이다. 즉, 학습자가 먼저 추상적인 클래스 수준의 일반화(예: 동사의 논항 구조)를 습득하는가, 아니면 먼저 항목 특이적이고 개별적인 지식(예: 특정 동사-토큰 결합)을 축적하는가 하는 문제이다. Jian과 Manning(2026)의 최근 연구는 GPT-2의 학습 궤적을 분석하여, 추상적 지식이 항목 특이적 지식보다 먼저 나타난다("추상화 우선")는 결론을 내렸다. 그들은 이를 클래스 간 차별화의 시작($o_b$)과 클래스 내 발산의 시작($o_w$)을 측정함으로써 정량화하였으며, 특정 동사 클래스에 대해 $o_b < o_w$임을 발견했다.

그러나 이 결론은 관찰된 순서가 추상화를 향한 귀납적 편향(inductive bias)을 진단할 수 있다는 가정에 의존하고 있다. 본 논문의 저자들은 이러한 순서가 추상적 학습 메커즘의 증거라기보다는, 학습자의 개별 관측치에 대한 민감도와 입력의 분포적 특성에 의한 결과물일 수 있다고 주장한다. 특히, 그들은 "항목 특이적" 지식과 "추상적" 지식의 구분이 분산 표현(distributed representations)에서 과연 잘 정의될 수 있는지에 대해 의문을 제기한다. 즉, 클래스 수준의 속성이 항목 특이적 분포 안에 불가분하게 내재되어 있을 수 있다는 점을 지적한다.

방법론

저자들은 동일한 데이터 생성 과정을 공유하지만, 관측으로부터 동사 분포를 추정하는 방식이 서로 다른 두 가지 이상적인 학습자 모델을 사용하여 통제된 시뮬레이션을 수행한다. 결정적으로, 두 모델 모두 **순수 암기 모델(예시 모델)**이며, 동사 간의 정보 흐름이나 명시적인 클래스 수준의 표현을 가지고 있지 않다.

1. 데이터 생성:

   • 두 개의 동사 클래스(각각 35개 및 36개 항목)를 1,000개의 토큰 어휘를 사용하여 시뮬레이션한다.
   • 각 동사의 실제 분포($P_v$)는 세 가지 토큰 유형으로 구성된다:
     • 교차 토큰(Cross tokens): 모든 동사가 공유함 (배경).
     • 클래스 내 토큰(Within-class tokens): 동일한 클래스의 동사들끼리만 공유함 (클래스 수준의 선호도를 인코딩).
     • 항목 특이적 토큰(Idiosyncratic tokens): 각 동사에 고유함 (항목 특이적 선호도를 인코딩).
   • 매개변수를 통해 클래스 간 중첩 정도와 토큰 가중치의 분산($\mu, \sigma$)을 조절한다.

2. 학습자 모델:

   • 제로 민감도 학습자(Zero-Sensitivity Learner, ZSL): 노이즈가 없는 분석적 베이스라인이다. 학습자의 추정치는 균등 분포와 실제 분포($P_v$) 사이의 선형 보간으로 나타나며, 개별 토큰의 정체성에 영향을 받지 않는다. 이는 관측 수준의 노이즈가 제거된 극한 상태를 나타낸다.
   • 가변 민감도 학습자(Variable-Sensitivity Learner, VSL): add-$k$ 스무딩(smoothing)을 공식화한 베이지안 디리클레-다항 분포(Dirichlet-Multinomial) 학습자이다. 매개변수 $k$는 민감도를 조절한다:
     • 낮은 $k$: 학습자가 초기, 잠재적으로 대표성이 낮은 관측치에 매우 민감하다 (항목 특이적 노이즈가 지배적임).
     • 높나 $k$: 학습자가 보수적이다; 사전 확률(prior)이 초기 노이즈를 억제하여, 클래스 수준의 패턴이 점진적으로 축적되도록 한다.

3. 시작 기준:

   • 클래스 간 시작($o_b$): 특정 동사의 분포가 반대 클래스의 동사들보다 동일 클래스의 동사들과 유의미하게 더 유사해질 때 선언된다 (Mann-Whitney U-test 사용).
   • 클래스 내 시작($o_w$): 클래스 내 평균 젠슨-샤논 발산(DJS)이 고정된 임계값(0.01)을 초과할 때 선언된다.
   • 본 연구는 학습 궤적을 추적하여 어떤 시작이 먼저 발생하는지($o_b < o_w$ 또는 $o_w < o_b$)를 결정한다.

주요 기여

• 민감도 의존적 순서의 입증: 저자들은 $o_b$와 $o_w$의 순서가 "추상화 우선" 대 "예시 우선" 학습 전략의 고정된 속성이 아님을 보여준다. 대신, 이 순서는 학습자의 민감도(controlled by $k$)와 입력 분포의 구조 사이의 상호작용에 달려 있다.
• 노이즈 없는 베이스라인: 제로 민감도 학습자의 도입은 노이즈가 제거되었을 때, 추상화 능력이 없는 순수 암기 모델에서도 $o_b < o_w$가 보편적으로 성립함을 보여준다.
• 스무딩을 통한 "추상화 우선" 재현: 가변 민감도 학습자는 낮은 $k$(높은 민감도)에서는 "예시 우선" 순서($o_w < o_b$)를 재현하지만, 높은 $k$(낮은 민감도)에서는 "추상화 우선" 순서($o_b < o_w$)로 전환된다. 이는 이전 연구에서 관찰된 "추상화 우선" 패턴이 추상적 학습 메커니즘이 아니라 높은 수준의 스무딩(낮은 민감도)의 결과일 수 있음을 시사한다.

결과

• 제로 민감도 학습자: 전체 시드(seed)의 85%에서 $o_b < o_w$를 생성했다. 이 순서는 낮은 노이즈($\sigma=0.5$)에서 보편적이었으며 대부분의 매개변수 조합에서 유지되었으나, 클래스 신호가 노이즈에 비해 극도로 약할 때만 실패했다.
• 가변 민감도 학습자:
  • 낮은 $k$ ($k \le 0.1$)에서는 $o_w < o_b$가 약 99%의 시드에서 발생했다. 초기 항목 특이적 관측치로 인해 클래스 수준의 패턴이 안정화되기 전에 즉각적인 클래스 내 발산이 일어났다.
  • 높은 $k$ ($k \ge 1.0$)에서는 $o_b < o_w$가 우세했다. 강력한 사전 확률이 초기 노이즈를 억제하여, 항목 특이적 노이즈가 절대적 임계값을 넘기 전에 체계적인 클래스 간 차이가 먼저 드러나게 했다.
  • 전환점은 $k=0.5$ 부근이었으며, 여기서 두 순서가 동일하게 나타났다.
• 강건성: 결과는 어휘 크기, 동사 빈도 분포(Zipfian 확장), 그리고 시작 탐지에 사용된 특정 임계값의 변화에 대해서도 강건하게 나타났다.

의의 및 주장

본 논문은 "추상화 우선" 순서($o_b < o_w$)가 추상화 우선 학습 전략을 진단하는 지표가 아님을 주장한다. 대신, 이는 개별 관측치에 대한 낮은 민감도의 예측 가능한 결과이다.

1. LLM 궤적의 재해계: 이 결과는 Jian과 Manning(2026)의 연구 결과가 GPT-2가 추상적 규칙을 먼저 배운다는 것을 증명하지 못함을 시사한다. 충분한 스무딩(높은 $k$)을 가진 순수 예시 암기 모델도 동일한 순서를 생성한다. 저자들은 트랜스포머가 적응적 부분 풀링(adaptive partial pooling)을 통해 항목 특이적 노이즈를 억제함으로써 자연스럽게 높은 $k$를 가진 학습자처럼 행동할 수 있지만, 이 메커니즘이 반드시 별개의 분리 가능한 추상적 표현의 존재를 의미하는 것은 아니라고 언급한다.
2. 모호한 이분법: 저자들은 분산 표현의 경우 항목 특이적 지식과 추상적 지식의 구분이 불분명할 수 있다고 주장한다. 클래스 수준의 속성은 항목 특이적 분포 안에 내재되어 있으며, 특정 동사의 분포를 배우는 과정 자체가 필연적으로 그 동사의 클래스 멤버십을 인코딩하기 때문이다. 따라서 클래스 간 발산과 클래스 내 발산을 별개의 학습 사건으로 취급하는 것은, 표현 자체가 지지하지 않는 개념적 구분을 강요하는 것일 수 있다.
3. 방법론적 한계: 현재의 시작 기준 순서를 결정하는 방법론은 "추상화 우선" 학습과 "높은 $k$를 가진 예시 학습"을 구분하기에 불충분하다. 트랜스포머가 진정으로 추상화 우선 학습자인지 답하기 위해서는 시작 기준의 순서를 넘어선 방법론이 필요하다.