When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

기술 요약: "프로빙 정확도가 포화될 때, 취약성(Fragility)이 해상도를 복원한다"

1. 문제점: 프로빙 정확도의 포화(Saturation)

표준 선형 프로빙(Linear probing)은 고정된 은닉 상태(hidden states)로부터 특정 속성(예: 감성, 도덕성, 구문론)을 예측하도록 선형 분류기를 학습시키는 널리 사용되는 해석 가능성 프로토콜이다. 만약 분류기가 높은 정확도를 달anim면, 해당 속성이 "인코딩되었다"고 선언된다.

본 논문은 이러한 프로토콜을 **사전 학습 역학(pre-training dynamics)**에 적용할 때 발생하는 결정적인 실패 모드를 식별한다. OLMo-2 1B 궤적을 살펴보면, 도덕성과 같은 속성에 대한 표준 프로빙 정확도는 초기 몇 천 스텝 이내에 포화되어(4K 스텝에서 약 95% 정확도 도달) 정체된다. 이후의 나머지 약 95%의 사전 학습 궤적(~33K 스텝) 동안, 정확도 지표는 평탄하게 유지된다. 결과적으로, 이 측정 도구는 모델 내부에서 계속해서 일어나는 표현적 변화를 포착하지 못하는 '맹목 상태'가 되어, 표준 분석으로는 대부분의 사전 학습 과정을 "보이지 않게" 만든다.

2. 방법론: "취약성(Fragility)"의 도입

저자들은 손실된 해상도를 회복하기 위해 보완적인 레이어별 지표인 **취약성(fragility)**을 도입한다.

• 정의: 취약성은 학습된 프로브의 정확도가 특정 임계값(0.6, 즉 찬스 레벨 + 0.1로 설정) 아래로 붕괴되는 임계 노이즈 수준($\sigma^*_\ell$)으로 정의된다.
• 절차:
  1. 특정 레이어 $\ell$의 깨끗한 은닉 상태에 대해 표준 선형 프로브를 학습시킨다.
  2. 캐싱된 테스트 세트 활성화 값에 가우시안 노이즈($\epsilon \sim \mathcal{N}(0, \sigma^2 I)$)를 주입한다.
  3. 로그 스케일 노이즈 범위($\sigma \in \{0.1, 0.3, 1.0, 3.0, 10.0\}$)에 걸쳐 프로브를 재평가한다.
  4. 정확도가 임계값 아래로 떨어지는 가장 작은 $\sigma$를 식별한다.
• 해석:
  • 낮은 $\sigma^*_\ell$: 표현이 **취약(fragile)**함; 결정 경계(decision boundary)의 마진이 좁거나 중복성(redundancy)이 낮아 작은 섭동에도 정확도가 급격히 떨어진다.
  • 높은 $\sigma^*_\ell$: 표현이 **강건(robust)**함; 구분이 넓은 마진과/또는 높은 중복성을 가지고 인코딩되어 있다.
• 범위: 이 지표는 정확도 곡선에 사용된 것과 동일한 학습된 프로브를 사용하여 적용되며, 정확도가 정체된 이후에도 분리 가능성(separability)의 기하학적 구조와 중복성을 추적하는 직접적인 보완재 역할을 한다.

3. 주요 기여 및 실험 설정

본 논문은 OLMo-2 1B(37개 체크포인트, 밀집 1K-스텝 샘플링) 및 OLMo-3 7B(20개 체크포인트) 제품군을 사용하여 이 방법론을 검증한다. 저자들은 서로 다른 능력을 프로브하기 위해 네 가지 뚜렷한 최소 쌍(minimal-pair) 데이터셋을 사용한다:

1. 표준 도덕(Standard Moral): 도덕적 의미를 담은 어휘의 단일 토큰 교체 (예: "betrayed" vs "greeted").
2. 감성(Sentiment): 형용사의 단일 토큰 교체.
3. 구문론(Syntax): 구조적 적절성 위반.
4. 구성적 도덕(Compositional Moral - 새로운 기여): 단일 강한 어휘가 아닌, 여러 토큰의 통합에 의해 도덕적 가치가 결정되는 200개의 쌍으로 구성된 새로운 데이터셋 (예: 특정 맥락에서의 "protect" vs "humiliate"). 이 데이터셋은 bag-of-words 통계만으로는 해결할 수 없도록(다중 토큰 통합 필요) 엄격하게 검증되었다.

4. 주요 결과

결과 1: 정량적 어휘 $\to$ 구성적 그래디언트(Lexical $\to$ Compositional Gradient)
표준 프로빙 정확도는 도덕적 인코딩이 1K 스텝에서 나타난다고 시사한다. 그러나 저자들은 이것이 구성적 추론이 아닌 **어휘적 분리 가능성(lexical separability)**을 측정하는 것임을 입증한다.

• 표준 도덕 프로브: 1K 스텝에서 시작 (단일 어휘 교체).
• 구성적 도덕 프로브: 5K 스텝에서 시작 (다중 토큰 통합).
• 그래디언트: 발현 순서는 다음과 같다: 어휘적 도덕 탐지(1K) $\to$ 감성(2K) $\to$ 구성적 도덕 인코딩(5K) $\to$ 구문론(6K).
• 검증: 구성적 프로브는 구성 유형 간에 전이되며(예: "동기" 쌍으로 학습하고 "역할" 쌍으로 테스트), bag-of-words 베이스라인보다 유의미하게 높은 성능을 보여 단순한 어휘 조회가 아닌 진정한 구성적 인코딩을 포착함을 확인했다.

결과 2: 정확도가 평탄할 때 구조를 해소하는 취약성
평균 프로빙 정확도는 4K 스텝까지 ~0.95로 정체되어 평탄하게 유지되지만, 평균 임계 노이즈(취약성)는 36K 스텝까지 계속해서 진화한다.

• 레이어 깊이 그래디언트: 후기 레이어는 최대의 강건성(높은 $\sigma^*$)을 유지하는 반면, 초기 레이어는 점진적으로 더 취약해지는(임계 노이즈가 10.0에서 1.8로 감소) 단조로운 그래디언트가 형성된다.
• 재현성: 이 패턴은 OLMo-3 7B 모델에서도 유지되며, 구성적 프로브에 대해 4개의 무작위 시드에 대해 견고하게 나타난다.
• 의의: 모델은 단순히 데이터를 "분류"할 수 있게 된 이후에도 표현의 정교화(강건성과 중복성의 변화)를 지속적으로 수행한다.

결과 3: 데이터 큐레이션은 정확도를 바꾸지 않고도 강건성을 재형성한다
저자들은 LoRA를 사용하여 세 가지 매칭된 코퍼스(서사적 도덕, 선언적 도덕, 일반 제어)로 OLMo-2 1B 모델을 미세 조정했다.

• 정확도: 세 조건 모두 동일한 피크 프로빙 정확도(~0.74–0.75)를 생성했다.
• 취약성: 각 조건은 서로 다른 취약성 지문을 생성했다.
  • 선언적 도덕("Stealing is wrong" 템플릿)은 확산된 취약성(16개 레이어 중 10개가 취약함; 평균 $\sigma^* = 5.63$)을 보였다.
  • 서사적/일반 조건은 더 강건했다(평균 $\sigma^* \approx 7.0$).
• 시사점: 구문론적 템플릿을 암기하는 것은 노이즈 하에서 붕괴되는 좁고 낮은 마진의 결정 경계를 생성하며, 이는 정확도 지표로는 보이지 않는 구조적 변화이다.

5. 의의 및 주장

본 논문은 특정 도덕 영역에 대한 주장이 아닌 방법론적 주장을 한다: 프로빙 정확도는 속성이 선형적으로 해독 가능해진 이후에는 역동성을 포착하지 못하는, 임계값이 있는 캡(capped) 지표이다.

• 핵심 논지: 테스트된 모든 비교에서, 프로빙 정확도가 평탄하고 정보가 없는 답을 내놓을 때, 취약성은 구조화되고 진화하는 답을 내놓는다.
• 발현(Emergence)의 재정의: 본 논문은 오직 표준 프로브의 온셋(onset)에만 기반한 "발현" 주장(예: "도덕은 1K 스텝에서 발현된다")이 흔히 어휘적 접근성(lexical accessibility)의 결과물임을 주장한다. 진정한 구성적 능력은 더 늦게 발현되며 다른 역동성(단계적 발현이 아닌 점진적 발현)을 따른다.
• 유용성: 취약성은 사전 학습 분석을 위한 필수적인 진단 도구로서, 표준 정확도가 가리는 표현 기하학(마진 및 중복성)의 진화를 드러낸다.

저자들은 사전 학습 과정이 표준 해석 도구가 밝혀내는 것보다 훨씬 더 많은 작업을 수행하며, 누락된 해상도를 복구하기 위해서는 취려성(fragility) 판독을 추가하는 것이 필수적이라고 결론짓는다.