Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models

기술적 요약: 용량 계층을 아우르는 절차적 기술 SFT

문제 제기
본 논문은 감독 미세조정 (SFT) 중 명시적 절차 지시가 더 작은 언어 모델이 추론 시에 효과적으로 추론 절차를 활용하도록 가르치는지, 아니면 단순히 응답 형태를 모방하도록 유도하는지 (형식 학습) 를 조사한다. 구체적으로 Qwen3.5 밀집 시리즈를 사용하여 다양한 모델 용량 계층 (0.8B, 2B, 4B 파라미터) 에 걸쳐 절차적 기술 SFT 의 기여도를 검토한다. 다루는 핵심 과제는 특히 결정적 판정관에서의 형식 준수 편향과 같은 평가 인공물 (artifacts) 로, 형식 학습과 실제 절차 적용을 혼동할 수 있다는 점이다.

방법론
본 연구는 다음을 포함하는 자체 완결형 파이프라인을 활용한다:

• 데이터 구성: Opus 4.7 에 의해 절차적 형태로 재작성된 40 개의 선언적 기술 (논리적 오류, 연역적 형식, 인지적 편향 등 포함) 의 수동 큐레이션 목록. 합성기가 600 개의 작업 (훈련 400, 홀드아웃 200) 을 생성하여 작업 대 기술 매핑을 1:1 로 보장함.
• SFT 코퍼스: 주입된 절차적 기술 블록으로 Opus 4.7 응답을 추적하여 생성된 353 행 큐레이션 채팅 형식 코퍼스. 코퍼스는 (기술 블록이 포함된 시스템 프롬프트, 사용자 작업, 어시스턴트 체인 오브 씽킹 + ANSWER 줄) 데모로 구성됨.
• 모델: LoRA 를 사용하여 미세조정된 세 가지 Qwen3.5 밀집 모델 (0.8B, 2B, 4B). 비교를 위해 프론티어 참조 모델인 Claude Haiku 4.5 를 포함함.
• 평가 프로토콜:
  • 조건: 베이스라인 (기술 블록 없는 솔버 프롬프트) 대 큐레이션 (일치하는 절차적 기술 블록이 포함된 솔버 프롬프트).
  • 점수 매기기: 두 가지 경로를 사용함: (1) 결정적 혼합 (구조화된 답변을 위한 정규식 추출기를 사용한 네이티브 벤치 디스패치 및 자유 형식을 위한 Opus 4.7), (2) LLM 전용 (형식 준수 게이트를 우회하기 위해 모든 작업 유형에 대한 Opus 4.7 판정관).
  • 지표: 통과율 및 차등 상승분 ($\Delta = \text{pass\_rate}_{\text{curated}} - \text{pass\_rate}_{\text{baseline}}$).
  • 검증: 판정관 중첩 편향을 제한하기 위해 2,800 개의 페어링 에피소드에 GPT-5.4 를 사용한 교차 가족 검증.

주요 발견

1. 균일한 SFT 기여 ($\Delta$-상승분): 일치하는 경로 LLM 전용 점수 매기기 하에서, SFT 에 기인한 절차적 상승분은 모델 크기에 걸쳐 대략 균일함: +0.070 (0.8B), +0.040 (2B), +0.075 (4B). 이는 SFT 가 수행하는 차등적 작업 (모델에 절차를 사용하도록 가르치는 대 사용하지 않도록 하는 것) 이 4 퍼센트 포인트 밴드 내에서 용량 불변적임을 시사함.
2. W 자형 SFT 이전 궤적: SFT 이후 성능의 변동은 비단조적인 SFT 이전 기본 궤적에 의해 지배됨.
   • 0.8B: 깊은 골짜기 ($\Delta = -0.075$). 기본 모델이 5 단계 절차를 따를 능력이 부족하여 오류가 누적됨.
   • 2B: 양의 피크 ($\Delta = +0.060$). 기본 모델이 절차가 모델이 그렇지 않으면 생략했을 점검을 지지하는 "적정 지점"에 있음.
   • 4B: 얕은 골짜기 ($\Delta = -0.010$). 기본 모델이 작업을 직접 해결할 만큼 유능함; 절차는 신호 없이 오버헤드를 추가하여 때로는 덜 방어 가능한 결론으로 이어짐.
   • 프론티어 (Haiku-4-5): modest positive ($\Delta = +0.030$).
3. 정비 비대칭 메커니즘: SFT 는 기본 모델이 절차에 어려움을 겪는 곳에서 절대적 의미로 가장 많이 작동함. 이는 0.8B 모델을 절차 무능한 상태에서 중립 상태로 구제하고, 4B 모델을 절차 오버헤드 상태에서 절차 유익한 상태로 전환시킴. 이 메커니즘은 엄격히 용량 조건부라기보다 정비 비대칭적임.
4. 형식 준수 인공물: 본 연구는 벤치의 83.5% 가 사용하는 결정적 ANSWER 줄 추출기에 체계적 편향이 있음을 규명함. 이 추출기는 자유 형식 산문 결론을 과소 계수하여, 결론이 종종 절차적 내러티브에 내재된 큐레이션 조건과 프론티어 참조 (Haiku) 를 체계적으로 패널티 처리함. LLM 전용 재판정은 이 편향을 드러냈으며, 형식 제약이 제거되었을 때 Haiku 의 성능이 큐레이션 조건에서 +18.5 pp 향상되었음을 보임.
5. 0.8B 용량 한계: 0.8B 에서의 반복적 레시피 변형 (코퍼스 구성, 부분 미세조정, 기술 블록 제거) 은 절대 통과율을 2 pp 밴드 이상으로 끌어올리지 못함. 이는 0.8B 절대 한계가 SFT 레시피가 아닌 기본 추론 능력에 의해 제한됨을 확인함. 그러나 차등적 상승분 ($\Delta$) 은 더 큰 모델들과 일관됨.
6. 프론티어 동등성: SFT 가 적용된 4B 모델 (v2.0) 은 공정한 점수 매기기 하에서 벤트의 유효한 한계 (0.985 통과율) 에서 Haiku-4-5 참조와 동률을 이룸. 이는 SFT 와 기본 확장 때문이며, SFT 이전 4B 기본 (0.840) 은 Haiku 와 일치하지 않았음.

의의 및 주장
본 논문은 두 가지 이전 프레임워크를 대체한다고 주장함: "0.8B 에서의 형식 전용 학습" (경로 불일치 인공물로 드러남) 과 "4B 에서 SFT 기여도 축소" (SFT 이전 기본 궤적에 대한 오해로 드러남).

• 경험적 기여: 절차적 기술 SFT 가 규모를 아우르는 일관된 차등적 상승분을 제공한다는 증거를 제시하지만, 순 이익은 기본 모델의 기존 절차 정비에 크게 의존함.
• 방법론적 기여: 큐레이션 조건과 프론티어 모델에 대한 SFT 주장을 편향시키는 표준 벤치마크의 중요한 형식 준수 인공물을 강조함. 형식 학습과 절차 적용을 분리하기 위해 형식 허용 평가 (LLM 전용 판정) 의 필요성을 입증함.
• 반증 가능한 예측: 본 논문은 더 큰 규모 (8B/14B) 에서 SFT 이전 궤적이 양의 값 (Haiku 와 유사) 으로 회복될 것이며, 기본 모델이 자연스럽게 절차 친화적이 됨에 따라 SFT $\Delta$-상승분은 2B 수준으로 축소될 것이라고 예측함.

한계
저자들은 명시적으로 몇 가지 한계를 지적함:

• 단일 시드 평가: 결과는 다중 시드 반복 없이 포인트 추정치임.
• 코퍼스 - 판정관 중첩: Opus 4.7 가 작업 합성, 추적 생성, 판정에 사용됨. 교차 가족 검증 (GPT-5.4) 이 판정 단계 편향을 제한하지만, 코퍼스 생성 중첩은 구조적으로 제한되지 않음.
• 작업 정렬: 벤트는 절차 정렬 작업에 대한 절차 적용을 측정하며, 일반 기술 라우팅 또는 구성적 기술 사용을 측정하지는 않음.
• 일반 제어 부재: 형식 대 절차 기여도를 정량적으로 분해하기 위한 일반 지시 미세조정 데이터에 대한 제어 학습을 포함하지 않았으나, 차등적 상승분이 후자의 증거라고 주장됨.