From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning

기술 요약: 인스턴스 선택에서 고정 풀 데이터 레시피 탐색으로

문제 정의

현재 지도 미세 조정 (SFT) 데이터 선택에 대한 접근 방식은 주로 인스턴스 수준의 순위 매기기로 공식화됩니다. 이는 휴리스틱, 영향력 추정치 또는 학습된 표현을 기반으로 개별 샘플에 점수를 매기고 상위-k 서브셋을 유지하는 방식입니다. 이는 효과적이지만, 필터링, 소스 혼합, 중복 제거 및 정제 등을 포함하는 다단계 큐레이션 워크플로우를 수반하는 SFT 데이터셋 구성의 실제 상황을 추상화해 버립니다.

본 논문은 이 문제를 고정 풀 데이터 레시피 탐색으로 재정의합니다. 이 설정에서:

• 원시 지시어 풀 ($D_0$) 은 고정되어 있습니다.
• 기반 연산자 라이브러리 ($O$) 가 존재합니다 (예: 난이도별 필터링, 중복 제거, 혼합).
• 후보 "레시피"는 이러한 연산자들의 순서화된 시퀀스입니다.
• 목표는 모든 인스턴스에 최종 점수를 부여하는 것이 아니라, 제한된 전체 SFT 평가 예산 하에서 고품질 선택 서브셋을 구성하는 실행 가능한 레시피를 발견하는 것입니다.
• 핵심적으로, 이 방법은 훈련 샘플을 생성, 재작성 또는 증강하지 않으며 기존 데이터만 선택하고 구성합니다.

이 공식화는 단일 연산자 상위-k 선택 (길이 1 의 퇴화 레시피로 간주됨) 을 포괄하지만, 연산자 구성, 순서화 및 결과적으로 발생하는 중간 서브셋 상태를 명시적으로 최적화합니다.

방법론: AutoSelection

저자들은 비싼 검증 제약 하에서 효율적으로 구성적 레시피 공간을 탐색하도록 설계된 2 계층 솔버인 AutoSelection을 소개합니다.

1. 고정 풀 물질화 계층 (저비용 탐색 측 추론)
후보마다 비싼 신호를 재계산하는 것을 피하기 위해 AutoSelection 은 정규화된 원시 풀 ($D'_0$) 에 대한 기반 신호를 캐시합니다:

• 작업 측 신호: MONA 를 따르는 벤치마크 조건부 활성화 유사도.
• 데이터 측 신호: 어휘 다양성 (N-그램 엔트로피) 및 행동 - 객체 분기 (action-object branching) 와 같은 고유한 속성.
• 모델 측 신호: 지시어 준수 난이도 (IFD), 분산 엔트로피 (varentropy), 희소 활성화 통계 등을 포함한 캐시된 기본 모델 응답.
• 상태 벡터: 물질화된 임의의 레시피에 대해 상태 벡터 $z(r)$은 실현된 서브셋의 속성 (예: 유지된 토큰 비율, 분포 드리프트, 작업 관련성) 을 요약합니다. 이를 통해 탐색 제어기는 전체 SFT 평가에 착수하기 전에 후보 서브셋을 비교할 수 있습니다.

2. 탐색 제어 계층 (예산 할당)
제어기는 $B$개의 전체 평가 예산을 사용하여 탐색 - 활용 트레이드오프를 관리합니다:

• 워밍업 프로브: 탐색은 저, 중, 고 유지율의 세 가지 서로 다른 데이터 규모 영역을 프로브하여 초기 시드 앵커를 확립하고 유망한 유지 수준을 식별하는 것으로 시작합니다.
• 국소 정제: **요약기 (Summarizer)**를 사용하여 평가된 이력을 데이터 기반 가설로 변환합니다. 그런 다음 **제안자 (Proposer)**가 현재 시드 주변의 로컬 편집 (단계 삽입, 삭제, 스왑 또는 재조정) 을 수행하여 형제 후보 레시피를 생성합니다.
• 순위 매기기: **랭커 (Ranker)**는 전체 평가를 위한 단일 최상위 후보를 선택합니다. 이는 다음을 결합합니다:
  • 레시피 구조.
  • 실현된 상태 벡터 (서브셋 속성).
  • 레시피 인코딩에 기반한 가우시안 프로세스 (GP) 대리 사전.
  • 과거 탐색 데이터.
• 정체 유발 재시딩: 탐색이 $P$개의 연속된 단계 동안 기존 최고 점수를 개선하지 못하면 **재시더 (Reseeder)**가 과거에서 새로운 유망한 모티프를 선택하여 시드 앵커를 갱신함으로써 탐색이 포화 국소 영역에 갇히는 것을 방지합니다.

언어 모델 (특히 DeepSeek-R1) 은 이력을 요약하고, 기반 편집을 제안하며, 후보를 순위 매기고, 재시딩하는 탐색 측 보조 도구로만 엄격하게 사용되며 훈련 데이터를 재작성하거나 생성하지는 않습니다.

주요 기여

1. 문제 정의: 저자들은 실행 가능한 레시피에 대한 예산이 할당된 블랙박스 최적화 문제로 SFT 데이터 큐레이션을 공식화하여, 연산자 구성과 순서를 명시적인 최적화 목표로 만듭니다.
2. 방법 (AutoSelection): 캐시된 후보 물질화와 비싼 전체 SFT 평가를 분리하는 2 계층 솔버로, 워밍업 프로브, 상태 인식 로컬 편집, GP 지원 순위 매기기 및 정체 유발 재시딩을 활용합니다.
3. 실증적 증거: 90K 지시어 풀에서 세 가지 기본 모델 (Qwen2.5-1.5B/3B, Llama3.2-1B) 에 대한 포괄적인 평가.

실험 결과

15 개의 전체 SFT 평가 예산을 가진 90K 샘플 지시어 풀에서 평가됨:

• 성능: AutoSelection 은 세 가지 기본 모델 모두에서 가장 강력한 분포 내 추론 평균을 달성하여 전체 데이터 훈련, 무작위 레시피 탐색, 무작위 상위-k 및 단일 연산자 선택기를 능가했습니다.
  • 전체 데이터 훈련 대비 개선: Llama3.2-1B 기준 +1.82, Qwen2.5-1.5B 기준 +3.40, Qwen2.5-3B 기준 +3.72 점.
  • 가장 강력한 비-AutoSelection 기준 대비 개선: +0.90 에서 +2.89 점.
• OOD 일반화: 홀드아웃 그래프 추론 벤치마크 (GraphWiz, NLGraph) 에서 AutoSelection 은 경쟁력을 유지하여 Qwen2.5-1.5B 에서 1 위를 차지했고 Qwen2.5-3B 에서는 최상위 기준과 거의 동률을 이뤘습니다.
• 안정성: 1.5B 모델에 대한 세 가지 독립 실행은 좁은 점수 범위 (0.59 점) 를 보여 주었으며, 이는 성적이 단일 운 좋은 실행 때문이 아님을 나타냅니다.
• 절제 실험 (Ablations):
  • 워밍업을 제거하면 탐색이 초기 평가들을 저점 영역에서 보내게 됩니다.
  • 요약기를 제거하면 궤적이 더 매끄러워지지만 최종 최상위 레시피는 약해집니다.
  • 재시딩을 제거하면 현재까지의 최상위 곡선이 더 평평해져 국소 최적점에서 벗어나기 어렵다는 것을 나타냅니다.
  • 상태 벡터를 제거하면 유망한 형태를 갖지만 실현된 서브셋 상태가 약한 후보들에 탐색이 노출됩니다.
• 구조적 민감도: 일치된 시드 구조적 절제 실험은 특정 연산자의 존재 그 이상으로 연산자 순서와 구성이 성능에 상당한 영향을 미친다는 것을 확인했습니다.
• 전이성: 1.5B 에서 7B 로의 전이 확인은 양의 스피어만 순위 상관관계 ($\rho=0.82$) 를 보여주어, 작은 모델에서 발견된 고품질 데이터 모티프가 더 큰 모델에도 유용할 수 있음을 시사하지만, 정확한 순위 보존은 보장되지 않습니다.

중요성과 주장

이 논문은 AutoSelection 의 가치가 보편적으로 가장 좋은 단일 선택기를 발견하는 데 있는 것이 아니라, 강력한 기반 큐레이션 결정의 구성을 찾기 위해 소수의 전체 평가를 할당하는 데 있다고 주장합니다.

저자들은 다음과 같이 주장합니다:

1. 레시피 구조의 중요성: 연산자의 순서와 상호작용 (예: 중복 제거 전후의 필터링) 은 하류 SFT 성능에 측정 가능한 영향을 미치며, 이를 통해 데이터 레시피를 1 급 최적화 객체로 보는 관점을 뒷받침합니다.
2. 고정 풀 제어: 생성이나 재작성 없이 고정된 원시 풀로 탐색을 제한함으로써, 데이터 합성이나 프롬프트 엔지니어링으로 인한 교란 요소에서 연산자 선택의 효과를 분리합니다.
3. 효율성: 이 접근법은 워밍업, 상태 인식 순위 매기기, 재시딩과 같은 효율적인 탐색 전략이 엄격한 평가 예산 내에서 전체 데이터 훈련이나 무작위 탐색보다 더 나은 서브셋을 제공할 수 있음을 보여줍니다.

이 연구는 새로운 데이터 합성에 초점을 맞춘 LLM 기반 데이터 생성 시스템에 대한 통제된 대안으로, 기존 데이터 워크플로우의 최적화에 초점을 맞춥니다.