기술 요약: LLM 추론을 위한 통합 데이터 선별

문제 제기

복잡하고 긴 사고의 사슬 (Chain-of-Thought, CoT) 추론에서 대규모 언어 모델 (LLM) 의 발전은 현재 방대한 양의 고품질 학습 데이터에 대한 필요성으로 인해 병목 현상을 겪고 있습니다. 기존 데이터 선별 전략은 두 가지 주요 과제를 직면하고 있습니다:

1. 계산 비용: 보조 작업별 모델을 학습시키거나 강력한 LLM 을 사용하여 데이터를 필터링하는 방법은 상당한 계산 오버헤드를 초래합니다.
2. 지표의 한계: 시퀀스 길이, 퍼플렉시티 (perplexity), 또는 평균 토큰 엔트로피와 같은 전통적인 지표는 긴-CoT 시나리오에서 고품질 추론 샘플을 구별하지 못합니다. 이러한 전역 지표는 모든 토큰에 동일한 가중치를 부여하여 복잡한 추론 (계획, 탐색, 반성) 의 미묘하고 다단계 구조를 가리고, 모델이 불확실성에 직면하는 중요한 결정 지점을 포착하지 못합니다.

핵심 문제는 다양한 학습 패러다임 전반에 걸쳐 고품질 추론 경로를 저품질 경로와 신속하게 구별할 수 있는 견고하고 효율적이며 학습이 불필요한 (training-free) 지표의 부재입니다.

방법론

저자들은 추론 응답에 내재된 세밀하고 중요한 정보에 초점을 맞춰 추론의 질을 정량화하도록 설계된 학습이 불필요한 지표인 **고엔트로피 합 (High-Entropy Sum, HES)**을 제안합니다.

HES 지표

이 방법론은 모델이 높은 불확실성을 보이는 고엔트로피 토큰들이 종종 비사소한 결정이 이루어지는 추론 경로의 중요한 "분기점 (forking points)"에 해당한다는 관찰에 기반합니다.

• 정의: HES 는 응답 내에서 가장 높은 엔트로피를 가진 토큰의 상위 $k\%$(예: 0.5%) 의 엔트로피 값을 합산하여 계산됩니다.
• 수식:
  • HES$_{relative}$: 다양한 시퀀스 길이와 모델 분포에 적응하기 위해 백분위수 기반 임계값 (예: 토큰의 상위 0.5%) 을 사용합니다. 이는 주로 사용되는 기본 수식입니다.
  • HES$_{absolute}$: 합산을 위해 고정된 엔트로피 임계값 (예: $\tau = 1.6$) 을 사용합니다.
• 근거: 긴 시퀀스 전체를 평균화하여 중요한 신호를 희석시키는 평균 엔트로피와 달리, HES 는 중요한 고불확실성 순간의 누적 강도를 분리합니다. 실증 분석 (그림 1) 은 평균 엔트로피 지표가 정답과 오답 샘플을 구별하지 못하는 반면, 고엔트로피 토큰의 합은 견고한 분리를 제공함을 보여줍니다.

통합 데이터 선별 프레임워크

이 논문은 세 가지 지배적인 학습 패러다임에 적용 가능한 통합 데이터 선별 전략을 제안합니다:

1. 지도 미세 조정 (SFT): 전체 데이터셋을 HES 점수로 순위 매깁니다. 모델은 상위-$\rho$백분위수 (예: 상위 20%) 로 학습되거나, 하위-$\rho$(예: 하위 20%) 를 제거하여 데이터셋이 가지치기됩니다.
2. 거부 미세 조정 (RFT): 각 쿼리에 대해 여러 후보 응답이 생성됩니다. HES 는 쿼리별 (로컬 후보에서 상위-$k$개 선택) 또는 전역적으로 (전체 올바른 궤적 풀에서 상위-$N$개 선택) 가장 고품질의 올바른 솔루션을 선택하는 데 사용됩니다.
3. 강화 학습 (RL): 저자들은 그룹 상대 정책 최적화 (GRPO) 를 위한 비대칭 샘플링 전략을 도입합니다. 복잡한 패턴의 숙달을 장려하기 위해 가장 높은 HES 를 가진 긍정적 궤적을 우선 선택하는 반면, 다양한 오류 모드에 대한 노출을 보장하기 위해 무작위 부정적 궤적을 유지합니다. 이는 표준 균일 샘플링 또는 전체 배치 업데이트와 대조됩니다.

주요 기여

1. HES 도입: 응답 경로 내 고엔트로피 토큰만 분석하여 추론의 질을 정량화하는 새로운 학습 불필요 지표로, 중요한 결정 지점의 누적 복잡성을 효과적으로 포착합니다.
2. 통합 선별 프레임워크: SFT, RFT, RL 패러다임과 호환되는 효율적인 데이터 선별 방법으로, 각 패러다임마다 별도의 비싼 선별 메커니즘이 필요하지 않습니다.
3. 소규모에서 대규모로의 전이성: 경량 프록시 모델 (예: 0.6B) 이 더 큰 파운데이션 모델 (예: 8B) 을 위한 데이터를 효과적으로 스크리닝할 수 있음을 입증하여, 선별 품질을 훼손하지 않으면서 오프라인 데이터 큐레이션의 추론 비용을 크게 절감했습니다.

실험 결과

AIME, HMMT, GPQA, LiveCodeBench 와 같은 벤치마크를 사용하여 수학, STEM, 코드 도메인 전반에 걸쳐 광범위한 실험이 수행되었습니다.

• SFT 성능:
  • HES 로 순위 매겨진 상위 20% 데이터로 학습한 경우 다양한 도메인에서 전체 데이터셋과Comparable 한 성능을 달성했습니다.
  • "De-noising" 설정에서 HES 순위 하위 20% 데이터를 제거한 경우 전체 데이터셋보다 성능이 향상되었습니다.
  • 반면, 가장 낮은 HES 를 가진 20% 데이터로 학습한 경우 성능이 급격히 저하되어, 해당 지표가 유해한 노이즈를 식별하는 능력을 입증했습니다.
  • 효율성: 0.6B 프록시 모델을 선별에 사용한 결과 (평균 30.20%) 는 8B 모델을 자체적으로 사용한 결과 (평균 31.34%) 와 Comparable 하여, 선별 비용을 한 자릿수 수준으로 줄였습니다.
• RFT 성능:
  • HES 기반 선별은 쿼리별 및 전역 풀 설정 모두에서 무작위 선택 및 휴리스틱 기준 (길이, 난이도) 보다 현저히 우수한 성능을 보였습니다.
  • 쿼리별 선택은 종종 전역 풀 선택보다 높은 성능을 발휘하여, 품질 필터링과 함께 쿼리 수준의 다양성을 유지하는 것이 중요함을 시사합니다.
• RL 성능:
  • "Pos-High, Neg-Rand" 전략 (최고 HES 긍정 선택 및 무작위 부정 선택) 은 표준 전체 배치 학습 및 기타 샘플링 전략보다 우수한 성능을 보였습니다.
  • 이 접근 방식은 전체 배치 기준 (18.34%) 에 비해 단계당 50% 의 데이터만 사용하여 더 높은 정확도 (평균 19.26%) 를 달성하여, 구별되지 않은 데이터로 배치 크기를 늘리는 것보다 고품질 긍정 신호를 우선시하는 것이 더 효과적임을 확인했습니다.
• 지표 비교: HES 는 대체 엔트로피 기반 지표 (평균 엔트로피, 평균 고엔트로피, 총 엔트로피 합) 보다 일관되게 우수한 성능을 보여, 중요한 분기점의 누적 크기가 추론 품질을 위한 가장 효과적인 프록시임을 확인했습니다.

중요성 및 주장

이 논문은 LLM 의 고급 추론 개발을 위한 통합적이고 효과적이며 효율적인 방법을 가능하게 하는 견고한 학습 불필요 지표로 HES 를 확립합니다. 저자들은 다음과 같이 주장합니다:

• 효율성: HES 는 오프라인 SFT 에서 작은 모델을 사용한 확장 가능한 프록시 선별을 허용하며, 엔트로피가 추가 포워드 패스 없이 생성 중에 동기적으로 계산될 수 있으므로 온라인 RFT 및 RL 설정에서 저장/계산 오버헤드가 무시할 만합니다.
• 효과성: "고엔트로피 소수 토큰"에 초점을 맞춤으로써, 이 방법은 중복 신호와 학습 노이즈를 성공적으로 필터링하여 모델이 선별된 데이터 하위 집합에서 강력한 추론 패턴을 학습할 수 있게 합니다.
• 일반화 가능성: 이 방법은 다양한 모델 아키텍처 (Qwen, Llama, DeepSeek) 와 추론 도메인 (수학, 코드, STEM) 에 적용 가능하여, HES 가 모델 특정 아티팩트가 아닌 본질적인 추론 복잡성을 포착함을 시사합니다.

이 연구는 HES 가 LLM 추론 능력을 확장하기 위한 비용 효율적인 솔루션을 제공하며, 데이터 선별에서 중요한 토큰의 중추적인 역할을 강조하고 고성능 추론 모델 학습과 관련된 계산 부담을 줄인다고 결론지었습니다.