기술 요약: 대규모 언어 모델을 위한 쿼리 조건부 추론 시간 자기 학습 (QueST)

문제 정의

대규모 언어 모델 (LLM) 은 일반적으로 고정된 매개변수로 배포됩니다. 성능은 **추론 시간 확장 (Test-Time Scaling, TTS)**을 통해 샘플링 또는 검색 전략으로 더 많은 계산 자원을 할당함으로써 향상될 수 있지만, 이러한 방법은 근본적인 모델의 오개념을 수정하거나 개별 쿼리의 특정 구조적 뉘앙스에 적응하지는 못합니다. 반면, **추론 시간 최적화 (Test-Time Optimization, TTO)**는 추론 중에 모델 매개변수를 업데이트하는 것을 목표로 하지만, 현재 두 가지 주요 한계에 직면해 있습니다:

1. 외부 데이터 의존성: TTT-NN 과 같은 방법은 대규모 외부 데이터베이스에서 유사한 문제를 검색해야 하므로, 저장 및 검색 오버헤드가 발생합니다.
2. 정렬되지 않은 목적 함수: TLM 과 같은 방법은 특정 쿼리가 요구하는 추론 구조와 정렬되지 않은 일반적 자기지도 학습 목적 함수 (예: 입력 퍼플렉시티 최소화) 를 최적화합니다.

핵심 과제는 외부 데이터 없이 입력 쿼리 자체에서 직접 유도된 감독 신호를 사용하여 추론 시 쿼리별 적응을 가능하게 하는 것입니다.

방법론: QueST

저자들은 입력 쿼리에서 완전히 구성된 감독 신호를 사용하여 추론 중에 모델 매개변수를 적응시키는 프레임워크인 **쿼리 조건부 추론 시간 자기 학습 (QueST)**을 제안합니다. 이 방법은 입력 쿼리가 구조적으로 관련된 문제 - 해결 쌍을 생성하기에 충분한 잠재 신호를 인코딩한다는 통찰에 기반합니다.

QueST 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 쿼리 조건부 감독 생성

사용자 쿼리 $q$가 주어지면, QueST 는 이를 보조 문제 - 해결 쌍의 데이터셋 $\mathcal{D}(q) = \{(x_i, y_i)\}_{i=1}^N$을 생성하는 시드 (seed) 로 간주합니다.

• 생성기: 기본 모델 자체가 생성기 $p_\phi(x, y | q)$로 작용합니다.
• 조건부 설정: 생성은 $q$에 조건부로 이루어지므로, 생성된 쌍은 원래 쿼리와 핵심 개념 및 추론 패턴을 공유합니다.
• 목표: $\mathcal{D}(q)$는 쿼리에 의해 유도된 로컬 데이터 분포 $D_q$의 경험적 근사치 역할을 하여, 외부 데이터 없이 쿼리 정렬된 감독을 제공합니다.

2. 저랭크 추론 시간 최적화

모델을 효율적으로 적응시키기 위해, QueST 는 단일 쿼리 적응에 대해 계산 비용이 많이 들고 불안정한 전체 파인튜닝 대신 **저랭크 적응 (Low-Rank Adaptation, LoRA)**을 사용합니다.

• 목적 함수: 모델 매개변수 $\theta$는 생성된 데이터셋에 대한 교차 엔트로피 손실을 최소화함으로써 $\theta'$로 업데이트됩니다:
  $$\theta' = \arg \min_{\theta_{\text{LoRA}}} \frac{1}{N} \sum_{i=1}^N \ell(f_\theta(x_i), y_i)$$
• 효율성: 기본 매개변수 $\theta$는 고정된 채로 저랭크 LoRA 매개변수 $\theta_{\text{LoRA}}$만 업데이트됩니다. 이를 통해 몇 가지 최적화 단계 (일반적으로 $T=10$에서 $40$) 내에서 경량화된 표적 적응이 가능합니다.

3. 최종 추론

적응된 모델 $f_{\theta'}$는 원래 쿼리 $q$에 대한 최종 응답 $y^*$를 생성하는 데 사용됩니다. LoRA 가중치는 후속 쿼리를 위해 재설정되어 적응이 엄격하게 쿼리별임을 보장합니다.

주요 기여

1. 새로운 프레임워크: 쿼리별 적응, 외부 데이터 독립성, 추론 시간 매개변수 업데이트, 입력 조건부 신호 생성이라는 네 가지 핵심 속성을 동시에 만족하는 최초의 TTO 방법인 QueST 의 도입.
2. 자기지도 신호 추출: 입력 쿼리가 의미 있는 감독 쌍을 생성하기에 충분한 잠재 구조를 포함하고 있음을 입증하여, 외부 검색 데이터베이스나 일반적 퍼플렉시티 최소화의 필요성을 제거함.
3. 매개변수 효율적 적응: LoRA 를 추론 시간 루프에 통합하여 소수의 생성된 감독 샘플로도 안정적이고 효율적인 적응을 가능하게 함.

실험 결과

QueST 는 7 가지 수학 추론 벤치마크(AMC, Minerva, MATH500, GSM8K, OlympiadBench, AIME25, AIME24) 와 GPQA-Diamond 과학 추론 벤치마크에서 평가되었습니다.

• 성능 향상: 다양한 모델 아키텍처 (Qwen3-4B/8B, OctoThinker-3B/8B) 에서 QueST 는 엔트로피 최소화 (TENT) 및 퍼플렉시티 최소화 (TLM) 를 포함한 강력한 베이스라인을 일관되게 능가했습니다.
  • 평균적으로 QueST 는 기본 모델 대비 정확도를 6.44 퍼센트 포인트 향상시켰습니다.
  • 수학 벤치마크에서 기본 모델 대비 +5.77 에서 +7.21 퍼센트 포인트의 개선을 이루어 추론 시간 최적화 방법 중 최첨단 결과를 달성했습니다.
• 효율성: Figure 1 에서와 같이, 토큰 수 증가에 의존하는 샘플링 기반 TTS 베이스라인보다 높은 정확도를 달성하면서도 훨씬 적은 수의 추론 시간 토큰을 사용했습니다.
• 일반화: 이 방법은 수학 추론을 넘어 과학 추론 (GPQA-Diamond) 으로도 일반화되어, 기본 모델과 사후 학습 모델 모두에서 일관된 개선을 보였습니다.
• 정성적 분석: 사례 연구 (Figure 3 및 4) 는 생성된 구조적 변형을 활용하여 오류 예측을 수정하고 모델의 행동을 표면적 패턴 매칭에서 더 깊은 구조적 추론으로 전환시키는 QueST 의 능력을 입증했습니다.

의의 및 주장

이 논문은 QueST 가 정적 추론에서 적응형 추론으로의 전환을 나타낸다고 주장합니다. 쿼리 자체를 감독의 원천으로 활용함으로써, QueST 는 모델이 추론 과정에서 유용한 지식을 능동적으로 획득할 수 있게 합니다.

• 실용성: 이 프레임워크는 비용이 많이 드는 재학습이나 외부 데이터 검색에 대한 실용적인 대안을 제공하여 개별 쿼리에 대한 동적 전문화를 가능하게 합니다.
• 패러다임 전환: 저자들은 추론 시간 최적화가 단순히 표현을 적응시키거나 (TTS 와 같이) 외부 신호에 의존해서는 안 되며, 대신 현재 쿼리의 구조적 함의에서 모델이 "학습"할 수 있어야 한다고 주장합니다.
• 한계: 저자들은 효과성이 입력 쿼리의 품질에 의존함을 인정합니다. 모호하거나 잘못된 쿼리는 약하거나 오해의 소지가 있는 감독으로 이어질 수 있습니다. 또한, 생성된 감독이 일반적으로 성공적인 추적만 포함하고 오류 진단 예제가 부족하기 때문에 오류 수정 처리에 대한 현재 한계도 지적합니다.

결론적으로, QueST 는 외부 데이터 의존성 없이 추론 시 LLM 성능을 향상시키기 위한 효과적이고 실용적인 패러다임으로서 쿼리 조건부 자기 학습을 확립합니다.