기술 요약: Think-with-Rubrics

1. 문제 제기

현재 대규모 언어 모델 (LLM) 을 위한 강화 학습 (RL) 접근법은 정답이 존재하는 검증 가능한 작업에서 탁월한 성과를 보입니다. 그러나 신뢰할 수 있는 보상 신호의 부재로 인해, RL 을 개방형이고 검증 불가능한 지시 따르기 작업으로 확장하는 것은 여전히 어렵습니다. 기존 해결책들은 종종 스칼라 보상 또는 단일 통합 생성 보상 모델에 의존하는데, 이는 미묘한 응답 품질을 포착하기에는 너무 거친 감독을 제공합니다.

최근의 "Rubric-as-Reward(규준을 보상으로)" 패러다임은 작업을 구조화되고 해석 가능한 기준으로 분해함으로써 이를 개선했으나, 중요한 한계가 남아있습니다: 규준은 오직 외부 평가자로서만 취급됩니다. 현재 프레임워크에서 규준은 모델이 응답을 생성한 후 사후적으로 적용되어 성능을 측정합니다. 이러한 설계는 규준이 모델의 생성 과정이나 추론 궤적을 능동적으로 안내하는 것을 방해하며, 이를 정책의 주요 추론 흔적과 분리된 채로 남깁니다.

2. 방법론: Think-with-Rubrics

저자들은 THINK-WITH-RUBRICS를 제안합니다. 이는 규준 생성을 모델의 추론 과정의 고유한 부분으로 내면화하는 새로운 패러다임입니다. 모델은 직접 응답을 생성하는 대신, 먼저 성공 기준을 정의하기 위해 스스로 생성한 규준을 구축한 후, 해당 기준에 조건부로 응답을 생성합니다.

2.1 핵심 패러다임

정책 궤적 $\tau$는 두 가지 순차적 단계로 분해됩니다:

1. 규준 생성: 모델은 입력 지시 $x$에 기반하여 스스로 생성한 규준 $\hat{r}$을 생성합니다: $\hat{r} \sim \pi_\theta(\hat{r} | x)$.
2. 응답 생성: 모델은 지시와 스스로 생성한 규준 모두에 조건부로 최종 답변 $y$를 생성합니다: $y \sim \pi_\theta(y | x, \hat{r})$.

이를 통해 모델은 추론 전에 성공 규칙을 수립하는 능동적 심고려자 (deliberator) 로서 수동적 실행자에서 변환됩니다.

2.2 훈련 워크플로우

훈련 과정은 두 단계로 구성됩니다:

1 단계: SFT 워밍업
모델이 특정 <rubric>...</rubric><answer>...</answer> 형식을 준수하도록 하고, RL 이 형식 준수를 위해 단계를 낭비하지 않도록 하기 위해, 저자들은 감독 미세 조정 (SFT) 을 수행합니다.

• 교사 증류: Openrubrics 데이터셋에서 Gemini-2.5-Flash 의 응답을 증류합니다.
• 목적: 전체 궤적에 대한 가능도를 최대화하여, 규준 구축과 답변 생성을 분리하는 안정적인 구조로 정책을 초기화합니다.

2 단계: RL 훈련
모델은 복합 보상 시스템 $R(\tau) = \alpha R_{gold} + \beta R_{self} + \gamma R_{fmt}$을 사용하는 DAPO 알고리즘으로 최적화됩니다.

• 규준 검증기: Qwen3-32B-Instruct 에서 증류된 특수 경량 검증기가 응답이 특정 기준을 충족하는지 평가하여 가중치 준수 점수를 출력합니다.
• 골든 규준 일관성 보상 ($R_{gold}$): Openrubrics 의 정답 "골든" 규준 ($r^*$) 에 대한 최종 답변의 준수를 측정합니다.
• 스스로 생성된 규준 일관성 보상 ($R_{self}$): 모델의 자신이 생성한 규준 ($\hat{r}$) 에 대한 최종 답변의 준수를 측정합니다. 이는 내부 정렬을 강제합니다.
• 형식 보상 ($R_{fmt}$): 규준과 답변이 성공적으로 파싱되고 기준의 수가 합리적인 범위 (5~15, 피크는 10) 내에 있도록 보장함으로써 "보상 해킹"(예: 사소한 기준 생성) 을 방지합니다.

2.3 핵심 가설

저자들은 $R_{gold}$와 $R_{self}$의 공동 최적화가 피드백 루프를 생성한다고 가정합니다. 만약 답변이 스스로 생성된 규준을 충족하고 동시에 골든 규준에서 높은 점수를 받으면, 스스로 생성된 규준은 암묵적으로 골든 표준과 정렬되도록 장려됩니다 ($S(y, \hat{r}) \uparrow \land S(y, r^*) \uparrow \Rightarrow \hat{r} \approx r^*$).

3. 주요 기여

1. 패러다임 전환: 규준을 외부 평가 지표에서 내부 인지 단계로 변환하여, 모델이 추론 체인 내에서 특정 맥락에 맞춰 기준을 동적으로 적응하도록 합니다.
2. 통합 훈련 워크플로우: 스스로 생성된 규준과 골든 규준 감독을 결합하는 방법을 도입하여, 규준 품질에 대한 명시적 감독이 불필요함을 입증했습니다. 규준 학습은 답변 일관성 공동 최적화를 통해 자연스럽게 발생합니다.
3. 확장 가능한 자기 진화: 모델이 오직 스스로 생성된 규준 감독만을 사용하여 경쟁력 있는 성능을 달성할 수 있음을 보여주며, 외부 주석에 의존하지 않는 확장 가능한 자기 진화의 경로를 제시합니다.

4. 실험 결과

실험은 IFEval, IFBench, InfoBench라는 세 가지 지시 따르기 벤치마크에 걸쳐 Qwen3-8B 및 Qwen3-4B 모델을 대상으로 수행되었습니다.

• 성능 향상: THINK-WITH-Rubrics 는 일관되게 "Rubric-as-Reward" 기준선 (골든 규준을 외부 보상만으로 사용하는 방식) 을 능가합니다.
  • 8B 모델에서 혼합 보상 설정은 기준선 대비 평균 3.87 점의 개선을 달성했습니다.
  • 4B 모델에서 개선 폭은 4.16 점이었습니다.
• 보상 구성: 혼합 보상 설정 (골든 및 스스로 생성된 일관성 결합) 이 가장 좋은 결과를 낳았습니다. 그러나 "스스로 생성된 보상만" 설정 (평균 57.17%) 은 "골든 보상만" 설정 (평균 56.81%) 을 약간 능가하여, 자기 진화의 실현 가능성을 검증했습니다.
• 효율성: THINK-WITH-RUBRICS 의 평균 사고 길이 (231 토큰) 는 일반 사고 (401 토큰) 보다 현저히 짧았으며, 이는 규준이 필수 요구사항을 간소화된 과정으로 응축함을 시사합니다.

메커니즘 분석

• 암묵적 품질 개선: 골든 규준을 통한 감독은 직접적인 규준 수준 비교 없이도 스스로 생성된 규준의 품질을 암묵적으로 향상시킵니다.
• 내부 일관성: 스스로 생성된 규준 감독은 모델의 자체 규준과 답변 간의 일관성을 현저히 향상시킵니다. 훈련되지 않은 모델은 종종 자신이 생성한 기준을 따르지 못하는데, 자기 감독은 이러한 내부 불일치를 완화합니다.
• 규준 품질 vs 성능: 스스로만 감독하는 방식은 지시 따르기 성능을 향상시키지만, 결과적으로 생성된 규준이 RewardBench-2 에서 보듯 반드시 더 나은 범용 평가자가 되는 것은 아닙니다. 그 가치는 모델의 자체 생성 과정에서 제약 일관성을 유지하는 데 있습니다.

5. 의미 및 주장

본 논문은 THINK-WITH-RUBRICS가 보상 모델링과 정책 생성 간의 격차를 해소함으로써 LLM 을 개방형 지시와 정렬시키는 강력한 솔루션을 제공한다고 주장합니다.

• 능동적 안내: 규준을 외부 점검이 아닌 내부 추론 단계로 취급함으로써, 모델은 인간 메타인지와 유사하게 원하는 결과로 자신의 생성을 능동적으로 안내합니다.
• 자기 진화 잠재력: 모델이 스스로 생성된 규준만을 사용하여 개선할 수 있는 능력은 외부 정답 주석에 대한 의존도를 줄이는 확장 가능한 자기 진화의 실현 가능한 경로를 시사합니다.
• 일반화 가능성: 이 패러다임은 다양한 모델 규모 (4B~8B) 와 다양한 보상 가중치 구성에서 효과적으로 유지되어 견고성을 입증합니다.

저자들은 규준 생성을 추론 궤적에 통합하는 것이 개방형 작업 정렬을 위한 일반적인 패러다임이며, 기존 "think" 또는 "chain-of-thought" 방법보다 더 구조화되고 자기 일관적인 접근법을 제공한다고 결론지었습니다.