기술 요약: 계산 Teacher (CaT)

문제 정의

전문 기술을 위한 대규모 언어 모델 (LLM) 의 사후 학습은 일반적으로 인간이 라벨링한 참조 답변을 사용한 지도 미세 조정 (SFT) 또는 프로그램적 체커에서 검증 가능한 보상을 사용한 강화 학습 (RL) 에 의존합니다. 수학 및 코드와 같은 도메인에서는 효과적이지만, 다음과 같은 검증 불가능한 도메인(예: 의료 안내, 창의적 글쓰기, 자유 형식 대화) 에서는 이러한 접근 방식이 실패합니다:

1. 여러 개의 유효한 답변이 존재하며 전문가들 간에도 이견이 있을 수 있습니다.
2. 결정론적 규칙 기반 체킹은 실용적이지 않습니다.
3. 인간 주석은 비용이 많이 들고 확장하기 어렵거나 사용 불가능합니다.

자유 형식 출력을 평가하기 위해 LLM 을 심사자 (judge) 로 사용하는 것과 같은 기존 대안들은 불일치, verbosity 편향, 그리고 보상 해킹으로 고통받습니다. 본 논문은 다음과 같은 질문을 제기합니다: 추론 시 계산 (inference-time compute) 이 부족한 감독 신호를 대체할 수 있을까요?

방법론: 계산 Teacher (CaT)

저자들은 **계산 Teacher (CaT)**를 제안합니다. 이는 실제 정답 레이블이 필요 없이 추론 시 계산을 RL 학습을 위한 감독 신호로 변환하는 프레임워크입니다. 이 프레임워크는 현재 정책 $\pi_t$에 의해 생성된 병렬 롤아웃 (rollouts) 을 활용하여 두 가지 주요 단계로 작동합니다.

1. 참조 추정

인간이 제공한 참조에 의존하는 대신, CaT 는 프롬프트 $q$에 대해 생성된 $G$개의 병렬 롤아웃 ($o_{1:G}$) 을 의사 참조 (pseudo-reference)($s$) 로 집계합니다. 이 집계는 모델의 불확실성을 포착합니다. 롤아웃들은 종종 모델이 불확실한 부분에서 서로 다르기 때문입니다.

• 집계 전략: 프레임워크는 방법에 무관합니다. 고정된 앵커 정책 ($\pi_0$) 이 롤아웃 집합을 조건으로 하여 새로운 조정된 응답을 생성하는 **합성 (Synthesis)**을 탐구합니다. 이를 통해 시스템은 서로 다른 롤아웃들의 올바른 조각들 (예: 하나의 롤아웃에서 올바른 중간 단계와 다른 롤아웃에서 유효한 결론) 을 결합할 수 있습니다.
• 대안: 다수결 투표 (Majority Vote) 나 Best-of-N 과 같은 선택 전략도 호환 가능하지만, 원래 롤아웃 분포 밖의 응답을 구성할 수 있는 능력 때문에 합성이 강조됩니다.

2. 보상 유도

의사 참조 $s$는 그룹 상대 정책 최적화 (GRPO) 를 통해 정책을 업데이트하기 위해 개별 롤아웃에 대한 보상을 유도하는 데 사용됩니다. 메커니즘은 도메인 검증 가능성에 따라 다릅니다:

• 검증 가능한 도메인 (예: 수학, 코드): 보상은 이진 (binary) 으로, 롤아웃의 최종 답변이 의사 참조의 답변과 일치하는지 여부에 기반합니다.
• 검증 불가능한 도메인 (예: 의료): 논문은 **자가 제안 루브릭 (Self-Proposed Rubrics)**을 도입합니다.
  • 앵커 정책 $\pi_0$는 의사 참조 $s$에서 파생된 일련의 이진 검증 가능 기준 ($R = \{r_1, \dots, r_n\}$) 을 생성합니다 (예: "의료 전문가와 상담할 것을 권장함").
  • 독립적인 심사자 모델 ($\pi_J$) 이 이러한 기준에 대해 각 롤아웃을 평가합니다.
  • 보상은 충족된 기준의 비율입니다. 이는 모호한 정성적 판단을 구체적이고 감사 가능한 이진 검사로 분해하여 직접적인 LLM-as-a-judge 점수화의 불안정성을 완화합니다.

학습 루프

이 과정은 반복됩니다: 정책이 롤아웃을 생성 $\to$ 참조 추정이 $s$를 생성 $\to$ 보상 유도가 $s$에 대해 롤아웃을 평가 $\to$ GRPO 가 정책을 업데이트합니다. 핵심적으로, 이 프레임워크는 여러 롤아웃을 생성하고 이를 학습 중에 집계하는 데 드는 계산 비용을 분산 (amortize) 하여, 최종 학습된 정책이 추론 시 고품질의 단일 출력을 생성할 수 있도록 합니다.

주요 기여

1. 자가 제안 루브릭: 의사 참조에서 생성된 이진 기준으로 판단을 분해하여 인간이 주석한 루브릭이나 참조 답변이 필요 없는 검증 불가능한 RL 을 위한 새로운 보상 메커니즘입니다.
2. 계산 Teacher (CaT) 프레임워크: 참조 추정과 보상 유도를 통해 추론 계산을 감독으로 전환하는 일반적인 패러다임입니다. 이는 합성(생성적 집계) 이 롤아웃 간의 분산된 정보를 조정함으로써 선택 기반 베이스라인보다 우수할 수 있음을 보여줍니다.
3. 실증적 검증: 검증 불가능한 (HealthBench) 과 검증 가능한 (MATH-500) 도메인 모두에서 세 가지 모델 계열 (Gemma 3 4B, Qwen 3 4B, Llama 3.1 8B) 에 대한 포괄적인 실험.

결과

• 성능 향상: CaT 로 학습된 모델은 초기 학습되지 않은 정책에 비해 HealthBench 에서 최대 +30% 상대적 개선을, MATH-500 에서 **+33%**의 개선을 달성합니다.
• 효율성: 학습된 모델은 9 배 적은 추론 시 계산을 사용하면서도 추론 시 집계 (예: 합성) 의 품질과 일치하거나 초과합니다. 모델은 집계 능력을 내부화하여 추론 시 단일 순전파 (forward pass) 만 필요로 합니다.
• 검증 불가능한 도메인: 자가 제안 루브릭은 HealthBench 에서 전문가 의사가 주석한 루브릭과 유사한 성능을 보이며, 직접적인 "Model-as-Judge" 점수화보다 훨씬 우수합니다.
• 합성 vs. 선택: 합성 기반 참조 추정은 검증 불가능한 도메인에서 선택 베이스라인 (다수결 투표, Best-of-N) 보다 우수합니다. 합성이 합의와 일치하지 않는 경우에도 70–86% 의 확률로 정확하며, 종종 개별 모든 롤아웃에 존재하는 오류를 수정합니다.
• RL vs. SFT: 루브릭 보상을 사용한 RL 은 합성된 참조에 대한 지도 미세 조정 (SFT) 보다 일관되게 우수하여, RL 이 제한된 합성 데이터에서 더 잘 일반화됨을 시사합니다.

중요성 및 주장

본 논문은 CaT 가 참조 답변이 희소하거나, 비싸거나, 존재하지 않는 도메인에서 LLM 의 사후 학습을 위한 실용적인 "플러그인 (drop-in)" 솔루션을 제공한다고 주장합니다. 추론 계산을 활용하여 자체 감독을 생성함으로써 이 프레임워크는 다음과 같은 이점을 제공합니다:

• 검증 가능한 RL 과 검증 불가능한 RL 간의 격차를 해소하여 통합된 접근 방식으로 작동합니다.
• 인간 주석에 대한 의존성을 줄여, 전문가 라벨링이 병목 현상이 되는 전문 도메인을 위한 길을 제시합니다.
• 계산 비용을 분산시켜, 집계의 중추적인 작업을 추론 시 (반복적으로) 에서 학습 시 (한 번) 로 이동시켜 더 효율적인 배포를 가능하게 합니다.

저자들은 기본 모델이 다양한 롤아웃을 생성하는 능력에 대한 의존성과 롤아웃이 수렴함에 따른 성능 정체 (엔트로피 붕괴) 가능성 등 한계를 지적합니다. 그러나 그들은 CaT 를 복잡하고 정성적인 도메인에서 참조 없는 학습을 가능하게 하는 중요한 단계로 위치시킵니다.