기술 요약: 벡터 조향 정책 최적화 (VSPO)

문제 정의

현대 대규모 언어 모델 (LLM) 은 주된 정확도 목표를 최적화하는 동시에 verbosity(말이 많은 정도), 신뢰 표현, 전문성 수준, 또는 오해의 소지가 있는 맥락에 대한 견고성 같은 이차적 행동 선호도를 동시에 수용해야 하는 경우가 많습니다. 실제 적용에서 기본 모델은 이러한 원하는 행동을 드물게 또는 전혀 보여주지 않아 희소 행동 보상 병목 현상이 발생합니다.

기존 접근 방식은 이러한 다목적 설정에서 다음과 같은 중대한 한계에 직면해 있습니다:

• 보상 설계 (Reward Shaping): 그룹 상대 정책 최적화 (GRPO) 에 보조 보상을 추가하는 것은 샘플링된 롤아웃에서 목표 행동이 드물 때 비효율적인 경우가 많습니다. 스칼라 보상은 궤적을 평가하지만, 롤아웃 분포 자체의 다양성이나 품질을 향상시키지는 못합니다. 만약 GRPO 그룹에 고품질 또는 행동적으로 다양한 후보가 없다면, 상대적 이점 정규화는 약한 학습 신호를 제공합니다.
• 교사-추적 증류 (SFT): 더 강력한 교사 모델을 사용하여 목표 행동을 가진 추적을 생성하거나 다시 작성하는 것은 **온-폴리시 불일치 (off-policy mismatch)**를 초래합니다. 학생 모델은 다른 모델이 생성한 궤적이 아닌 자신의 샘플링된 출력에서 학습하므로, 증류된 행동과 학생 모델이 도달 가능한 분포 사이에 단절이 발생할 수 있습니다.
• 온라인 AI 피드백 (RLAIF): RL 루프 동안 강력한 교사 모델을 주석가나 재작성자로 사용하는 방법은 반복적인 API 호출로 인해 계산 비용이 많이 들며, 재작성된 추적을 기반으로 학습할 때 여전히 온-폴리시 단점을 겪습니다.

방법론: 벡터 조향 정책 최적화 (VSPO)

VSPO 는 목표 행동과 관련된 **조향 벡터 (steering vectors)**를 사용하여 생성된 롤아웃의 강도를 제어함으로써 이러한 병목 현상을 해결합니다. 이 방법은 모델이 자신의 조향 벡터를 내부화하는 온-폴리시 잠재적 자기 증류 (on-policy latent self-distillation) 절차로 구성됩니다.

VSPO 워크플로우는 두 단계로 구성됩니다:

1 단계: 조향 벡터 구성

조향 벡터는 모델의 잠재 활성화 공간에서 목표 행동을 나타내도록 구성됩니다.

1. 대조적 재작성 (Contrastive Rewriting): 교사 모델이 목표 모델의 기본 응답을 긍정적 및 부정적 행동 변형 (예: 전문가 대 초보자 설명) 으로 재작성합니다.
2. 벡터 추출: 이러한 긍정적 및 부정적 변형 간의 활성화 차이를 레이어별로 계산합니다. 가장 강력한 레이어별 방향을 선택하여 정규화하면 조향 벡터 $v$가 형성됩니다. 이 벡터는 목표 행동의 잠재 방향을 포착합니다.

2 단계: 자기 증류 정책 최적화

현재 정책은 수정된 롤아웃 생성 과정을 통해 GRPO 를 사용하여 최적화되지만, 다음과 같은 방식으로 수행됩니다:

1. 조향된 롤아웃 (Steered Rollouts): 각 프롬프트에 대해 $G$개의 롤아웃 그룹이 다양한 조향 강도 $\beta \in \{\beta_1, \dots, \beta_G\}$로 샘플링됩니다. 이러한 강도는 디코딩 중 잔류 스트림에 조향 벡터를 주입하여 적용됩니다: $\tilde{h}_t = h_t + \beta v$.
2. 보상 계산: 각 롤아웃은 $r = r_0 + \alpha \beta$의 보상을 받습니다. 여기서 $r_0$는 주된 작업 보상 (예: 정확성) 이고, $\alpha \beta$는 조향 강도에 비례하는 대리 행동 보상입니다.
3. 정책 업데이트: 정책은 그룹 상대 이점을 사용하여 표준 GRPO 목적 함수로 업데이트됩니다. 핵심적으로, 업데이트는 조향되지 않은 정책 ($\pi_\theta$) 에 적용되는 반면, 이점은 조향된 추적 (traces) 을 기반으로 계산됩니다. 이를 통해 모델은 조향 벡터로 정책의 추론 시 행동을 영구적으로 변경하지 않고도 자신의 조향된 변형에서 유용한 행동을 증류할 수 있습니다.

주요 기여

1. 알고리즘적 혁신: 작업 정확성을 유지하면서 행동을 제어하기 위해 조향 벡터를 활용하는 다목적 정책 최적화 방법인 VSPO 의 도입. 일반 GRPO 나 보상 설계와 달리 VSPO 는 목표 잠재 벡터를 따라 명시적으로 추적을 샘플링함으로써 롤아웃 다양성을 능동적으로 향상시킵니다. 교사-추적 SFT 와 달리, 온-폴리시 교사 궤적에 대한 학습을 피합니다; 교사는 벡터 구성에만 보조 역할을 합니다.
2. 이론적 보장: 이 논문은 밴딧 추상화 하에서 VSPO 가 보상 설계된 GRPO 보다 증명적으로 더 나은 반복 복잡도를 달성함을 입증합니다. 구체적으로, 조향으로 인한 분포가 목표 행동과 충분히 정렬되어 있을 때 (즉, "$\gamma$-good" 조건을 만족할 때), VSPO 는 드물지만 바람직한 행동 패턴을 오버샘플링하여 수렴을 가속화합니다.
3. 실증적 검증: MATH 및 MMLU-Pro 벤치마크에 대한 광범위한 평가는 VSPO 가 보상 설계, 교사-추적 SFT, SDFT, SDPO, 그리고 RLAIF 스타일 베이스라인보다 일관되게 우월함을 보여줍니다. 이는 네 가지 목표 행동 (전문성 수준, 신뢰 표현, 오해의 소지가 있는 맥락에 대한 견고성, 그리고 verbosity) 에 대한 강력한 제어를 달성하면서도 작업 정확성을 유지하거나 향상시킵니다.
4. 유리한 특성: VSPO 는 행동 축을 따라 자연스러운 학습 커리큘럼을 유도하며, 정책 근접 분포 (기본 모델에 대한 낮은 NLL) 를 유지하여 온-폴리시 방법에서 흔히 발생하는 심각한 분포 불일치를 방지합니다.

실험 결과

저자들은 MMLU-Pro 와 MATH 두 가지 벤치마크에서 네 가지 목표 행동에 대해 VSPO 를 평가했습니다:

• 전문성 수준: VSPO 는 높은 정확도를 유지하면서 (예: MMLU-Pro 에서 전문가 수준의 64.3% 대 SFT 의 45.0%) 전문가와 초보자 스타일 간 양방향 제어를 가장 강력하게 달성했습니다.
• 신뢰 표현: VSPO 는 정확성을 저하시키지 않고 자신감 있거나 신중한 어조로 응답을 성공적으로 조향했으며, 종종 스타일과 정확성 사이의 트레이드오프를 겪는 베이스라인보다 우월했습니다.
• 오해의 소지가 있는 맥락에 대한 견고성: 모델이 잘못 주입된 답변에 동의하도록 편향된 설정에서, VSPO 는 롤아웃 생성 중 더 많은 독립적 추론 추적을 노출시켜 정확성을 크게 향상시켰습니다 (원래 모델 대비 64.2% 대 23.6%).
• 간결한 추론: VSPO 는 길이 패널티 보상 설계에 비해 더 짧은 응답으로 더 높은 정확도를 달성함으로써 정확도 - 길이 트레이드오프를 개선했습니다.

중요성과 주장

이 논문은 VSPO 가 제어 가능한 다목적 정렬 분야에서 중요한 진전을 나타낸다고 주장합니다. 행동 제어를 보상 설계나 온-폴리시 증류 문제가 아닌 잠재 조향 문제로 간주함으로써 VSPO 는 다음과 같은 이점을 제공합니다:

• 현재 정책에서 직접 다양하고 행동 정렬된 후보를 생성함으로써 희소 보상 병목 현상을 완화합니다.
• 반복적인 교사 호출이 필요한 방법과 달리 최적화 전반에 걸쳐 단일 조향 벡터를 재사용함으로써 비싼 외부 피드백에 대한 의존도를 줄입니다.
• 온-폴리시 및 정책 근접 상태를 유지하여 교사-추적 증류에 내재된 분포 불일치를 피함으로써 안정적인 최적화를 가능하게 합니다.

저자들은 VSPO 가 주된 작업 성능을 희생하지 않고 제어 가능한 이차 행동을 획득하기 위한 강력한 프레임워크를 제공하며, 기존 RL 및 증류 방법보다 더 샘플 효율적이고 이론적으로 근거 있는 대안을 제공한다고 결론지었습니다.