Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

"Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

목표 조건부 정책 (예: 로봇 공학 또는 embodied AI 를 위한 기초 모델) 은 지시를 해석하고 다양한 행동을 실행하는 데 뛰어난 능력을 보여왔습니다. 그러나 하류 성능은 특정 프롬프트나 지시에 매우 민감합니다.

• 딜레마:
  • 프롬프트 엔지니어링: 이산적이고 미분 불가능한 텍스트 검색에 의존합니다. 이는 고정된 정책을 존중하지만, 자연어가 제어 인터페이스로서의 한계로 인해 최적의 행동을 이끌어내는 데 종종 실패합니다.
  • 표준 파인튜닝: 작업을 정렬하기 위해 정책 매개변수를 업데이트합니다. 효과적이기는 하지만, **파괴적 망각 (catastrophic forgetting)**의 위험, 좁은 작업 분포에 대한 과적합, 그리고 사전 훈련 중에 획득한 광범위한 일반화 능력의 파괴를 초래할 수 있습니다.
• 격차: 고정된 기초 모델의 구조적 안정성과 일반화를 유지하면서 파인튜닝의 최적화 능력을 제공하는 적응 메커니즘이 필요합니다.

2. 방법론: 선호도 목표 튜닝 (Preference Goal Tuning, PGT)

저자들은 적응을 **잠재 제어 문제 (latent control problem)**로 재구성하는 **선호도 목표 튜닝 (PGT)**이라는 사후 훈련 프레임워크를 제안합니다. 정책 가중치를 업데이트하는 대신, PGT 는 고정된 정책의 행동을 조절하기 위해 연속적인 **잠재 목표 임베딩 ($g$)**을 최적화합니다.

핵심 공식화

• 고정된 정책: 정책 매개변수 ($\theta$) 는 고정된 상태로 유지됩니다: $\pi(a|s, g; \theta)$.
• 잠재 제어: 목표 $g \in \mathbb{R}^d$는 학습 가능한 매개변수로 간주됩니다. 정책은 $g$로 인덱싱된 "행동 다양체 (behavioral manifold)"를 정의합니다.
• 목적: 인간 또는 보상 기반 선호도로 정의된 목표 분포와의 편차를 최소화하면서 작업 선호도와 정렬된 궤적 분포를 유도하는 최적의 $g^*$를 찾는 것입니다.

알고리즘적 과정

PGT 는 주로 두 가지 주요 단계로 반복적으로 작동합니다:

1. 선호도 샘플 생성:
   • 잠재 목표 $g$로 인코딩된 초기 프롬프트로 시작합니다.
   • 고정된 정책과 $g$를 사용하여 환경과 상호작용하여 궤적 ($\tau$) 을 수집합니다.
   • 궤적을 긍정적 (선호) 또는 **부정적 (비선호)**으로 레이블링합니다. 레이블은 인간 주석가나 보상 신호 (예: Minecraft 의 누적 보상) 에서 나올 수 있습니다.
2. 행동 선호도 전파:
   • 선호도 학습 목적 (예: DPO - 직접 선호도 최적화) 을 사용하여 잠재 목표 $g$를 업데이트합니다.
   • 이 목적 함수는 기준 목표 ($g_{ref}$) 에 비해 선호되는 궤적의 가능도를 최대화하면서 바람직하지 않은 궤적을 억제합니다.
   • 손실 함수: 최적화는 선호도 쌍의 음의 로그 가능도를 최소화합니다:
     $$\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$$
     여기서 $\Delta$는 승자 궤적 ($\tau_w$) 과 패자 궤적 ($\tau_l$) 에 대한 현재 목표와 기준 목표 간의 로그 가능도 비율 차이입니다.

핵심 이론적 통찰

수백만 개의 매개변수가 아닌 저차원 잠재 벡터로 최적화를 제한함으로써, PGT 는 기억보다 일반화를 선호하는 강력한 귀납적 편향을 부과합니다. 이는 정책 내에 인코딩된 기본 물리 역학을 변경하지 않고 최적의 조건부 입력을 효과적으로 탐색합니다.

3. 주요 기여

1. 잠재 제어 패러다임: 적응이 기초 정책을 고정시킨 채 잠재 목표 임베딩을 최적화함으로써만 달성되는 새로운 사후 훈련 접근법을 제시합니다. 이는 작업 정렬을 물리 역학으로부터 분리합니다.
2. 선호도 기반 최적화: DPO 및 그 변형을 잠재 목표 공간에 적응시켜, 최소한의 데이터로 작업 선호도와 효율적으로 정렬할 수 있도록 합니다.
3. OOD 에 대한 강건성: 작업 적응을 잠재 목표로 격리함으로써 파괴적 망각을 방지하고 표준 파인튜닝이 종종 저하시키는 분포 외 (OOD) 일반화를 유지함을 입증합니다.
4. 연속 학습 능력: PGT 가 작업당 컴팩트한 잠재 벡터를 저장함으로써 복잡한 재현 또는 정규화 메커니즘 없이 작업 간 간섭을 피하면서 확장 가능한 연속 학습을 가능하게 함을 보여줍니다.

4. 실험 결과

이 프레임워크는 두 개의 기초 정책 (GROOT 및 STEVE-1) 을 사용하여 **Minecraft SkillForge 벤치마크 (17 개 작업)**와 LIBERO-goal 로봇 조작 벤치마크에서 평가되었습니다.

• 성능 향상:
  • PGT 는 분포 내 작업에서 사전 훈련된 정책에 비해 GROOT 의 경우 평균 72.0%, STEVE-1 의 경우 **81.6%**의 상대적 개선을 달성했습니다.
  • 이는 전문가가 만든 프롬프트와 표준 프롬프트 엔지니어링 기준선보다 일관되게 우수한 성능을 보였습니다.
• 분포 외 (OOD) 일반화:
  • OOD 설정 (변경된 시드, 생물군계, 도구 구성) 에서 PGT 는 각각 **73.8%**와 **36.9%**만큼 성능을 향상시켰습니다.
  • 특히 PGT 는 OOD 설정에서 전체 파인튜닝을 13.4% 능가했습니다. 전체 파인튜닝은 분포 내 성능을 향상시켰지만 과적합으로 인해 일반화를 종종 저하시켰습니다.
• 매개변수 효율성:
  • PGT 는 잠재 목표 벡터인 512 개 매개변수만 최적화하는 반면, 전체 파인튜닝은 약 1 억 개의 매개변수를 포함합니다.
  • OOD 시나리오에서 LoRA, BitFit, VeRA 와 같은 다른 매개변수 효율적 파인튜닝 (PEFT) 방법보다 우수한 성능을 보였습니다.
• 연속 학습:
  • 순차적 작업 습득에서 PGT 는 파괴적 망각을 완전히 방지한 반면, Naive Continual Learning (NCL) 및 Elastic Weight Consolidation (EWC) 과 같은 기준선은 이전 작업에서 심각한 성능 저하를 겪었습니다.
• 크로스 도메인 유효성:
  • 로봇 조작 (LIBERO-goal) 을 위한 OpenVLA 정책에 대한 실험은 PGT 가 Minecraft 를 넘어 적용 가능한 일반적인 사후 훈련 메커니즘임을 확인시켜 주었으며, 연속 제어 도메인에서 성공률을 향상시켰습니다.

5. 중요성 및 영향

• 기초 능력의 보존: PGT 는 대규모 모델을 적응시키는 "비파괴적" 방법을 제공합니다. 이는 모델이 사전 훈련 중에 획득한 광범위하고 구성적인 지식을 지우지 않고 새로운 작업을 학습할 수 있게 합니다.
• 샘플 효율성: 저차원 벡터를 최적화함으로써 PGT 는 전체 파인튜닝보다 훨씬 적은 데이터와 연산 자원을 필요로 하므로, 실제 세계 배포에 매우 실용적입니다.
• 확장 가능한 적응: 작업당 단일 컴팩트한 잠재 벡터를 저장할 수 있는 능력은 간섭을 겪거나 대규모 재현 버퍼가 필요하지 않은 확장 가능한 다중 작업 에이전트를 위한 실현 가능한 경로를 시사합니다.
• 안전 및 제어: 이 프레임워크는 이산적 텍스트 프롬프트와 복잡한 물리적 작업에 필요한 연속적 제어 사이의 간극을 메우는 행동을 조절하기 위한 연속적이고 미분 가능한 인터페이스를 제공합니다.

결론적으로, **선호도 목표 튜닝 (Preference Goal Tuning)**은 기초 모델을 적응시키는 방식에서 가중치 수정에서 잠재 공간 탐색으로의 중요한 전환을 나타내며, 이를 통해 목표 조건부 의사 결정에서 뛰어난 강건성, 일반화 및 효율성을 달성합니다.