기술 요약: 피드백 조작 정규화 (Feedback Manipulation Regularization, FMR)

문제 정의

강화 학습(RL)은 적성(task를 해결하는 법을 배우는 것)과 정렬(인간의 가치에 부합하게 해결하는 법을 배우는 것)이라는 이중 과제에 직면해 있습니다. 인간의 시연(demonstrations)과 피드백은 정렬을 위해 매우 중요하지만, 기존 방식들은 주로 언어 생성의 컨텍스추얼 밴딧(contextual bandit) 프레임링에 설계된 다단계 파이프라인(예: RLHF)에 의존합니다. 이러한 방법들은 완전한 순차적 의사결정 환경으로 전이되는 데 어려움을 겪습니다.

또한, 현재의 선호도 기반 학습 방법은 순차적 설정에서 근본적인 한계를 가집니다:

1. 관계적 모호성(Relational Ambiguity): 선호도는 상대적("어느 것이 더 나은가?")이지 절대적("이것이 좋은 것인가?")이지 않습니다. 비교 쌍의 두 옵션 모두 정렬되지 않은 상태일 수 있으므로, 선호되는 행동이 반드시 정렬된 행동인 것은 아닙니다.
2. 샘플링 제한(Sampling Limitations): 무작위로 샘플링된 비교 쌍은 명시적인 큐레이션 없이는 특정 행동을 타겟팅하기 어렵게 만듭니다.
3. 데이터 희소성(Data Scarcity): 전문가의 시연이 부족하거나 불완전한 시연에 노이즈가 섞인 행동이 포함된 오프라인 설정의 경우, 기존 알고리즘은 종종 정렬 상태를 유지하는 데 실패합니다.

본 논문은 제한된 데이터 환경에서도 시연과 평가적 피드백을 효과적으로 결합하여 정책을 정렬할 수 있는 단일 단계의 오프라인 방법을 제안합니다.

방법론: 피드백 조작 정규화 (FMR)

저자들은 평가적 피드백을 모방 학습에 통합하는 알고리즘 불가지론적(algorithm-agnostic) 프레임워크인 **피드백 조작 정규화(FMR)**를 제로합니다. 피드백을 보상 신호나 선호도 점수로 취급하는 방식과 달리, FMR은 피드백을 사용하여 정책의 확률 분포를 직접 조작합니다.

핵심 메커니즘

FMR은 인간의 피드백 $h(s, a) \in \{-1, 0, 1\}$을 학습된 정책 $\pi_\theta$를 잠재적인 인간 정렬 정책 $\pi_h$로 재형성하는 교정 신호로 취급하여 작동합니다.

1. 피드백 적응형 온도(Feedback-Adaptive Temperature):
   이 방법은 피드백으로부터 유도된 온도 파라미터 $\tau(s, a)$를 도입합니다.

   • 부정적 피드백 ($h < 0$)은 $\tau > 1$을 의미하며, 선택된 행동을 억제합니다.
   • 긍정적 피드백 ($h > 0$)은 선택되지 않은 행동에 대해 $\tau < 1$을 의미합니다(효과적으로 다른 행동들에 비해 선택된 행동을 장려함).
   • 피드백 없음 ($h = 0$)은 $\tau = 1$이 되어 아무런 영향을 미치지 않습니다.
     온도는 지수 맵을 통해 계산됩니다: 선택된 행동에 대한 부정적 피드백의 경우 $\tau_j = \beta^{-h}$, 선택되지 않은 행동에 대한 긍정적 피드백의 경우 $\tau_j = \beta^h$ (여기서 $\beta > 1$).

2. 정책 재형성(Policy Reshaping):
   인간 정렬 정책은 확률 공간에서 현재 정책에 온도 스케일링을 적용하여 근사화됩니다:
   $$\pi_\tau(a_j | s) := \frac{\pi_\theta(a_j | s) \tau_j^{-1}}{Z_\theta(s)}$$
   여기서 $Z_\theta(s)$는 정규화 상수입니다. 이 연산은 확률 질량을 재분배하여, 명시적인 보상 모델링 없이도 정렬되지 않은 행동을 억제하고 정렬된 행동을 장려합니다.

3. 정규화 목적 함수(Regularization Objective):
   FMR은 학습된 정책 $\pi_\theta$와 피드백이 적용된 서로게이트(surrogate) $\pi_\tau$ 사이의 역 쿨백-라이블러(reverse KL) 발산을 사용하는 분포 매칭 문제로 정렬을 공식화합니다. 이는 다음과 같은 정규화 항을 생성합니다:
   $$R_{FMR}(\theta) := \mathbb{E}_{s \sim D_U} \mathbb{E}_{a \sim \pi_\theta(\cdot|s)} [\log \tau(s, a)]$$
   최종 목적 함수는 표준 모방 학습 손실($L_{IL}$)과 이 정규화 항을 결합합니다:
   $$L(\theta) = L_{IL}(\theta) + \alpha R_{FMR}(\theta)$$
   여기서 $\alpha$는 정렬 강도를 제어합니다.

데이터 처리

이 방법은 $D_E$(정렬된 전문가 데이터)와 $D_I$(불완전한 데이터)로 구성된 데이터셋 $D_U = D_E \cup D_I$를 다루는 **노이즈가 있는 시연으로부터의 학습(LfND)**을 위해 설계되었습니다. FMR은 평가적 피드백을 활용하여 $D_I$ 내의 정렬되지 않은 하위 궤적(sub-trajectories)을 구별하고 억제합니다.

주요 기여

1. 알고리즘 불가지론적 프레임워크: FMR은 정규화 항으로서 모든 모방 학습 알고리즘(예: Behavioral Cloning, IQL, DemoDICE, ReCOIL)에 적용될 수 있습니다.
2. 단일 단계 오프라인 훈련: 다단계 RLHF 파이프라인과 달리, FMR은 환경 접근이 제한된 완전한 순차적 의사결정 환경에 적합한 단일 단계로 작동합니다.
3. 제한된 데이터에서의 견고성: FMR은 전문가와 불완전한 데이터의 비율이 낮을 때(예: 1:50)나 불완전한 데이터에 도움이 되는 행동이 거의 없을 때도 견고함을 입증했습니다.
4. 원칙적인 평가: 저자들은 비용(cost) 신호를 사용하여 총 보상(total return)과는 구별되는 원칙적인 정렬 척도를 제공하기 위해 Safety Gymnasium 환경을 테스트베드로 적응시켰습니다.

실험 결과

저자들은 다양한 모방 학습 베이스라인을 사용하여 3D 네비게이션 및 속도 제한 로코모션 작업(Hopper, Swimmer, Walker2D)에 대해 FMR을 평가했습니다.

• 정렬 개선: FMR은 테스트된 모든 알고리즘에서 일관되게 정렬 미흡(misalignment)을 감소시켰습니다. PathM 네비게이션 작업에서 FMR은 ReCOIL의 정렬 미흡을 최대 92% 감소시켰습니다. 속도 관련 작업에서는 최대 **98%**의 감소가 관찰되었습니다.
• 적성 보존: 결정적으로, 정렬 미흡의 감소는 작업 수행 능력(적성)의 희생을 동반하지 않았습니다. FMR은 베이스라인과 비교하여 성공률과 정규화된 보상을 유지하거나 개선했습니다.
• 대안과의 비교:
  • vs. DVL (Dual Value Learning): 피드백을 보상으로 대체하는 DVL은 성능이 저조했으며, 이는 피드백을 단순히 보상 신호로 해석하는 것이 비효리적임을 확인시켜 줍니다.
  • vs. CPL (Contrastive Preference Learning): 쌍별 점수 산출을 위해 피드백을 사용하는 CPL은 데이터 비율이 낮아짐에 따라 성능이 크게 저하된 반면, FMR은 안정성을 유지했습니다.
• 데이터 중첩(Data Overlap): FMR은 불완전한 시연에 관련 하위 궤적이 일부 포함되어 있을 때(높은 중첩) 가장 잘 작동했습니다. 그러나 베이스라인이 완전히 실패하는 낮은 중첩 시나리오에서도 여전히 상당한 개선을 제공했습니다.
• 피드백 효율성: 실험을 통해 FMR이 부정적 피드백만으로도 효과적으로 학습하며, 이것이 편차를 수정하는 주요 동력임을 보여주었습니다.

의의 및 주장

본 논문은 FMR이 다음과 같은 이유로 오프라인 에이전트 정렬의 중요한 진전이라고 주장합니다:

1. 모달리티의 가교 역할: 선호도 기반의 상대적 판단의 한계를 넘어, 평가적 피드백과 시연을 순차적 의사결정을 위한 상호 연결된 신호로 성공적으로 통합했습니다.
2. "정렬-적성" 트레이드오프 해결: 에이전트의 작업 완료 능력을 희생하지 않고도 정렬 미흡을 획기적으로 줄일 수 있음을 입증했습니다.
3. 데이터 희소성 해결: 고품질의 정렬된 데이터는 드물고 노이즈가 있는 데이터가 풍부한 실제 제약 상황에 대한 실행 가능한 솔루션을 제공합니다.
4. 모듈성: 구조적 변경이나 다단계 훈련 파이프라인 없이 기존 모방 학습 알고리즘을 향상시키는 플러그 앤 플레이(plug-and-play) 방식의 정규화 항을 제공합니다.

저자들은 F-MR이 피드백의 풍부한 정보를 활용하여 정책 엔트로피를 조절함으로써, 바람직하지 않은 행동을 억제하고 선호되는 행동을 강화하여 더욱 견고하고 정렬된 오프라인 학습을 가능하게 한다고 결론지었습니다.