기술 요약: RoDiF – 오염된 인간 피드백을 이용한 확산 정책의 강건한 직접 미세 조정 (Robust Direct Fine-Tuning of Diffusion Policies with Corrupted Human Feedback)

1. 문제 정의

확산 정책(Diffusion policies)은 기존의 가우시안 또는 결정론적 정책에 비해 다중 모드 분포를 포착하고 고차원 액션 공간을 처리하는 데 탁월한 능력을 제공하며, 로봇 제어 분야에서 강력한 패러다임으로 부상했습니다. 그러나 사전 학습된 이러한 정책을 특정 인간 선호도에 맞게 미세 조정하는 데에는 두 가지 근본적인 과제가 존재합니다:

1. 구조적 불일치 (Structural Mismatch): 자기회귀 언어 모델과 달리, 확산 정책은 환경의 마르코프 결정 과정(MDP) 내에 중첩된 다단계 디노이징 체인을 통해 작동합니다. 기존의 직접 선호 최적화(DPO) 방법은 이러한 이중 시간 구조(내부 디노이징 단계와 외부 환경 역학 간의 관계)를 본래 고려하지 않으므로, 다루기 쉬운 DPO 목적 함수를 유도하는 것이 까다롭습니다.
2. 오염된 인간 피드백 (Corrupted Human Feedback): 로봇 제어에서의 인간 피드백은 종종 확률적이며, 표준적인 노이즈 가정(예: 레이블 반전, 주석가 간의 의견 불일치 또는 비정상적 기준)을 넘어서는 불일치를 포함합니다. 이러한 데이터에 대해 나이브하게 미세 조정을 수행하면, 모델이 인간의 의도가 아닌 잘못된 제약 조건에 과적합되어 정렬 성능과 작업 수행 능력을 모두 저하시키는 결과를 초래합니다.

2. 방법론

제안된 프레임워크인 **RoDiF (Robust Direct Fine-Tuning)**는 통합된 이론적 정식화와 기하학적 근거를 둔 최적화 전략을 통해 이러한 과제를 해결합니다.

2.1 통합 MDP 정식화

확산 정책에 대한 DPO를 가능하게 하기 위해, 저자들은 확산 디노이징 체인을 환경 역학과 일관되게 통합하는 **통합 MDP (Unified MDP)**를 도입합니다.

• 상태 및 액션 정의: 통합 상태 $s^+$는 현재 환경 상태 $s_t$와 초기 노이즈 벡터 $a^K_t$를 결합합니다. 통합 액션 $a^+$는 디노이징 단계의 시퀀스 $(a^{K-1}_t, \dots, a^0_t)$를 나타냅니다.
• 전이 역학 (Transition Dynamics): 전이 함수는 프로세스를 평탄화하여, 무작위 노이즈 주입과 환경 전이를 단일 단계로 취급합니다.
• 정책 인수분해 (Policy Factorization): 통합 정책 $\pi_\theta(a^+|s^+)$는 각 단계 $k$에서의 조건부 디노이징 확률의 곱으로 인수분해되며, 이를 통해 명시적인 보상 모델링 없이도 확산 과정에 표준 DPO 재매개변수화 기법을 적용할 수 있습니다.

2.2 기하학적 가설 절단 관점 (Geometric Hypothesis-Cutting Perspective)

RoDiF는 DPO 목적 함수를 기하학적 관점에서 재해석합니다.

• 가설 공간: 확산 정책의 파라미터 공간은 가설 공간 $\Theta$로 간주됩니다.
• 절단으로서의 선호 (Preference as Cuts): 각 인간 선호 쌍(승리 궤적 $\tau_w$ 대 패배 궤적 $\tau_l$)은 파라미터 공간에 부등식 제약 조건(즉, "절단/cut")을 유도합니다. 유효한 정책 파라미터는 선호되는 쌍에 대해 $\Delta Q_\theta \geq 0$를 만족해야 합니다.
• 노이즈 문제: 오염된 레이블이 존재하는 경우, 단 하나의 잘못된 선호가 잘못된 "가짜 절단(false cut)"을 생성하여 모든 절단의 교집합에서 실제 최적 파라미터 $\theta_H$를 배제함으로써 학습 과정을 돌이킬 수 없이 망가뜨릴 수 있습니다.

2.3 보수적 투표 전략 (Conservative Voting Strategy)

특정한 노이즈 분포를 가정하지 않고 강건성을 달성하기 위해, RoDiF는 보수적 절단 전략을 사용합니다.

• 투표 메커니즘: 모든 선호 절단을 만족하도록 요구하는 대신(레이블이 오염된 경우 실패함), 이 방법은 각 절단을 하나의 '투표'로 취급합니다.
• 보수성 임계값: 오염률의 추정 상한을 나타내는 보수성 수준 $\gamma \in [0, 1]$를 도입합니다. 최적화 목적 함수는 적어도 $\lfloor(1-\gamma)N\rfloor$개의 절단을 만족하는 파라미터를 유지하도록 완화됩니다.
• 강건한 손실 함수: 표준 DPO 손실은 강건한 손실 $L_{RoDiF}$로 수정됩니다. 투표 수를 세기 위해 사용되는 비미분 가능한 헤비사이드 계단 함수(Heaviside step function)는 경사 기반 최적화를 가능하게 하기 위해 시그모이드 함수를 사용하여 부드럽게 처리됩니다. 이를 통해 정책이 최대 $\gamma N$개의 불일치하는 레이블을 무시하면서도 진정한 인간 정렬 정책으로 수렴할 수 있게 합니다.

3. 주요 기여

1. 통합 MDP 정식화: 확산 디노이징 단계와 환경 전이를 통합하여, 확산 정책을 위한 다루기 쉬운 보상 없는(reward-free) DPO 목적 함수를 유도할 수 있는 새로운 정식화를 제공합니다.
2. RoDiF 알고리즘: 보수적 가설 절단을 활용하여 확산 정책을 강건하게 미세 조정하는 기하학적 근거를 가진 알고-리즘입니다. 이는 노이즈 분포에 대한 사전 지식 없이도 불일치하는 선호 레이블의 영향을 완화합니다.
3. 실증적 검증: 고차원, 장기 horizon 조작 작업에서 RoDiF가 (표준 DPO, CPO, IPO, SimPO를 포함한) 최신 베이스라인들을 유의미하게 능가함을 광범위한 실험을 통해 입증했습니다. 특히 30%의 오염된 선호 레이블 하에서도 높은 정렬 성능을 유지했습니다.

4. 실험 결과

이 방법은 세 가지 서로 다른 확산 백본(UNet, Transformer, MLP)을 사용하여 다섯 가지 장기 horizon 조작 작업(Avoid, Pushing, Sorting, Aligning, Stacking)에 대해 평가되었습니다.

• 정렬 효과: RoDiF는 사전 학습된 정책에서 지배적이지 않은 모드(예: 베이스라인이 21% 미만이었던 "Avoid" 작업에서 84% 이상의 모드 정렬 달성)라 할지라도, 사용자가 지정한 모드로 정책을 성공적으로 유도했습니다.
• 노이즈에 대한 강건성:
  • 0% 오염 조건에서는 RoDIF가 표준 DPO와 유사한 성능을 보였습니다.
  • 20% 및 30% 오염 조건에서 표준 DPO 및 SimPO와 같은 다른 베이스라인들은 크게 저하되었습니다 (예: SimPO의 성공률은 20% 노이즈 하에서 43%에서 10%로 급락).
  • RoDiF는 모든 노이즈 수준에서 높은 성능(84% 이상의 성공률)을 유지하며, 체계적인 레이블 노이즈로부터 스티어링 신호를 효과적으로 분리해냈습니다.
• 아키텍처 불가지론 (Architecture Agnosticism): 이 방법은 다양한 확산 아키텍처(UNet, Transformer, MLP) 전반에서 효과적임을 증명했습니다.
• 샘플 효율성: 이 프레임워크는 특정 작업에서 단 10개의 승자-패자 쌍만으로도 강력한 정렬을 달성하며 높은 샘플 효율성을 보여주었습니다.

5. 의의 및 주장

본 논문은 RoDiF가 선호 기반 로봇 학습의 안전성과 신뢰성을 진전시킨다고 주장합니다. 오류가 있거나 불일치하는 인간 피드백의 영향을 명시적으로 완화함으로써, 이 프레임워크는 취약하거나 불안정한 정책 업데이트의 위험을 줄입니다. 이는 인간 주석가가 불완전한 데이터를 제공할 수 있는 실제 세계의 안전 민감형 환경에 로봇 시스템을 배치하는 데 있어 중요한 단계로 제시됩니다. 이 연구는 복잡한 보상 모델링이나 완벽한 데이터에 의존하지 않고도, **강건성(robustness)**을 책임 있는 배포를 위한 기초적인 요구 사항으로 강조하며 이에 대한 해결책을 제시합니다.