기술 요약: 인간 피드백을 통한 부패에 강건한 오프라인 강화 학습

문제 정의

본 논문은 **오프라인 인간 피드백 기반 강화 학습(RLHF)**에서의 부패 강건성(corruption robustness) 문제를 다룹니다. 저자들은 오프라인 데이터셋이 궤적 쌍 $(\tau^0, \tau^1)$과 함께 인간의 선호도 피드백 $o \in \{+1, -1\}$로 구성된 상황을 고려합니다. 핵심 문제는 이 데이터의 $\epsilon$ 비율이 적대적 공격자에 의해 부패되었다는 점입니다. 이러한 부패는 다음과 같은 형태로 나타날 수 있습니다:

1. 피드백 조작: 선호도 라벨 $o$를 뒤바꿈.
2. 궤적 특징 조작: 궤적 $\tau$의 특징(features)을 변경함.

목표는 이러한 부서된 데이터로부터 **이론적 보장(provable theoretical guarantees)**을 갖춘 근사 최적 정책을 식별할 수 있는 알고리즘을 설계하는 것입니다. 저자들은 보상과 전이가 $d$차원 특징 맵 $\phi$의 선형 함수인 **선형 마르코프 결정 과정(Linear MDPs)**을 가정합니다. (호라이즌 길이는 $H$)

기존 문헌은 부패가 있는 환경에서의 강건한 RL(스칼라 보상으로부터 학습)과 깨끗한 데이터 하에서의 오프라인 RLHF를 각각 별도로 연구해 왔습니다. 그러나 이러한 접근 방식들은 부서된 데이터로부터 선호도 데이터를 통해 학습해야 하는 오프라인 설정에서의 특수한 교차 지점에는 적용할 수 없습니다.

방법론

제안된 방법론은 부서진 오프라인 RLHF 문제를 부서진 오프라인 RL 문제로 환원하는 3단계 프레임워크를 따릅니다:

1. 강건한 보상 모델 추정: 저자들은 트림드 최대 가능도 추정(Trimmed Maximum Likelihood Estimation, MLE) 문제를 해결함으로써 보상 파라미터 $\theta$를 강건하게 학습합니다. 모든 데이터를 사용하는 대신, 알고리즘은 가능도를 최대화하는 $(1-\epsilon)N$개의 샘플 집합을 선택합니다. 부서진 특징을 처리하기 위해, 이 방법은 교차 변수들을 백색화(whiten)하기 전 강건한 공분산 추정을 사용하며, 그 후 근사 정지점(approximate stationary point)을 찾기 위해 교대 최적화(alternating optimization) 절차를 수행합니다.
2. 신뢰 집합(Confidence Set) 구축: 추정된 보상 파라미터 $\hat{\theta}$ 주변에 신뢰 집합 $\Theta(\mathcal{D})$를 구축합니다. 이 집합은 추정된 파라미터와 실제 파라미터 사이의 가능도 비(likelihood ratio)를 기반으로 정의되며, 부패에도 불구하고 실제 파라미터가 높은 확률로 집합 내에 존재하도록 보장합니다.
3. 비관적 정책 최적화(Pessimistic Policy Optimization): 마지막 단계는 구축된 신뢰 집합 위에서 비관적 최적 정책을 학습하는 것입니다. 이는 문제를 부서진 오프라인 RL로 환원함으로써 달성됩니다. 이 환원에 사용되는 특정 알고리즘은 오프라인 데이터 분포의 **커버리지 가정(coverage assumptions)**에 따라 달라집니다.

본 논문은 세 가지 서로 다른 데이터 커버리지 가정하에서 이 일반적인 프레임워크를 구체화하며, 각기 다른 강건한 RL 오라클(oracle)을 활용합니다:

1. 균등 커버리지 (Uniform Coverage)

오프라인 데이터가 특징 공간을 균등하게 커버한다(구체적으로, 차이 특징 공분산 행렬 $\Sigma^{diff}$가 양호한 조건수를 가진다)는 가정하에, 저자들은 기존의 부서진 오프라인 RL 알고리즘인 R-LSVI [Zha+22]를 **제로 차수 오라클(zero-order oracle)**로 활용합니다.

• 메커니즘: 알고리즘은 강건한 오프라인 RL 방법을 그래디언트 정보를 제공하지 않으면서 정책과 가치 추정치를 반환하는 블랙박스로 취급합니다.
• 결과: 이는 $O(\epsilon^{1-o(1)})$의 부최적성 갭(suboptimality gap)을 생성하며, 이는 부패 비율 $\epsilon$에 대해 거의 최적인 수준입니다.

2. 낮은 상대적 조건수 (Low Relative Condition Number)

균등 커버리지는 매우 강력한 가정이므로, 저자들은 이를 낮은 상대적 조건수 가정으로 완화합니다. 이 조건은 타겟 정책의 특징 공분산과 행동 정책의 공분산 비율이 유계(bounded)되어야 함을 요구하므로 더 약한 조건입니다.

• 메커니즘: 제로 차수 오라클(R-LSVI)은 그래디언트를 제공할 수 없으므로, 저자들은 최적 가치 함수 $V^*(\theta)$의 근사 서브 그래디언트(sub-gradient)를 구성하기 위해 가우시안 근사 기법 [NS17]을 채택합니다. 이들은 강건한 오프라인 RL 오라클을 편향된 제로 차수 오라클로 취급하고 신뢰 집합 위에서 **투영 서브 그래디언트 하강법(Projected Sub-Gradient Descent)**을 수행합니다.
• 결과: 이 접근 방식은 $\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$의 부최적성 갭을 달성합니다 (여기서 $\alpha$는 상대적 조건수). $\epsilon$에 대한 의존도는 $O(\epsilon^{1/4})$입니다.

3. 유계 일반화 커버리지 비율 (Bounded Generalized Coverage Ratio)

$\epsilon$에 대한 의존도를 더욱 개선하기 위해, 저자들은 최근 Gabbianelli 등이 도입한 유계 일반화 커버리지 비율 가정을 고려합니다.

• 메커니즘: 이 가정하에서 저자들은 퍼스트 오더 오라클(first-order oracle) 역할을 하는 새로운 부서진 오프라인 RL 방법(알고리즘 7)을 설계합니다. 선형 MDP를 위한 프라이멀-듀얼(primal-dual) 프레임워크에 기반한 이 방법은 근사적으로 최적의 정책뿐만 아니라 최적 가치 함수의 근사 서브 그래디언트를 반환합니다. 이를 통해 메인 RLHF 알고리즘은 제로 차수 평활화(smoothing) 없이 직접적인 투영 서브 그래디언트 하강을 수행할 수 있습니다.
• 결과: 이는 $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$라는 크게 개선된 부최적성 갭을 제공합니다 (여기서 $\nu$는 일반화 커버리지 비율). $\epsilon$에 대한 의존도는 $O(\sqrt{\epsilon})$로 개선되었습니다.

주요 기여 및 결과

본 논문은 최초의 증명 가능한 부서진 오프라인 RLHF 방법을 제공합니다. 주요 기여와 이론적 결과는 논문의 표 1에 요약되어 있습니다:

• 새로운 프레임워크: 강건한 보상 추정과 신뢰 집합 구축을 통해 강건한 RLHF를 강건한 오프라인 RL로 환원함.
• 알고리즘 구현:
  • 알고리즘 1: 균등 커버리지를 위해 R-LSVI를 제로 차수 오라클로 사용하여 $O(\epsilon^{1-o(1)})$ 부최적성을 달성함.
  • 알고리즘 3: 낮은 상대적 조건수를 위해 가우시안 근사를 사용하여 제로 차수 오라클과 함께 $\tilde{O}(\epsilon^{1/4})$ 부최적성을 달성함.
  • 알고리즘 4 & 7: 유계 일반화 커버리지 비율을 위해 새로 설계된 퍼스트 오더 강건 오프라인 RL 오라클을 사용하여 $\tilde{O}(\sqrt{\epsilon})$ 부최적성을 달성함.
• 오라클 효율성: 논문은 제로 차수 접근에서 퍼스트 오더 접근(알고리즘 7)으로 전환하는 것이 오라클 호출 횟수를 크게 줄이고 부패 파라미터 $\epsilon$에 대한 의존도를 개선한다는 점을 강조합니다.

의의 및 주장

저자들은 본 연구가 부서진 오프라인 RLHF를 결적으로 결합한 최초의 연구이며, 이전 연구들이 할 수 없었던 엄격한 이론적 보장을 제공한다고 주장합니다.

• 적대적 공격에 대한 강건성: 본 방법론은 데이터 신뢰성이 저하되는 실제 환경에서 필수적인 요구 사항인, 선호도 라벨과 궤적 특징 모두에 대한 적대적 조작을 견디도록 설계되었습니다.
• 이론적 보장: 논문은 부패 비율 $\epsilon$, 호라이즌 $H$, 특징 차원 $d$, 그리고 커버리지 상수($\xi, \alpha, \nu$)에 대한 명시적인 부최적성 갭 경계(bound)를 제공합니다.
• 제한적 범위 및 향후 과제: 저자들은 현재의 범위에 대해 겸허한 입장을 취하며, 결과가 선형 MDP에 국한됨을 명시합니다. 이들은 비볼록(non-convex) 보상 함수나 일반적인 함수 근사(예: 심층 신경망)로 결과를 확장하는 것이 큰 도전 과제임을 인정합니다. 이는 이들의 그래디언트 기반 증명에 핵심적인 최적 가치 함수 $V^*(\theta)$의 $\theta$에 대한 볼록성(convexity)이 비선형 설정에서는 유지되지 않을 수 있기 때문입니다. 또한 예비 시뮬레이션 결과를 제공했으나, 대규모 언어 모델(LLM) 미세 조정과 같은 실제 환경에 이 방법들을 적용하는 것은 향후 연구를 위한 열려 있고 도전적인 방향임을 언급합니다.