기술 요약: 유사성을 통한 보상 정렬 (Similarity as Reward Alignment, SARA)

문제 정의

선호도 기반 강화학습(Preference-based Reinforcement Learning, PbRL)은 궤적 쌍(trajectory pairs)에 대한 인간의 피드백으로부터 보상 함수를 학습함으로써, 수동적인 보상 설계의 부담을 완화하고 에이전트의 행동을 인간의 의도에 정렬하는 것을 목표로 한다. 그러나 기존의 PbRL 방법론들은 주로 쌍체 순위(pairwise rankings)로부터 보상 함수를 학습하기 위해 브래들리-테리(Bradley-Terry, BT) 모델에 의존한다. 이러한 접근 방식은 비전문가인 레이블러가 참여하거나 시간 제약이 있는 실제 환경에서 불가피하게 발생하는 레이블링 오류에 직면할 때 심각한 한계를 갖는다.

기존 연구에 따르면 BT 기반 모델은 노이즈에 취약하다. 즉, 이 모델은 전이적 선호(transitive preferences)를 가정하는데, 이는 인간의 심리학적 특성상 자주 위배되는 가정이다. 또한, 궤적 쌍의 상대적 순위에 과적합될 위험이 있다. 경험적 연구에 따르면 심지 even 10%의 레이블 오류율만으로도 RL 성능을 크게 저하시킬 수 있으며, 레이블러 간의 실제 불일치율은 흔히 25%에 달한다. 나아가, 노이즈가 존재하는 설정에서 BT 모델에 대한 공식적인 강건성 증명은 여전히 해결되지 않은 과제로 남아 있다. 핵심적인 문제는 노이즈가 섞인 비전문가 선호 데이터에 직면했을 때 현재의 PbRL 프레임워크가 보여주는 강건성 결여이다.

방법론: 유사성을 통한 보상 정렬 (SARA)

저자들은 SARA를 제안한다. 이는 쌍체 상대 순위를 학습하는 것에서 벗어나, 선호되는 행동 전체 집합의 잠재 표현(latent representation)을 학습하는 방향으로 패러다임을 전환하는 대조 학습(contrastive learning) 프레임워크이다.

핵심 아키텍처

SARA는 2단계 트랜스포머 기반 인코더를 사용한다:

1. 궤적 인코딩 (Enc 1): 각 궤적(선호되는 $\sigma_p$ 또는 선호되지 않는 $\sigma_n$)은 위치 인코딩(positional encoding)이 포함된 트랜스포머 인코더를 통해 처리된다. 타임스텝에 대한 평균 풀링(average pooling)을 통해 각 궤적에 대한 단일 잠재 표현($u_{p,i}$ 또는 $u_{n,i}$)을 생성한다.
2. 집합 인코딩 (Enc 2): 궤적 표현들은 각 카테고리(선호 및 비선호) 내에서 $k$개의 서브셋(실험에서는 $k=2$)으로 무작위 분할된다. 두 번째 트랜스포머 인코더는 이 서브셋들을 처리하며, 서브셋 내에서의 어텐션(attention)을 통해 정보를 집계한다. 이를 통해 집합 수준의 잠재 표현($z^k_p$ 및 $z^k_n$)을 생성한다.

학습 목적 함수

모델은 **SimCLR 대조 손실(contrastive loss)**을 사용하여 학습된다. 목적은 다음과 같다:

• 동일한 카테고리의 서로 다른 서브셋들 간의 잠재 표현을 서로 가깝게 모으는 것 (예: $z^1_p$와 $z^2_p$).
• 선호되는 서브셋의 표현과 선호되지 않는 서브셋의 표현을 서로 멀어지게 하는 것 ($z^k_p$ 대 $z^k_n$).

매 에포크(epoch)마다 서브셋 구성의 무작위화를 수행함으로써, 인코더가 특정 궤적 쌍이나 노이즈 섞인 레이블에 과적합되는 대신, 선호되는 행동과 선호되지 않는 행동을 구별하는 일반화된 패턴을 학습하도록 강제한다.

보상 추론

$\psi$로 매개변수화된 보상 함수를 출력하는 BT 기반 방식과 달리, SARA는 선호되는 궤적 전체 데이터를 인코딩하여 동결된 선호 집합 표현($z^*_p$)을 학습한다. 다운스트림 RL 학습 중, 타임스텝 $t$에서의 샘플링된 궤적 $\sigma_t$에 대한 보상은 궤적의 잠재 표현($z_t$)과 동결된 선호 잠재 표현 사이의 코사인 유사도로 계산된다:
$$r_t = \cos(z_t, z^*_p)$$
이론적 근가로서, 단일 궤적이 선호될 확률을 예측하는 것이 정렬에 충분하다는 최근 연구(Sun et al., 2025)를 활용하며, 이를 통해 상대적 순위 모델의 함정을 피한다.

주요 기여

1. 강건한 대조 프레임워크: SARA는 선호 및 비선호 궤적 집합을 잠재 표현으로 인코딩하고, 선호 집합과의 유사도를 통해 보상을 계산하는 새로운 방법을 도입한다. 이는 BT 모델의 쌍체 순위 가정을 회피한다.
2. 노이즈 탄력성: 선호되는 집합 전체에 대한 어텐션 가중 표현을 학습함으로써, SARA는 레이블러의 오류에 대해 강건함을 달성한다. 이는 레이블 노이즈에 취약한 쌍체 순위 적합에 의존하지 않는다.
3. 메커니즘 분석: 저자들은 t-SNE 시각화와 절제 연구(ablation studies)를 통해 SARA의 강건성을 뒷받침하는 메커니즘적 설명을 제공한다. 이들은 인코더가 명시적인 필터링 메커니즘 없이도, 선호 집합의 대다수와 패턴을 공유하지 않는 잘못 레이블링된 궤적의 가중치를 낮추어 효과적으로 노이즈를 필터링한다는 것을 입증한다.
4. 통계적 검증: 논문은 다양한 노이즈 수준에서 SARA의 우월성을 입증하는 엄격한 통계적 증거(Wilcoxon signed-rank test, $p < 0.01$)를 제시한다.

실험 결과

저자들은 노이즈율이 0%, 10%, 20%, 40%로 주입된 선호도 데이터셋을 사용하여 연속 제어 오프라인 RL 벤치마크(D4RL: Mujoco locomotion, Franka Kitchen, Adroit)에서 SARA를 평가하였다.

• 성능 안정성: SARA는 0~20%의 오류율 범위에서 일관된 정책 평가 리턴(return)을 보여주었다. 반면, 베이스라인 모델들(Preference Transformer, PT+ADT, DPPO)은 오류율이 증가함에 따라 특정 데이터셋에서 최대 73%까지 성능이 급락하는 등 유의미한 저하를 보였다.
• 통계적 유의성: 24개의 태스크-조건 셀에 대한 Wilcoxon signed-rank test 결과, 모든 베이스라인 대비 SARA의 성능 우위는 통계적으로 유의미했다 ($p < 0.01$).
• 보상 상관관계: SARA가 추론한 전이 보상(transition rewards)은 모든 노이즈율에서 베이스라인보다 실제 환경 보상(기저의 선호 기준을 나타내는 프록시로 사용됨)과 더 높은 피어슨 상관계수를 보였다. 이는 노이즈가 심한 상황에서도 SARA가 실제 선호 기준을 더 잘 포착함을 나타낸다.
• 절제 연구(Ablation Studies): 집합 기반 인코딩을 제거하고 개별 궤적 쌍에 대해 대조 학습을 수행한 경우, 리턴이 현저히 낮고 불안정해졌으며, 이는 집합 수준의 집계가 강건성에 결정적임을 확인시켜 준다.

의의 및 주장

본 논문은 SARA가 특히 비전문가 레이블러가 참여하거나 시간 제약으로 인해 오류율이 높은 상황에서, 표준 BT 기반 PbRL 방법론에 대한 더 강건한 대안을 제공한다고 주장한다.

• 패러다임의 전환: 저자들은 SARA가 쌍체 상대 순위가 아닌 표현 학습과 집합 수준의 합의(consensus)에 집중함으로써, 노이즈와 비전이적 인간 선호에 대한 BT 모델의 근본적인 취약성을 해결한다고 주장한다.
• 실용적 유용성: SARA가 고품질의 전문가 중심 데이터 시나리오에서 BT 모델을 대체할 수는 없겠지만(BT가 여전히 잘 작동할 수 있음), 레이블 품질이 불확실한 상황에서는 안정적인 베이스라인을 제공한다.
• 범용성: 이 프레임워크는 다양한 피드백 형식에 적응 가능하며, 반드시 쌍을 이룬 데이터가 필요하지 않으므로 더 큰 풀(pool)에서 선호되는 샘플의 서브셋을 사용하는 것이 가능하다.

저자들은 SARA가 전이적 선호 순서를 보장하지는 않으며(인간 선호의 알려진 한계), D4RL 환경만을 사용했다는 점에서 일반화에 한계가 있음을 인정하며 신중한 입장을 유지한다. 이들은 SARA를 BT의 보편적인 대체제가 아니라, 현실적이고 노이즈가 많은 선호도 학습 환경을 위한 필수적인 진화 모델로 규정한다.