기술 요약: 지도 학습 기반 보상 추론 (Supervised Reward Inference, SRI)

문제 정의

역강화학습(Inverse Reinforcement Learning, IRL)과 같은 전통적인 보상 추론 방식은 일반적으로 인간의 시연(demonstrations)이 특정하고 알려진 행동 모델(예: 노이즈가 섞인 최적성, 유계된 합리성)에 따라 생성된다는 가정에 의존합니다. 그러나 실제 세계의 인간 행동은 서툰 계획, 실행 오류, 또는 오로지 목표를 전달하기 위한 의도적인 비최적적 제스처 등으로 인해 종종 비최적적(suboptimal)일 수 있습니다. 기존 방법들은 가정된 행동 모델이 잘못 설정되었을 때(misspecified), 잘못된 보상을 추론하는 문제를 겪습니다. 일부 선행 연구들이 데이터로부터 행동 모델을 학습하려는 시도를 하기도 했으나, 이러한 접근법들은 테이블 형식(tabular setting)에 국한되거나 임의의 비최적적 행동을 효과적으로 처리하지 못하는 한계가 있습니다.

본 논문이 다루는 핵심 문제는, 행동 모델에 대한 강력하고 잠재적으로 틀릴 수 있는 가정에 의존하지 않고도, 어떻게 광범위한 인간 행동(임의로 비최적적이거나 최적화보다는 의사소통을 목적으로 하는 행동 포함)으로부터 보상 함수를 추론할 것인가 하는 점입니다.

방법론: 지도 학습 기반 보상 추론 (SRI)

저자들은 보상 추론을 지도 학습 문제로 재정의하는 프레임워크인 **지도 학습 기반 보상 추론(SRI)**을 제안합니다. SRI는 보상에서 행동으로 매핑하는 행동 모델을 학습한 뒤 이를 역전시키는 대신, 쌍을 이루는 행동과 알려진 정답 보상(ground-truth rewards) 데이터셋을 사용하여 행동 궤적(trajectories)으로부터 보상 함수로의 매핑을 직접 학습합니다.

핵심 프레임워크

각 태스크 $k$가 다음으로 구성된 데이터셋이 주어졌을 때:

1. 행동 궤적의 집합 $\{\tau_{k,i}\}$ (임의로 비최적적일 수 있음).
2. 동일한 태스크에서 샘플링된 상태-보상 쌍의 집합 $\{(s_{k,j}, r_{k,j})\}$.

SRI는 주어진 상태 $s$에 대해 행동 궤적들에 조건화된 보상 $r(s)$를 예측하도록 신경망을 학습시킵니다. 아키텍처는 두 가지 주요 구성 요소로 이루어집니다:

• 태스크 인코더 ($f_{\theta_f}$): 행동 궤적 집합을 고정된 차원의 태스크 임베딩 $\psi$로 인코딩합니다. 실험에서는 궤적 인코딩을 위해 트랜스포머(Transformer)를, 여러 궤적을 풀링(pooling)하기 위해 셋 트랜스포머(Set Transformer)를 사용합니다.
• 보상 모델 ($g_{\theta_g}$): 태스크 임베딩 $\psi$와 상태 $s$를 입력으로 받아 보상 값을 예측합니다.

학습 목적 함수는 데이터셋 전체에 대해 예측된 보상과 정답 보상 사이의 평균 제곱 오차(MSE)를 최소화하는 것입니다:
$$\arg \min_{\theta_f, \theta_g} \mathbb{E} \left[ L \left( g_{\theta_g}(S, f_{\theta_f}(\{\tau_n\})), R(S) \right) \right]$$

이론적 보장

본 논문은 SRI가 **점근적 베이즈 최적(asymptotically Bayes-optimal)**임을 입증하는 이론적 증명을 제공합니다. 표준적인 가정(컴팩트한 상태/행동 공간, 유계된 리턴, 충분한 모델 용량) 하에서, 데이터셋의 크기가 무한히 커짐에 따라 추론된 보상 함수는 행동에 대한 사후 평균(posterior mean)으로 균등하게 수렴합니다. 결과적으로, 이로부터 도출된 최적 정책은 실제 보상의 사후 분포 하에서 기대 리턴을 최대화하는 정책으로 수렴합니다. 이는 훈련 시의 행동 분포가 배포 시의 행동 분포와 일치한다면, 어떤 고정된 행동 클래스에 대해서도 성립합니다.

확장성

저자들은 이 지도 학습 기반 추론 템플릿이 다른 의도 추론 작업들로 일반화될 수 있음을 보여줍니다:

• 지도 학습 기반 목표 추론 (Supervised Goal Inference, SGI): 행동으로부터 잠재적 목표 표현을 직접 예측.
• 지도 학습 기반 행동 추론 (Supervised Action Inference, SAI): 행동과 상태로부터 최적의 행동을 직접 예측.

주요 기여

1. 새로운 프레임워크: 보상 추론을 직접적인 지도 학습 과제로 취급함으로써 명시적인 행동 모델링의 필요성을 제거한 SRI를 도입했습니다.
2. 이론적 최적성: 표준적인 가정 하에서, 행동 모델에 대한 지식 없이도 SRI가 보상 추론 및 근사 학습(apprenticeship learning)에 대해 점근적 베이즈 최적성을 달성함을 증명했습니다.
3. 비최적성에 대한 강건성: SRI가 매우 노이즈가 심하거나 체계적으로 편향된 경우, 심지어 태스크를 완료하지 않는 제스처(gesture)와 같은 비최적적 행동에서도 정확한 보상을 추론할 수 있음을 입증했습니다.
4. 일반화 가능성: 본 프레임워크를 SGI 및 SAI로 확장하여, 지도 학습 기반 의도 추론 방식의 다재다능함을 보여주었습니다.

실험 결과

저자들은 두 가지 서로 다른 벤치마크에서 SRI를 평가했습니다.

1. Meta-World 로보틱스 태스크 (연속 제어)

• 설정: "Reach" 및 "Pick-Place" 태스크를 포함하며, 목표가 무작위로 분포되어 있습니다.
• 행동 클래스: 노이즈가 섞인 행동, 체계적으로 잘못된 오프셋(offset), 그리고 목표를 가리키기만 하고 물체를 집거나 놓지는 않는 "제스처(Gesture)" 시연을 포함한 5가지 클래스로 테스트되었습니다.
• 결과:
  • SRI는 "Gesture" 시연만을 사용하고도 Pick-Place 태스크에서 천장 성능(0.822 정규화된 목표 근접도)에 근접한 성능을 달성한 반면, 모든 모방 학습 베이스라인(BC, GAIL, AIRL)은 실패했습니다(성능 $\le 0$).
  • SRI는 임의의 비최적성에도 불구하고 정확한 보상을 추론하여, 시연이 매우 노이즈가 심하거나 체계적으로 편향된 경우에도 최적에 가까운 정책을 도출하는 강건함을 보여주었습니다.
  • 데이터 양에 따라 성능이 매끄럽게 확장되며 높은 데이터 효율성을 보여주었습니다.

2. Shah et al. (2019) 그리드월드 벤치마크 (테이블 형식)

• 설정: 임의의 비최적적 행동에 대해 SRI를 Shah et al. (2019)의 "역 계획(Inverse Planning, IP)" 알고리즘과 비교한 테이블 형식 벤치마크입니다.
• 결과:
  • SRI(정책 입력을 받도록 조정됨)는 모든 데몬스트레이터 클래스(최적, 나이브, 정교함, 근시안적 등)와 그 노이즈 버전들에 대해 천장 성능에 근접한 성능을 달 achievement 했습니다.
  • SRI는 기존의 SOTA IP 방법들을 능가하거나 대등한 성능을 보였으며, 이는 (정책에서 보상으로 가는) 역 매핑을 직접 학습하는 것이 플래너를 학습하고 이를 역전시키는 것보다 더 효과적임을 시사합니다.

의의 및 주장

본 논문은 SRI가 행동 모델 엔지니어링에서 데이터 기반 지도 학습으로의 패러다임 전환을 나타낸다고 주장합니다. 행동을 최적화 시도라기보다 의도의 지표로 봄으로써, SRI는 모델 오설정(misspecification)과 관련된 취약성을 우회합니다.

저자들은 다음을 강조합니다:

• SRI는 표준적인 지도 학습 기법을 활용하는 "간결하면서도 강력한 솔루션"입니다.
• 이를 통해 특정 RL 유도 편향(inductive bias)을 설계할 필요 없이, 표현 학습(representation learning) 및 사전 학습된 모델(예: 트랜스포머)의 발전을 활용할 수 있습니다.
• 훈련 시 태스크별 보상 감독(supervision)이 충분히 제공된다면, 어떤 고정된 행동 분포에도 보편적으로 적용 가능합니다.
• 현재 실험은 훈련을 위해 시뮬레이터 보상에 접근하는 것을 가정하지만, 이 프레임워크는 희소한 어노테이션(annotation)이나 선호도(preference)로부터 보상을 추정하는 미래의 확장 기능과도 호환되도록 설계되었습니다.

결론적으로, 본 논문은 충분한 데이터가 주어졌을 때 덜 편향된 학습 알고리즘이 더 편향된 모델 기반 접근법보다 뛰어난 성능을 낼 수 있음을 보여주며, 스케일링(데이터와 계산량의 확대)이 수작업으로 만든 가정을 넘어서는 결과를 낳는다는 "비터 레슨(bitter lesson)"을 뒷받침합니다.