기술 요약: 역강화학습을 활용한 다목적 제약 조건 추론

문제 정의

역강화학습 (IRL) 은 전문가의 시연을 관찰하여 에이전트의 근본적인 목적을 추론하는 것을 목표로 합니다. 전통적인 접근법은 종종 학습된 보상 함수를 통해 의도만을 모델링하지만, 이는 지나치게 복잡하고 취약한 모델을 초래할 수 있습니다. 더 견고한 대안은 간단한 보상 함수와 일련의 하드 제약 조건 (예: 물리적 장벽 또는 안전 경계) 을 함께 학습하는 것입니다.

그러나 기존 제약 조건 추론 방법은 실제 시나리오에 대한 적용성을 제한하는 두 가지 제한된 가정에 시달리고 있습니다:

1. 동질성 (Homogeneity): 시연 데이터가 단일 전문가 유형 또는 동일한 목적을 가진 여러 전문가에 의해 생성되었다고 가정합니다.
2. 선험적 지식 (A Priori Knowledge): 전문가의 보상 함수가 사전에 완전히 알려져 있다고 종종 가정합니다.

실제로 관찰된 데이터는 공통된 환경 제약 조건 (예: 교통 법규, 물리적 벽) 을 공유하지만 서로 다른 개인적 선호도 (예: 공격적 대 방어적 운전, 또는 특정 지형에 대한 선호) 를 가진 이질적인 집단에서 비롯되는 경우가 많습니다. 현재 방법론들은 이러한 공유된 제약 조건과 개인적 선호도를 분리해 내는 데 어려움을 겪으며, 종종 다양한 행동을 포착하지 못하거나 계산적 비효율성에 시달립니다.

방법론: 다목적 제약 조건 추론 (MOCI)

이러한 도전을 해결하기 위해 저자들은 라벨이 없는 이질적인 전문가 궤적로부터 공유된 하드 제약 조건과 개별 선호도 가중치를 함께 복원하도록 설계된 다목적 제약 조건 추론 (MOCI) 프레임워크를 제안합니다.

핵심 프레임워크

MOCI 는 제약 다목적 마코프 결정 과정 (CMOMDP) 설정 내에서 작동합니다. 다음과 같이 가정합니다:

• 공유된 상태 - 행동 특징 공간 $\phi(s, a)$.
• 모든 전문가에게 적용되는 공유된 하드 제약 조건 집합 $C$(금지된 상태).
• 고유한 선호도 가중치 벡터 $w_k$로 특징지어지는 $K$개의 잠재적 전문가 유형 (클러스터).

이 알고리즘은 데이터셋 $D$의 결합 로그 가능도를 최대화하기 위해 기대값 - 최대화 (EM) 접근법을 사용합니다:

1. E-Step(클러스터링): 알고리즘은 현재 추정된 제약 조건 $C$, 가중치 $\{w_k\}$, 그리고 클러스터 사전 확률 $\{\pi_k\}$을 고정합니다. 그런 다음 특정 궤적 $\xi_i$가 전문가 유형 $k$에 의해 생성되었을 확률인 사후 확률 (책임도) $\gamma_{i,k}$를 계산합니다. 이는 서로 다른 선호도 모델 하에서의 가능성에 기반하여 라벨이 없는 시연 데이터를 효과적으로 클러스터링합니다.
2. M-Step(매개변수 업데이트):
   • 사전 확률: 책임도의 경험적 평균로 업데이트됩니다.
   • 보상 가중치: 각 클러스터에 대해 선호도 가중치 $w_k$는 경사 상승법을 통해 업데이트됩니다. 이 때 경사는 책임도 $\gamma_{i,k}$로 가중치가 부여되어, 최대 엔트로피 IRL 원리를 사용하여 해당 클러스터에 확률적으로 할당된 궤적에 맞춰 보상 함수가 적응하도록 합니다.
   • 제약 조건: 공유된 제약 조건 집합 $C$는 탐욕적 탐색을 통해 업데이트됩니다. 알고리즘은 후보 상태 (데이터셋에서 방문하지 않은 상태) 를 평가하여 해당 후보가 $C$에 추가될 경우의 결합 로그 가능도를 계산합니다. 후보는 가능도를 유의미하게 증가시킬 때만 추가됩니다. 이 과정은 노이즈나 방문하지 않은 상태에 대한 과적합을 방지하기 위해 Kullback-Leibler 발산에 대한 임계값 $d_{DKL}$로 정규화됩니다.

계산 복잡도

MOCI 의 이론적 계산 비용은 상태 - 행동 공간 크기, 시간 범위 (horizon), 그리고 반복 횟수에 의해 지배됩니다. 복잡도는 $O(|S| \cdot |A| \cdot H)$로 유도되며, 여기서 $|S|$는 상태 수, $|A|$는 행동 수, $H$는 궤적 시간 범위입니다. 그리드 월드 환경에서 이는 그리드 차원에 따라 2 차적으로 증가합니다.

주요 기여

1. 새로운 프레임워크: 이질적이고 라벨이 없는 시연 데이터로부터 공유된 하드 제약 조건과 개별 다목적 선호도를 함께 추론하는 최초의 프레임워크인 MOCI 의 도입.
2. 알고리즘적 혁신: 궤적을 반복적으로 클러스터링하고 보상 가중치와 제약 조건 집합을 모두 업데이트하여 개별 동기를 환경적 제한으로부터 효과적으로 분리하는 EM 기반 알고리즘의 개발.
3. 이론적 분석: 알고리즘의 확장성을 입증하는 상세한 계산 복잡도 분석 제공.
4. 실증적 검증: 통제된 다목적 GridWorld 환경에서 방법론이 실제 제약 조건과 서로 다른 선호도 프로파일을 복원할 수 있음을 입증.

실험 결과

저자들은 "잔디 애호가"와 "바위 애호가"라는 두 가지 전문가 유형이 공유된 "물"(하드 제약 조건) 타일 주변을 이동하는 시뮬레이션된 이질적 GridWorld 환경에서 MOCI 를 평가했습니다.

• 제약 조건 복원: MOCI 는 실제 지상 진실 (ground-truth) 물 타일을 하드 제약 조건으로 성공적으로 식별했습니다. 또한 데이터 커버리지 부족으로 인해 방문하지 않은 상태가 때때로 제약 조건으로 잘못 추론되는 (거짓 양성) 한계를 지적했는데, 이는 발산 임계값을 조정함으로써 완화되었습니다.
• 선호도 학습: 알고리즘은 두 전문가에 대한 고유한 보상 가중치를 정확하게 복원하여, 잔디 애호가의 잔디 선호와 바위/물에 대한 혐오, 그리고 바위 애호가의 반대되는 선호도를 올바르게 식별했습니다.
• 성능 비교: 베이스라인인 최대 가능도 제약 조건 추론 (MLCI) 과 역제약 강화학습 (ICRL) 과 비교하여:
  • 정확도: MOCI 는 MLCI 의 0.25 와 ICRL 의 0.36 에 비해 0.027의 훨씬 낮은 제약 조건 평균 제곱 오차 (CMSE) 를 달성했습니다.
  • 효율성: MOCI 는 MLCI(0.29 초) 에 비해 경쟁력 있는 실행 시간 (0.69 초) 을 유지했으며, ICRL(8.90 초) 에 비해 훨씬 빨랐습니다.
  • 기능: 동질적 데이터만 처리하고 선호도 학습이 불가능한 베이스라인과 달리, MOCI 는 이질적 데이터를 성공적으로 처리하고 명시적으로 선호도를 학습했습니다.
• 확장성: 실행 시간 분석은 실행 시간이 그리드 크기와 궤적 길이에 따라 적절하게 확장됨을 보여주어 이론적 복잡도를 검증했습니다.

의의 및 주장

이 논문은 MOCI 를 실제 세계의 제약 조건 추론과 선호도 학습을 위한 정확하고 유연하며 계산적으로 실용적인 접근법으로 위치시킵니다. 저자들은 MOCI 가 안전 경계를 유지하면서 다양하고 잠재적으로 상충되는 행동을 모델링할 수 있는 새로운 능력을 확립했다고 주장합니다. 공유된 제약 조건과 개별 선호도를 성공적으로 분리함으로써, 이 프레임워크는 전문가 데이터가 다양한 복잡한 환경에서 강화학습 에이전트를 안전 가이드라인과 정렬시키는 강력한 해결책을 제공합니다.

이 연구는 MOCI 가 현재 전문가 유형 수 ($K$) 를 사전에 정의해야 하고 하드 제약 조건에만 집중한다는 한계가 있음에도 불구하고, 다양한 인간 행동으로부터 학습할 수 있는 더 안전하고 적응력 있는 AI 시스템으로 나아가는 기초적인 단계라고 결론지었습니다. 저자들이 제안한 향후 작업은 $K$의 자동 발견을 위해 고정된 클러스터링을 베이지안 비모수 방법으로 대체하고, 프레임워크를 소프트 제약 조건과 실제 세계 의료 응용 분야로 확장하는 것을 포함합니다.