🤖 machine learning

Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning

이 논문은 제한된 타겟 데모와 관련 멀티태스크 데이터로부터 상당한 차이가 있는 새로운 태스크를 효과적으로 학습하기 위해 일반화 가능한 디스크리미네이터와 근접 함수를 결합한 퓨샷 역강화학습 방법인 멀티태스크 디스크리미네이터 근접 가이드 IRL(MPG)을 소개하며, 기존 베이스라인보다 현저히 높은 성공률을 달성한다.

원저자: Ziyi Liu, Grace Zhang

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziyi Liu, Grace Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 새로운 집안일, 예를 들어 지저분한 방을 청소하는 법을 가르친다고 상상해 보세요. 인공지능의 세계에서는 이를 **강화 학습(Reinforcement Learning)**이라고 부릅니다. 이는 강아지를 훈련시키는 것과 비슷합니다. 강아지가 옳은 행동을 했을 때 간식(보상)을 주면, 강아지는 더 많은 간식을 얻기 위해 그 행동을 반복하는 법을 배웁니다. 하지만 문제는 무엇이 정확히 "옳은" 것인지 결정하는 것이 매우 어렵다는 점입니다. 만약 단순히 "방을 치워"라고만 말한다면, 로봇은 혼란에 빠져 양말을 줍는 대신 고양이를 창밖으로 던져버릴지도 모릅니다.

이 문제를 해결하기 위해 과학자들은 **역강화 학습(Inverse Reinforcement Learning, IRL)**을 사용합니다. 로봇에게 무엇을 할지 직접 알려주는 대신, 인간이 과제를 완벽하게 수행하는 영상을 보여주는 방식입니다. 로봇은 영상을 보고 인간이 따르고 있는 "비밀 레시피"(보상 함수)를 추측하려고 노력합니다. 그러나 현실 세계는 무질서합니다. 인간은 가구가 한 곳에 있는 상태에서 방을 청소할 수도 있는데, 만약 가구가 움직인다면 어떻게 될까요? 혹은 로봇이 약간 다르게 생긴 머그컵을 집어야 한다면요? 만약 로봇에게 특정 시나리오에 대한 예시를 한두 개만 보여준다면, 상황이 변했을 때 로봇은 길을 잃고 멈춰버릴 수 있습니다. 이는 마치 빈 주차장에서만 운전을 배우는 것과 같습니다. 실제 도로에 나가 교통 체증을 마주하면 패닉에 빠질 수 있기 때문입니다. 이 논문은 아주 적은 수의 예시만을 사용하여 로봇이 새롭고 까다로운 과제를 배우는 법을 다루며, 동시에 유사한 과제로부터 얻은 기존 예시 라이브러리를 활용하여 이를 파악하는 방법을 제시합니다.

"요리 학생" 로봇

우리의 로봇 학생을 만나봅시다. 이 로봇은 "빨간 블록을 집어서 파란 블록 위에 쌓으세요"라는 새롭고 어려운 레시피를 배우라는 요청을 받았습니다. 하지만 반전이 있습니다. 로봇은 이 특정 과제를 수행하는 인간의 영상을 단 5개밖에 보지 못했습니다. 현실 세계에서는 블록들이 시작되는 위치가 달라질 수도 있고, 테이블이 기울어져 있을 수도 있습니다. 예시가 이렇게 적으면, 일반적인 로봇은 혼란에 빠져 실패할 가능성이 높습니다.

하지만 이 로лот은 특별합니다. 이 로봇은 인간이 수행하는 다른 쌓기 작업들(예: 초록색 블록을 노란색 블록 위에 쌓기, 혹은 검은색 블록을 흰색 블록 위에 쌓기 등)을 보여주는 방대한 영상 라이브러리에 접근할 수 있습니다. 이들은 정확히 같은 과제는 아니지만, 같은 "느낌"과 규칙을 공유합니다. 이 논문의 저자인 류즈이(Ziyi Liu)와 그레이스 장(Grace Zhang)은 로-봇이 단 몇 개의 직접적인 예시만으로도 이 "관련된" 영상들을 활용해 어렵고 새로운 과제를 마스터할 수 있는지 확인하고자 했습니다.

두 가지 비밀 소스

연구팀은 MPG(Multitask discriminator Proximity-Guided IRL)라고 불리는 새로운 시스템을 구축했습니다. MPG를 로봇의 학습을 돕는 두 부분으로 구성된 코치라고 생각해보세요.

"패턴 포착기" (다중 작업 판별기 - Multi-task Discriminator):
수천 가지의 서로 다른 요리를 맛본 마스터 셰프를 상상해 보세요. 설령 이 특정 빨간색과 파란색 블록 쌓기를 본 적이 없더라도, 셰프는 로봇의 시도를 보고 "헤이, 그 동작은 전문가가 하는 모습과 비슷해!"라고 말할 수 있습니다. 이 시스템의 이 부분은 로봇의 행동을 관찰하고 이를 거대한 관련 영상 라이브러리와 비교합니다. 이는 모든 다양한 과제에 걸쳐 "훌륭한 쌓기"의 일반적인 구조를 학습합니다. 단순히 하나의 영상을 암기하는 것이 아니라, "쌓기"라는 개념을 이해하는 것입니다. 덕분에 로봇은 블록이 엉뚱한 위치에 있더라도 올바른 행동을 인식할 수 있습니다.
"거리 측정기" (근접 함수 - Proximity Function):
이제 로봇이 실수를 해서 경로를 벗어났다고 가정해 봅시다. 일반적인 로봇은 단순히 "보상 0"을 받고 어떻게 돌아가야 할지 몰라 멈춰버릴 수 있습니다. 하지만 MPG의 두 번째 부분은 GPS처럼 작동하여 이렇게 말해줍니다. "목표에서 멀어졌지만, 이 방향으로 움직이면 점점 가까워지고 있어." 이 기능은 로봇이 "전문가"의 경로로부터 얼마나 떨어져 있는지 측정합니다. 설령 로봇이 셰프가 본 적 없는 행동을 하고 있더라도, 이 측정기는 부드러운 자극을 줍니다. "올바른 길에 가까워지고 있어, 계속 가봐!" 이는 로봇이 어둠 속에서 길을 잃는 것을 방지합니다.

대규모 테스트: 성공할 수 있을까?

저자들은 미로, 블록 쌓기 퍼즐, 로봇 팔 조작 과제들로 가득 찬 디지털 세계에서 이 시스템을 테스트했습니다. 로봇에게 새로운 과제에 대한 아주 적은 수의 예시(때로는 단 5개의 영상)만 제공했지만, 관련된 과제에 대한 예시는 충분히 제공했습니다.

결과는 인상적이었습니다. 이 시뮬레이션에서 MPG 시스템은 평균 **81.2%**의 성공률을 달ato했습니다. 이를 비교해 보자면, 기존의 가장 강력한 방법들을 사용한 다음 순위의 로봇은 평균적으로 약 **56.5%**의 성공률만을 기록했습니다. 이는 24.7 퍼센트 포인트라는 엄청난 차이입니다.

이 논문은 "패턴 포착기"(많은 유사한 과제로부터 학습)와 "거리 측정기"(로봇이 길을 잃었을 때 안내)를 결합함으로써, 로봇이 이전보다 훨씬 더 빠르고 안정적으로 새롭고 까다로운 기술을 배울 수 있다는 것을 보여줍니다.

이것이 아닌 것 (그리고 이것인 것)

이 논문이 주장하지 않는 바를 명시하는 것도 중요합니다. 저자들은 이것이 우주의 모든 문제를 해결한다고 말하는 것이 아닙니다. 그들은 단순히 로봇의 움직임을 복제하는 방식(모방 학습)이나 "거리 측정기" 없이 보상 함수를 학습하려는 기존 방식들이 과제가 약간만 변해도 처참하게 실패한다는 것을 명시적으로 보여주었습니다. 또한, 이 시스템은 여전히 온라인 학습(실제 연습)이 필요하다는 점, 즉 시행착오 없이 즉각적으로 작동하는 마법이 아님을 분명히 합니다.

이 논문은 이러한 접근 방식이 사물이 항상 똑같이 유지되지 않는 현실 세계의 "무질서함"을 다루는 강력한 방법임을 시사합니다. 결과는 컴퓨터 시뮬레이션(미로 및 블록 과제)을 기반으로 하지만, 저자들은 자신들의 방법이 매번 새로운 시나리오마다 산더미 같은 데이터를 필요로 하지 않고도, 시작 위치나 물체의 모양이 크게 변하는 상황에서도 견고하게 작동함을 입증했습니다.

요약하자면, 이 논문은 로봇이 호기심 많은 학생이 되는 새로운 방법을 제시합니다. 로봇은 단순히 하나의 레슨을 암기하는 것이 아니라, 관련된 전체 라이브ary로부터 배우고, 길을 잃었을 때 스스로 길을 찾을 수 있는 내장된 나침반을 사용합니다.

기술 요약: 일반화 및 가이드: 소수의 데모를 활용한 보상 분해 (Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning)

1. 문제 정의: 다중 작업 데모를 활용한 퓨샷 역강화학습 (FM-IRL)

본 논문은 역강화학습(IRative Reinforcement Learning, IRL)의 핵심적인 병목 현상인, 특정 타겟 작업에 대해 제한된 수의 데모만 주어졌을 때 발생하는 심각한 작업 내 변동성(예: 서로 다른 물체의 모양, 배치 또는 로봇의 초기 포즈)에 대한 일반화 능력 부족 문제를 다룹니다.

기존의 연구들은 모방 학습(Imitation Learning, IL)이나 메타 역강화학습(Meta-IRL)에 집중해 왔으나, 이러한 방식들은 실제 환경에서 다음과 같은 한계에 직면합니다:

모방 학습 (IL): 행동 복제(Behavior Cloning, BC)와 같은 방법은 가용한 소수의 데모가 나타내는 특정 상태 분포를 넘어 일반화하기 어렵고, 보상 함수 없이 온라인 정책 최 optimization을 통해 성능을 개선할 수 없습니다.
메타 역강화학습 (Meta-IRL): 이러한 방법들은 일반적으로 보상 함수나 컨텍스트 변수를 메타 학습하기 위해 다중 작업 훈련 환경에 접근할 수 있다는 가정을 전제로 합니다. 이는 다양한 환경을 재현하기 어려운 실제 로보틱스 환경에서는 구현하기 어려운 가정입니다.

저자들은 새로운 문제 설정인 **다중 작업 데모를 활용한 퓨샷 역강화학습 (FM-IRL)**을 제안합니다. 이 설정에서 에이전트는 다음을 사용하여 상당한 변동성이 있는 새로운 타겟 작업을 학습해야 합니다:

소수의 타겟 작업 데모 ( $D_{target}$ ).
이질적이지만 연관된 작업들의 대규모 데모 데이터셋 ( $D_{multi}$ ).
타겟 작업 환경과의 온라인 상호작용 ( $D_{\pi}$ ).

결정적으로, 에이전트는 다중 작업 훈련 환경에 접근할 수 없으며, 오직 그들로부터 얻은 데모 데이터만을 사용할 수 있습니다. 목표는 새로운 작업의 전문가 분포를 복구하고, 에이전트가 그 분포에서 벗어날 때 교정 가이드를 제공하는 것입니다.

2. 방법론: 다중 작업 판별기 근접 가이드 역강화학습 (MPG)

FM-IRL을 해결하기 위해, 저자들은 보상 함수를 두 가지 상호 보완적인 구성 요소, 즉 전문가 인식을 위한 일반화 가능한 판별기와 회복 가이드를 위한 근접 함수로 분해하는 MPG 프레임워크를 제안합니다.

2.1 다중 작업 판별기 (일반화)

첫 번째 구성 요소는 데모 궤적 $\tau$ 와 상태-행동 쌍 $(s, a)$ 를 처리하도록 설계된 데모 조건부 판별기 $d_\phi(\tau, (s, a))$ 로, 연관된 작업 간의 공유된 구조적 지식을 전이합니다.

구조: 데모 궤적 $\tau$ 와 상태-행동 쌍 $(s, a)$ 를 각각 처리하는 두 개의 별도 인코더를 사용합니다. 임베딩은 결합되어 완전 연결 계층을 통과하며, 해당 $\tau$ 에 기술된 전문가 행동과 $(s, a)$ 가 일치할 확률을 출력합니다.
학습 목적: 판별기는 가용한 모든 데모( $D_{target} \cup D_{multi}$ )에 대해 이진 분류 손실을 사용하여 학습됩니다. 양성 쌍(Positive pairs)은 동일한 데모의 작업에서 온 상태-행동 튜플로 구성되며, 음성 쌍(Negative pairs)은 서로 다른 작업에서 온 튜플로 구성됩니다. 또한, 전문가 데이터에 과적합되는 것을 방지하기 위해 온라인 정책 샘플을 음성 쌍(적대적 목적 함수)으로 취급합니다.
기능: 이 구성 요소는 다중 작업 데이터셋에서 발견되는 공유 구조를 활용하여 타겟 작업에서의 전문가 행동을 식별함으로써, 변동성에도 불구하고 전문가 분포를 효과적으로 일반화합니다.

2.2 근접 함수 (가이드)

두 번째 구성 요소인 $p_\theta(s)$ 는 에이전트를 전문가 분포로 다시 유도하기 위해 비전문가 상태에서 조밀하고 정보가 풍부한 보상을 제공합니다.

개념: 이 함수는 상태 $s$ 로부터 전문가 상태 분포까지의 시간적 거리(최소 단계 수)를 추정합니다.
학습 목적: 준 거리 학습(Quasimetric learning)에서 영감을 얻어, 정책 상태의 근접 값을 최대화하는 동시에 **시간적 일관성(Temporal consistency)**을 강제하도록 최적화됩니다.
제약 조건: 학습은 삼각 부등식 $p_\theta(s_t) \leq p_\theta(s_{t+1}) + \zeta$ (여기서 $\zeta$ 는 단일 타임스텝의 비용)에 의해 제약됩니다. 전문가 상태는 근접도 0에 고정됩니다.
통합: 타겟 작업의 전문가 분포를 풍부하게 하기 위해, 다중 작업 판별기의 신뢰도가 임계값을 초과하는 경우( $d(s, a) > c_{thresh}$ ) 정책 상태를 "전문가"로 재라벨링합니다.

2.3 결합된 보상 함수

최종 보상 함수 $\tilde{R}$ 은 다음 두 신호를 결합합니다:
$\tilde{R}(s_t, a_t, s_{t+1}) = \underbrace{d(s_t, a_t)}_{\text{전문가 행동 신호}} + \lambda \underbrace{[p(s_t) - p(s_{t+1})]}_{\text{근접도 개선}}$
판별기는 전문가와 일치하는 행동에 대해 희소한(sparse) 신호를 제공하고, 근접도 항은 전문가 분포로의 거리를 줄이기 위한 조밀한(dense) 그래디언트를 제공합니다. 이 결합된 보상은 PPO를 통해 정책을 최적화하는 데 사용됩니다.

3. 주요 기여

문제 설정: 다중 작업 환경을 사용할 수 없지만 다중 작업 데모는 접근 가능한, 자연스러운 변동성이 존재하는 상황에서의 미지정(under-specification) 문제를 다루는 FM-IRL 설정을 공식화했습니다.
알고리즘 (MPG): 다중 작업 판별기(작업 변동성에 대한 일반화를 위함)와 근접 함수(미보지 상태에서의 교정 가이드를 위함)를 시너지 있게 결합한 보상 분해 프레임워크를 제안했습니다.
실증적 검증: Maze2D, Block Stacking, FactorWorld와 같이 상당한 변동성이 있는 다양한 내비게이션 및 조작 작업에서 MPG를 평가했습니다.

4. 실험 결과

저자들은 MPG를 GAIL, MT-AIRL, PEMIRL과 같은 전통적인 IRL, BC, SQIL, Transformer-BC와 같은 모방 학습, 그리고 DVD, GoalPro와 같은 기타 판별기/근접 기반 방법들을 포함한 9개의 베이스라인과 비교 평가했습니다.

성능: MPG는 9개 작업 중 8개 작업에서 가장 높은 평균 성공률을 달ol했습니다.
비교: 가장 강력한 작업별 베이스라인 대비 성공률에서 평균 24.7 퍼센트 포인트 더 높은 성능을 보였습니다.
절제 연구 (Ablation Studies):
- 판별기나 근접 함수 중 하나라도 제거하면 성능이 저하되었으며, 이는 두 구성 요소의 필요성을 확인시켜 줍니다.
- 다중 작업 데이터셋을 제거했을 때("No Multi-task Data")의 성능은 "Proximity Only" 절제 모델과 유사하게 나타났으며, 이는 판별기가 일반화를 위해 다중 작업 데이터에 의존함을 보여줍니다.
- 방법론은 다양한 수의 타겟 데모(5~~25개)와 다중 작업 수(2~~8개)에 대해 견고함을 유지했으나, 다양성이 일정 수준 이상이 되면 성능이 포화되었습니다.
데이터 효율성: MPG는 풍부한 데모(200개)가 있는 경우에도 잘 작동했지만, 베이스라인 대비 우위는 퓨샷 환경에서 가장 두드렷하게 나타났습니다.

5. 의의 및 주장

본 논문은 MPG가 자연스러운 변동성이 특징인 실제 환경에서 제한된 감독과 강력한 정책 학습 사이의 간극을 효과적으로 메운다고 주장합니다. 보상을 일반화 가능한 전문가 식별자와 근접 기반 가이드로 분해함으로써, 이 방법은 에이전트가 최소한의 감독만으로 새로운 작업을 "관찰하고, 연습하고, 숙달"할 수 있게 하며, 이는 인간의 학습 전략을 모방합니다.

저자들은 자신들의 접근 방식이 다중 작업 훈련 환경에 접근해야 한다는 비현적 가정을 요구하지 않으며, 대신 쉽게 구할 수 있는 데모 데이터셋을 활용한다는 점을 강조합니다. 결과에 따르면 이질적인 다중 작업 데모를 활용하는 것이 전통적인 퓨샷 IRL 및 IL 방법의 샘플 비효율성과 일반화 실패를 극복하기 위한 유효하고 강력한 전략임을 알 수 있습니다.

저자가 언급한 한계점:

이 방법은 동일한 도메인과 에이전트로부터 생성된 구조화된 다중 작업 데모 데이터셋을 필요로 합니다.
데모 효율성은 높지만, 온라인 훈련 단계는 여전히 많은 샘플을 요구합니다.
보상 함수는 온라인으로 학습되므로, 재학습 없이 새로운 정책을 처음부터 학습하기 위해 직접 재사용될 수 없습니다.