기술적 요약: 강화학습 기반 모방 학습을 위한 교사 - 학생 표현 정렬

문제 제기

모방 학습 (Imitation Learning, IL) 은 로봇공학과 같은 고차원 관측 공간에서 강화학습 (RL) 과 관련된 샘플 복잡도와 "차원의 저주"를 극복하기 위해 빈번히 활용됩니다. 일반적인 패러다임은 저차원 분석적 상태 표현으로 RL 기반의 "교사"를 학습시킨 후, 이 행동을 고차원 관측 (예: 이미지) 에서 작동하는 "학생" 정책으로 증류하는 것입니다.

그러나 교사와 학생이 고립되어 학습될 때 중요한 도전 과제가 발생합니다. 교사는 종종 "특권 정보 (privileged information)"에 의존합니다. 이는 학생의 관측으로부터 추론할 수 없는 상태 변수 (정확한 목표 좌표나 숨겨진 물체의 위치 등) 입니다. 이로 인해 **회복 불가능한 모방 격차 (irreducible imitation gap)**가 발생합니다. 교사는 특권적 관점에 최적화된 정책을 학습하지만, 학생의 입력에는 필요한 정보가 누락되어 있어 학생이 이를 모방하는 것이 불가능해집니다.

전통적으로 이 격차는 IL 이후 RL 미세 조정 (fine-tuning) 단계를 학생에게 추가함으로써 해결해 왔습니다. 그러나 이는 RL 의 높은 샘플 복잡도와 학습 불안정성을 다시 도입합니다. 대안으로 일부 방법은 모방 가능성을 강제하기 위해 교사의 보상 함수나 행동 공간을 수정하지만, 이러한 접근법은 종종 무거운 특징 공학 (feature engineering) 을 요구하거나, 조정하기 어려운 하이퍼파라미터를 도입하거나, 교사의 작업 수행 능력을 저하시킵니다.

방법론

저자들은 모방 격차를 구조적으로 해결하기 위해 **공유 임베딩 공간 (shared embedding space)**을 학습하는 새로운 작업 무관 (task-agnostic) 알고리즘을 제안합니다. 보상을 수정하거나 사후적으로 학생을 미세 조정하는 대신, 이 방법은 교사가 학생이 본질적으로 모방할 수 있는 정책을 학습하도록 보장합니다.

핵심 아키텍처

이 접근법은 교사와 학생이 서로 다른 모달리티 ($o_T$ 및 $o_S$) 를 통해 동일한 기본 환경 상태 $s_t$를 관측하는 다중 뷰 표현 학습 프레임워크를 활용합니다. 이러한 관측은 다음과 같이 모델링됩니다:

1. 공통 구성 요소 ($c_t$): 두 에이전트가 공유하는 정보 (예: 상대적 장애물 위치).
2. 개인 구성 요소 ($p_T, p_S$): 에이전트별 정보 (예: 교사를 위한 정확한 목표 좌표).

목표는 $o_T$와 $o_S$를 모두 $c_t$만 포함하는 잠재 공간으로 매핑하는 인코더를 학습하여, RL 학습 중 교사에게 개인 정보를 숨기는 것입니다.

학습 단계

이 시스템은 두 개의 모듈이 관여하는 교차 단계를 통해 작동합니다:

1. 대조적 표현 학습 (임베딩 모듈):

   • 목적: 교사와 학생의 관측을 공통 잠재 공간으로 매핑하는 것을 학습합니다.
     메커니즘: InfoNCE 대조 손실을 사용합니다. 동일한 시간 단계에서 얻은 쌍을 이루는 관측 $(o_T, o_S)$은 양의 쌍으로 처리되고, 배치 내의 비쌍을 이루는 관측은 음의 쌍으로 작용합니다.
   • 정렬 손실 ($L_{alignment}$): 두 에이전트 모두에 대해 정책 네트워크가 일관된 표현을 보도록 쌍을 이루는 임베딩 간의 유사성을 명시적으로 최대화합니다.
   • 안정성 손실 ($L_{stability}$): RL 정책은 작은 임베딩 변화에 민감하므로, 이전 상태에 대한 정책 네트워크의 원시 로짓 (raw logits) 의 변화를 패널티로 부과하여 학습 중 잠재 공간의 큰 편차를 방지합니다.
   • 그라디언트 격리: 핵심적으로, RL 정책 (단계 2) 에서의 그라디언트는 인코더 네트워크를 통해 역전파되지 않습니다. 이는 정책이 보상을 극대화하기 위해 교사의 원시 관측에서 개인 정보를 추출하도록 "속이는" 것을 방지합니다.

2. 강화학습 (정책 모듈):

   • 교사 정책 ($\pi_T$) 은 작업 보상을 극대화하기 위해 **근접 정책 최적화 (Proximal Policy Optimization, PPO)**를 사용하여 학습됩니다.
   • 그러나 정책은 원시 관측이 아닌 학습된 잠재 임베딩에서만 작동합니다.
   • 임베딩에 개인 정보가 없기 때문에, 교사는 학생이 접근 가능한 공유 정보만을 활용하여 보상을 극대화하도록 강제됩니다.

기존 연구와의 주요 차이점

• 보상의 KL-발산 항을 통해 교사가 모방 불가능한 상태를 방문하는 것을 패널티하는 SITT [8] 와 달리, 이 방법은 보상 함수를 수정하거나 균형 계수 ($\alpha$) 를 도입하지 않습니다.
• 대조 쌍을 선택하기 위해 도메인 지식이 필요한 방법과 달리, 이 접근법은 완전히 작업 무관하며 교사와 학생의 궤적 시간적 정렬에 의존합니다.

실험 결과

이 방법은 모방 격차를 부각하도록 설계된 두 가지 시뮬레이션 환경에서 평가되었습니다:

1. CollectHealth: 교사는 정확한 상자 위치를 알고 있지만, 학생은 제한된 시야 (Field of View, FOV) 를 가지며 표적을 찾기 위해 방향을 재설정해야 하는 3D 항법 작업.
2. TunnelVision: 교사는 주변 모든 셀을 보지만, 학생은 전방 세 개의 셀만 보는 격자 세계 항법 작업.

성능 지표

이 연구는 제안된 방법을 다음과 비교했습니다:

• 행동 복제 (Behavior Cloning, BC): 고립되어 학습된 교사를 사용하는 표준 모방 학습.
• SITT: 모방 불가능한 교사 행동을 패널티하는 최첨단 기준선.

주요 발견:

• 모방 격차 감소: 제안된 방법은 두 환경 모두에서 거의 제로에 가까운 모방 격차 ($\Delta \approx 0.00$$0.01$) 를 달성하여, BC (격차 $\approx 0.53$$0.81$) 와 SITT (격차 $\approx 0.19$~$0.43$) 를 크게 능가했습니다.
• 학생 성능: 증류된 학생 정책은 RL 미세 조정 없이도 TunnelVision 에서 1.00, CollectHealth 에서 0.98의 성공률을 달성하여 교사의 성능과 일치하거나 초과했습니다.
• 교사 성능: 보상 수정으로 인해 교사 성능이 하락한 SITT 와 달리, 제안된 방법은 원래 보상 함수가 변경되지 않았기 때문에 높은 교사 성능 (1.00 및 0.99) 을 유지했습니다.
• 결손 연구 (Ablation Studies):
  • 정렬 손실을 제거하면 특히 CollectHealth 에서 학생 성능이 눈에 띄게 하락하여 명시적 임베딩 유사성의 필요성을 확인시켰습니다.
  • 안정성 손실을 제거하면 민감도가 높은 환경인 TunnelVision 에서 성능이 크게 하락하여, 민감한 설정에서 정책 붕괴를 방지하기 위해 안정적인 임베딩이 필수적임을 입증했습니다.

의의 및 기여

이 논문은 다음과 같은 기여를 주장합니다:

1. 새로운 작업 무관 방법: 보상 함수 수정이나 복잡한 특징 공학 없이 공유 잠재 표현을 학습함으로써 모방 격차를 해결하는 플러그 - 앤 - 플레이 방식을 도입했습니다.
2. 모방 가능성의 구성: 대조 학습을 통해 교사가 공유 임베딩 공간에서 작동하도록 제한함으로써, 교사는 학생이 본질적으로 재현 가능한 행동을 학습하도록 보장하며, 특권 정보로 인한 회복 불가능한 격차를 피합니다.
3. 우수한 경험적 성능: 이 접근법은 학생 성공률과 모방 격차 감소 측면에서 강력한 기준선 (BC 및 SITT) 을 일관되게 능가하면서 교사의 최적 작업 수행 능력을 유지합니다.
4. 안정성 메커니즘: 명시적 정렬 및 안정성 손실의 도입은 표현 변화에 대한 RL 정책의 민감성을 해결하여, 사후 미세 조정 없이 견고한 학습을 가능하게 합니다.

저자들은 이 방법이 특권 교사에서 고차원 정책을 증류하는 데 강력한 해결책을 제공하며, 작업의 근본적인 보상 구조를 변경하지 않고 기존 모방 학습 프레임워크에 통합하기에 적합하다고 결론지었습니다.