GRAIL: Goal Recognition Alignment through Imitation Learning

1. 문제 정의 (Problem)

기존의 목표 인식 (Goal Recognition, GR) 시스템은 에이전트의 관찰 가능한 행동으로부터 그 에이전트의 숨겨진 목표를 추론하는 것을 목표로 합니다. 그러나 기존 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 이상적 최적성 가정의 한계: 대부분의 기존 GR 방법 (계획 기반, 역계획, RL 기반) 은 관찰된 에이전트가 사전 정의된 목적 함수에 대해 **완벽하게 최적 (Optimal)**이거나 **합리적 (Rational)**하게 행동한다고 가정합니다.
• 실제 행동과의 괴리: 실제 인간이나 에이전트의 행동은 종종 최적 경로에서 벗어납니다. 이는 인지적 한계, 사회적 규범, 학습된 휴리스틱, 또는 특정 경로에 대한 체계적인 편향 (Systematic Bias, 예: 공원을 우회하는 선호) 으로 인해 발생합니다.
• 성능 저하: 이러한 '비최적 (Suboptimal)'이거나 '체계적으로 편향된 (Systematically Biased)' 행동을 관찰할 때, 기존 최적성 기반 모델은 목표를 잘못 추론하거나 정확도가 급격히 떨어집니다.
• 계산적 비효율성: 많은 기존 방법들은 추론 (Inference) 시마다 매번 계획기 (Planner) 를 호출하거나 환경과 상호작용해야 하므로 실시간 응용에 부적합합니다.

2. 방법론 (Methodology)

이 논문은 **GRAIL (Goal Recognition Alignment through Imitation Learning)**이라는 새로운 프레임워크를 제안합니다. GRAIL 은 GR 문제를 각 후보 목표 (Candidate Goal) 마다 별도의 모방 학습 (Imitation Learning, IL) 문제로 재정의합니다.

핵심 아이디어

• 목표 지향 정책 학습: 각 후보 목표 $g$에 대해, 해당 목표를 달성하는 에이전트의 행동 데이터 (데모) 를 사용하여 **목표 지향 정책 ($\pi_g$)**을 학습합니다.
• 편향 및 비최적성 포착: 모방 학습 (IL) 은 에이전트의 실제 행동 분포를 직접 학습하므로, 최적 경로가 아닌 체계적인 편향이나 노이즈가 포함된 행동 패턴도 자연스럽게 포착합니다.
• 단일 패스 추론 (One-shot Inference): 학습된 정책들을 사용하여 관찰된 부분 궤적 ($\tau_{obs}$) 을 평가합니다. 별도의 계획기 호출이나 환경 상호작용 없이, 학습된 정책과 관찰된 행동 간의 일치도를 점수화하여 가장 가능성 높은 목표를 선택합니다.

GRAIL 의 구성 요소

1. 오프라인 정책 학습 (Offline Policy Learning):
   • 각 목표 $g$에 대한 데모 데이터셋 $D_g$를 수집합니다.
   • 세 가지 IL 알고리즘을 백본으로 활용합니다:
     • BC (Behavioral Cloning): 행동-상태 쌍에 대한 지도 학습.
     • GAIL (Generative Adversarial Imitation Learning): 적대적 학습을 통해 전문가와 학습자의 상태 점유 분포를 일치시킴.
     • AIRL (Adversarial Inverse Reinforcement Learning): 보상 함수와 정책을 동시에 학습하여 행동의 합리화를 도출.
2. 온라인 1 회 추론 (Online One-Shot Inference):
   • 새로운 부분 궤적 $\tau_{obs}$가 입력되면, 각 목표별 정책 $\pi_g$에 대해 **부정 평균 MSE (Negative Average MSE)**를 점수 함수로 사용하여 유사도를 계산합니다.
   • $S_g(\tau_{obs}) = -\frac{1}{T} \sum ||\pi_g(s_t) - a_t||^2$
   • 점수가 가장 높은 목표를 최종 추론 결과로 선택합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 GR 패러다임: GR 문제를 계획이나 보상 모델링이 아닌, 각 목표별 모방 학습 문제로 전환하여 비합리적이거나 편향된 에이전트 행동에도 강건한 모델을 제시했습니다.
2. 실시간 추론 가능성: 추론 시 환경 상호작용이나 계획기 호출이 필요 없어, 지연 시간 (Latency) 이 매우 낮아 대화형 시스템에 적합합니다.
3. 다양한 행동 패턴 대응: 최적, 비최적, 체계적 편향이 있는 행동 모두에서 기존 RL 기반 방법 (GRAQL, DRACO) 보다 우수한 성능을 입증했습니다.
4. 효율성: 학습 단계에서도 기존 RL 기반 방법보다 적은 데이터와 시간으로 수렴하며, 추론 단계에서는 경량화된 연산만 수행합니다.

4. 실험 결과 (Results)

논문의 실험은 **MiniGrid (이산적 내비게이션)**와 PandaReach (연속적 로봇 조작) 환경에서 수행되었습니다.

• 체계적 편향이 있는 최적 행동 (Systematically Biased Optimal Behavior):
  • 에이전트가 최단 경로 중 특정 경로 (예: 공원 우회) 를 선호하는 경우, 기존 Q-learning 기반 방법 (GRAQL) 은 목표 식별이 거의 무작위 수준 (F1-score 0.3~0.5) 이었습니다.
  • 반면, GRAIL 변형체들은 거의 100% 의 F1-score를 기록하며 편향된 행동을 정확히 학습하여 목표를 식별했습니다.
• 비최적 행동 (Suboptimal Behavior):
  • 행동에 노이즈나 비합리적 선택이 포함된 경우, GRAIL 은 기존 방법보다 F1-score 에서 0.1~0.3 만큼 향상된 성능을 보였습니다. 특히 BC-GRAIL 은 구조화된 노이즈 하에서 탁월한 성능을 발휘했습니다.
• 최적 행동 (Optimal Behavior):
  • 이상적인 최적 행동 데이터에서도 GRAIL 은 기존 RL 기반 방법과 경쟁하거나, 관찰 데이터가 적을 때 (Low Observability) 더 나은 일반화 성능을 보였습니다.
• 효율성:
  • 추론 속도가 기존 방법 (DRACO 등) 보다 훨씬 빠르며, 학습 시간과 데이터 요구량도 적습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 GRAIL을 통해 AI 시스템이 인간의 실제 행동 (이상적이지 않고 편향된 행동 포함) 을 더 정확하게 이해하고 정렬 (Alignment) 할 수 있음을 증명했습니다.

• 실용성: 실시간 상호작용이 필요한 로봇 공학, 인간 - 로봇 협업, 다중 에이전트 시스템 등에서 목표 인식의 정확도와 속도를 동시에 개선할 수 있는 실용적인 솔루션을 제공합니다.
• 이론적 확장: 목표 인식 (GR), 역강화학습 (IRL), 모방 학습 (IL) 이라는 세 가지 분야를 통합하여, 에이전트의 행동을 단순히 '노이즈'가 아닌 '학습 대상'으로 다루는 새로운 관점을 제시했습니다.
• 한계 및 향후 과제: 현재는 미리 정의된 폐쇄형 목표 집합 (Closed-set) 만을 가정하며, 동적 환경 변화나 새로운 목표 발견 (Open-set) 에 대한 연구는 향후 과제로 남았습니다. 또한, 실제 물리 세계의 복잡한 센서 입력에 대한 적용 가능성은 검증이 필요합니다.

요약하자면, GRAIL 은 **"에이전트가 이상적이지 않아도, 그들의 실제 행동 패턴을 모방 학습을 통해 정확히 파악하여 목표를 추론한다"**는 핵심 원리를 통해 목표 인식 분야의 한계를 극복한 획기적인 연구입니다.