LOPAL: Local Performance-Aware Active Learning from Imperfect Demonstrations

기술 요약: LOPAL – 불완전한 시연으로부터의 국소적 성능 인지 능동 학습

문제 정의
시연을 통한 학습(Learning from Demonstration, LfD)은 인간의 작업 시연을 통해 로봇이 기술을 직관적으로 습득할 수 있게 한다. 그러나 인간의 시연은 종종 차원이 낮거나 일관성이 없다는 근본적인 과제가 남아 있다. 고품질의 시연이라 할지라도 피로, 숙련도 변화, 또는 작업의 복잡성으로 인해 특정 구간에서 저조한 성능을 보일 수 있다. 기존의 LfD 방식들은 시연을 단일한 개체로 취급하여 전역적인 품질 평가나 이진 분류(성공/실패)에 의존하는 경향이 있다. 이러한 접근 방식은 품질의 국소적 변동을 가리며, 이로 인해 로봇이 특정 구간에 존재하는 결함을 그대로 복제하거나 데이터셋 내의 우수한 궤적과 열등한 궤적을 구분하지 못하게 만든다. 또한, 기존의 능동 학습(Active Learning, AL) 방법들은 고품질의 시연 데이터가 누락된 영역을 명시적으로 타겟팅하지 못하는 불확실성 측정치에 의존하는 경우가 많아, 데이터 수집의 비효전성과 불필요한 사용자 부담을 초래할 수 있다.

방법론
저자들은 국소적 성능 정보를 명시적으로 활용함으로써 불완전한 시연으로부터 효율적으로 학습하도록 설계된 프레임워크인 **LOPAL (LOcal Performance-aware Active Learning)**을 제안한다. 이 프레임워크는 두 가지 시너지 효과를 내는 구성 요소로 이루어져 있다:

1. 국소 성능 인지 LfD (Local Performance-Aware LfD):

   • 인코딩: 시스템은 시연된 궤적과 그와 관련된 국소 품질 평가를 가우시안 혼합 모델(Gaussian Mixture Model, GMM)로 인코딩한다. 국소 품질은 이진 패널티(예: 제약 조건 위반) 또는 연속적인 점수(예: 매끄러움)로부터 유도된 평활화된 성능 지표($l \in [0,1]$)로 정량화된다.
   • 궤적 생성: 가우시안 혼합 회귀(Gaussian Mixture Regression, GMR)를 사용하여 동작의 단계(phase)와 고성능 목표(high-performance target)를 조건으로 하는 참조 궤적을 생성한다. 성능 목표를 평균보다 2 표준 편차 높게 설정함으로써, 생성된 궤적은 시연 데이터셋에서 국소적으로 가장 우수한 데이터를 선택적으로 따르게 된다. 이를 통해 로봇은 여러 소스의 고품질 구간을 결합하여 단일한 불완전한 시연보다 더 뛰어난 행동을 합성할 수 있다.
   • 보간(Interpolation): 모든 시연이 낮은 품질을 보이는 구간에서는 인접한 고품질 샘플 간의 선형 보간을 사용하여 명목상의 행동(nominal behavior)을 추정함으로써, 패널티가 부여된 동작이 생성되는 것을 방지한다.

2. 공유 자율성(Shared Autonomy, SA)을 통한 능동적 데이터 획득:

   • 실행 및 피드백: 로봇은 자율 동역학계를 사용하여 생성된 참조 궤적을 실행한다. 국소 성능이 낮은 것으로 식별된 영역에서 로봇은 실행 속도를 선제적으로 늦추고 시각적 피드백(예: LED 표시기)을 제공한다.
   • 인간의 교정: 이러한 감속은 사용자에게 로봇이 어려움을 겪고 있음을 알리는 신호가 되어, 사용자가 킨스틱 티칭(로봇에 힘을 가하는 방식)을 통해 교정을 제공하도록 유도한다.
   • 순응도 조절(Compliance Modulation): 공유 자율성 메커니즘은 가해진 인간의 힘 크기에 따라 로봇의 제어 순응도를 동적으로 조정한다. 재귀 필터(recursive filter)는 자율 모드와 인간 제어 모드 사이의 매끄러운 전환을 보장하여, 사용자가 로봇의 학습된 행동이 최적이 아닌 지점에 정밀하게 개입할 수 있도록 한다. 교정된 데이터는 증분 학습을 위해 데이터셋에 추가된다.

주요 기여
본 논문은 두 가지 주요 기여를 설명한다:

1. 최선의 국소적 행동을 복제하는 궤적을 생성하여, 로봇이 개별적인 불완한 시연의 품질을 능가할 수 있게 하는 국소 성능 인지 LfD 방법.
2. 자율 성능 유도형 동작 조절(낮은 품질 영역에서의 감속)과 공유 자율성 메커니즘을 통한 인간의 입력을 결합한 능동적 데이터 획득 접근 방식. 이는 고품질 시연이 부족한 특정 영역에 데이터 수집을 집중시켜 사용자의 교육 노력을 줄이는 것을 목표로 한다.

실험 결과
LOPAL의 효용성은 시뮬레이션과 실제 실험을 통해 검증되었다:

• 시뮬레이션 (자동차 운전 작업): 15개의 불완전한 시연이 포함된 2D 자동차 레이싱 환경에서, LOPAL 변형 모델들(LP-GMR 및 LP-GMR+I)은 베이스라인인 GMR 및 TLFSD(실패 및 성공한 시연으로부터의 궤적 학습)와 같은 다른 방법들에 비해 국소 패널티 비율을 크게 줄였다. 완벽한 시연이 존재하지 않을 때 실패하는 TLFSD와 달리, LOPAL은 국소적 단서들을 활용하여 패널티가 없는 궤적을 성공적으로 합성했다. 보간 구성 요소(LP-GMR+I)는 시연이 하나 또는 두 개만 있을 때 효율성을 더욱 향상시켰다.
• 실제 환경 (파이프 검사 작업): Franka Research 3 로봇을 사용하여 8명의 참가자를 대상으로 파이프를 따라 움직이며 접촉을 유지하는 실험을 진행했다.
  • 성능: 제안된 LOPAL 방식(LP-GMR+I)은 시연의 수에 따라 베이스라인 GMR 대비 최대 27.31%의 작업 성능 향상(접촉을 잃지 않고 파이프 경로를 추적한 비율)을 달ek성했다.
  • 사용자 노력: 참가자들은 베이스라인 방법(중력 보상 및 GMR 기반 SA)에 비해 LOPAL을 사용할 때 물리적 및 정신적 작업 부하가 현저히 낮다고 보고했다. 정량적 분석 결과, 사용자의 에너지 주입이 감소한 것으로 나타났다. 능동적 피드백 메커니즘(감속 및 시각적 신호)은 사용자가 교정에 효율적으로 집중할 수 있도록 도와, 크고 강한 개입의 필요성을 줄여주었다.

의의 및 주장
본 논문은 LOPAL이 시연 내의 국소적 성능 변동을 명시적으로 고려함으로써 LfD 및 능동 학습의 최신 기술 수준을 진전시킨다고 주장한다. 전역적 품질 등급에 의존하는 방식과 달리, LOPAL은 고품질의 부분 궤적을 식별하고 통합하여 더 우수한 전체 행동을 생성할 수 있다. 또한, 고품질 시연이 부족한 특정 영역에만 사용자가 교정하도록 능동적으로 유도함으로써, 프레임워크는 전체적인 시연 수집 부담을 줄여준다. 실험 결과는 이 접근 방식이 불완전한 데이터로부터의 보다 효율적인 학습을 가능하게 하여, 인간 교사에게 보다 견고하고 덜 까다로운 로봇 기술 습득을 제공함을 시사한다. 저자들은 향-후 연구에서 다양한 품질 측정치를 가진 더 넓은 범위의 작업에 LOPAL을 적용하거나, 양팔 조작과 같은 더 큰 상태 공간으로 확장하는 것을 탐구할 수 있다고 언급하였다.