Bidirectional Tutoring for Developmental Motor Learning in Robots: Co-Developed Interaction Dynamics Support Stable Learning

기술 요약: 로봇의 발달적 운동 학습을 위한 양방향 튜터링

문제 제기
현재의 로봇 운동 학습 방식, 특히 모방 학습(Learning from Demonstration, LfD)과 키네스테틱 티칭(kinesthetic teaching)은 튜터링 과정을 단방향적인 것으로 취급하는 경우가 많습니다. 이러한 환경에서 튜터(인간 또는 AI)는 시연을 제공하고 로봇은 이를 수동적으로 받아들이며, 이 과정에서 로봇의 지속적인 행동과 내부 역학은 무시됩니다. 이는 인간의 발달적 학습이 가진 근본적인 특성을 간과하는 것입니다. 즉, 사회적 상호작용은 본질적으로 양방향적이며, 튜터와 학습자가 서로에게 동적으로 적응한다는 점입니다. 저자들은 단방향적 상호작용이 발달 단계 전반에 걸쳐 '행동 일관성(behavioral coherence)'을 유지하지 못하여, 일관되지 않은 센서모터 표현과 낮은 일반화 성능을 초래한다고 가설을 세웠습니다. 반대로, 튜터의 개입이 로봇의 능동적인 행동과 결합되는 양방향 튜터링은 공통 개발된 궤적(co-developed trajectories)을 형성하여 일관성을 유지하고 안정적인 단계별 학습을 지원할 수 있다고 제안합니다.

방법론
본 연구는 물리적 휴머노이드 로봇(Torobo)이 물체 조작 작업(빨간색 실린더에 도달, 잡기, 들어올리기, 되돌려 놓기)을 수행하는 발달적 운동 학습 실험을 통해 이 가설을 조사합니다. 연구는 두 가지 튜터링 모드를 비교합니다:

1. 단방향 튜터링(Unidirection Tutoring): 로봇을 중력 보상 모드로 설정하고, 로봇이 스스로 동작을 생성하지 않는 상태에서 튜터가 물리적으로 작업 시퀀스를 따라 로봇을 유도합니다.
2. 양방향 튜터링(Bidirectional Tutoring): 로봇이 순응 제어(compliant control) 하에서 자신의 예측에 기반하여 동작을 생성합니다. 튜터는 편차를 수정해야 할 필요가 있을 때만 개입하며, 이를 통해 실시간으로 결합된 상호작용을 생성합니다.

연구 결과의 검증을 위해 두 가지 별도의 실험 설정이 사용되었습니다:

• 인간 튜터 실험: 체화된 양방향 상호작용의 개념 증명(proof-of-concept)을 위해 인간 실험자가 로봇과 물리적으로 상호작용했습니다.
• AI 튜터 실험: 인간 행동의 변동성을 제어하기 위해 동일한 기본 신경망 프레임워크를 사용하는 AI 튜터를 구현했습니다. AI 튜터는 온라인 추론 메커니즘을 사용하여 자신의 예상 움직임 변동성을 추정하고, 자신의 예측과 로봇의 의도된 동작 사이의 편차에 따라 개입 강도를 조정했습니다.

계산 프레임워크
학습 시스템은 자유 에너지 원리(Free Energy Principle, FEP)를 기반으로 하며, 예측 코딩에서 영감을 받은 변분 재귀 신경망(Variational Recurrent Neural Network, PV-RNN)을 사용합니다.

• 모델 아키텍처: PV-RNN은 변분 자유 에너지를 최소화하여 잠재 변수를 추론하며, '정확도'(감각 관측과의 일치)와 '복잡도'(사전 확률 준수) 사이의 균형을 맞춥니다.
• 온라인 추론: 상호작용 중에 네트워크는 이동 창(shifting window) 내에서 오차 회귀를 수행하여 사후 추정치를 실시간으로 업데이트함으로써, 로봇이 동적으로 행동을 조정할 수 있도록 합니다.
• 생성적 재생(Generative Replay): 시퀀스별 학습 과정에서 원시 역사 데이터를 저장하지 않고도 안정적인 학습을 가능하게 하기 위해, 저자들은 PV-RNN을 생성적 재생 메커니즘으로 확장했습니다. 이를 통해 모델은 이전의 센서모터 패턴을 재구성하기 위해 사전 분포(prior distribution)에서 샘플링할 수 있으며, 이는 새로운 튜터링 시퀀스를 통합하면서도 파괴적 망각(catastrophic forgetting)을 완화합니다.

주요 결과
물체의 위치가 변하는 10단계의 발달 단계에 걸쳐 실험이 진행되었습니다. 결과는 일관되게 양방향 튜터링의 우수성을 보여주었습니다:

• 작업 성능: 인간 및 AI 실험 모두에서 양방향 조건은 자율 테스트 시, 특히 후기 단계에서 유의미하게 높은 성공률을 달est했습니다. 단방향 조건은 초기에는 개선되었으나 이후 감소하거나 정체되었으며, 새로운 물체 위치에 효과적으로 일반화하지 못했습니다.
• 궤적 일관성: 튜터링된 궤적 분석 결과, 양방향 상호작용은 더 시공간적으로 일관되고 조직된 경로를 생성했습니다. 단방향 궤적은 높은 변동성과 단계 간의 낮은 정렬도를 보였습니다.
• 학습 역학: 양방향 조건은 더 낮은 훈련 손실(변분 자유 에너지)을 기록했는데, 이는 공통 개발된 궤적이 로봇의 기존 센서모터 역학에 더 적합했음을 나타냅니다.
• 튜터 개입: 양방향 설정에서는 총 튜터 개입량(인간의 물리적 토크 또는 AI의 개입 가중치)이 단계가 지남에 따라 점진적으로 감소했습니다. 이는 로봇이 독립적인 운동 기술을 습득하여 시간이 지남에 따라 안내가 덜 필요하게 되었음을 시사합니다.

핵심 기여

1. 프레임워크 제안: 본 논문은 튜터의 개입이 학습자의 진행 중인 행동과 결합되어 궤적이 강제로 주입되는 것이 아니라 공동 개발될 수 있도록 하는 양방향 튜터링 발달적 운동 학습 프레임워크를 제안합니다.
2. 경험적 검증: 실제 로봇에 대한 인간 및 AI 튜터 실험을 통해, 양방향 튜터링이 단방향 방식보다 더 일관된 궤적을 생성하고 더 안정적인 단계별 학습을 지원함을 입증했습니다.
3. 알고리즘 확장: 저자들은 PV-RNN 프레임워크를 생성적 재생 메커니즘으로 확장하여, 단일 튜터링 에피소드로부터 파괴적 망각을 방지하면서 시퀀스별로 안정적인 학습을 가능하게 했습니다.

의의 및 주장
저자들은 양방향 튜터링이 행동 일관성을 보존함으로써 로봇의 발달적 운동 학습을 위한 효과적인 스캐폴딩(scaffold) 역할을 한다고 주장합니다. 그들은 학습 경험이 단순히 고정된 입력이 아니라, 상호작용 중 학습자의 내부 역학에 의해 형성된다고 강조합니다. 로봇의 사전 경험이 새로운 궤적 형성을 제한하도록 허용함으로써, 양방향 튜터링은 수동적 시연을 통해 학습된 것보다 더 잘 일반화되는 일관된 행동 패턴의 출현을 지원합니다. 이 연구는 이러한 체화되고 사회적으로 근거를 둔 접근 방식이 인공 시스템에서 인간의 발달 학습이 가진 안정성을 재현하는 데 필수적임을 시사합니다. 저자들은 AI 튜터의 단순함(인간의 적응성에 비해)과 개념 증명 단계에서의 단일 인간 튜터 사용 등 한계를 언급하며 연구 범위를 겸허히 제한하였으며, 이러한 원칙을 더 복잡한 과업과 다양한 인간 상호작용으로 확장하기 위한 향후 연구가 필요함을 인정했습니다.