ProgAgent:A Continual RL Agent with Progress-Aware Rewards

이 논문은 무레이블 전문가 비디오에서 작업 진행도를 추정하는 지각 모델을 통해 밀도 보상과 적대적 정제 기법을 결합하고, JIT 컴파일된 병렬 학습 아키텍처에 PPO 와 continual learning 기법을 통합하여 파국적 망각을 줄이고 복잡한 조작 기술을 습득하는 'ProgAgent'를 제안합니다.

핵심

프로그에이전트 (ProgAgent): 로봇이 잊지 않고 계속 배우는 비법

이 논문은 로봇이 새로운 일을 배우면서도 이전에 배운 것을 잊어버리지 않는(기억 상실 방지) 동시에, 스스로 보상을 찾아내는(스스로 동기 부여) 똑똑한 인공지능 '프로그에이전트 (ProgAgent)'를 소개합니다.

기존의 로봇 학습 방식은 마치 매번 학교를 졸업하고 다시 1 학년으로 돌아가는 것과 같았습니다. 새로운 과목을 배우면 이전 과목은 다 잊어버리고, 선생님 (사람) 이 매번 "이걸 하면 점수 10 점, 저걸 하면 0 점"이라고 일일이 알려줘야 했습니다. 하지만 프로그에이전트는 이 두 가지 문제를 한 번에 해결합니다.

---

1. 핵심 아이디어: "진행도"를 보는 눈

로봇에게 "컵을 들어라"라고 가르칠 때, 우리는 보통 "손이 컵에 닿으면 +1 점, 컵이 떨어지면 -1 점"처럼 복잡한 점수표를 만들어야 합니다. 하지만 프로그에이전트는 사람이 직접 점수를 매길 필요 없이, 전문가가 하는 시범 영상만 보고 스스로 점수를 매깁니다.

• 비유: 산을 오르는 등산객
  imagine 당신이 산 정상 (목표) 으로 가는 길을 모른다고 칩시다. 하지만 옆에 등산 지도가 있다면 어떨까요?
  • 프로그에이전트는 전문가의 영상을 보고 **"지금 내가 출발점에서 얼마나 진행되었는가?"**를 계산하는 지도를 스스로 만듭니다.
  • "아, 지금 발걸음이 정상 쪽으로 30% 가까이 갔구나!"라고 생각하면 자동으로 보상을 줍니다.
  • 이렇게 되면 로봇은 "무엇을 해야 점수를 받는지"를 스스로 깨닫고, 조금씩 정상에 가까워질수록 더 많은 보상을 받으며 빠르게 학습합니다.

2. 두 가지 강력한 무기

프로그에이전트가 다른 로봇보다 뛰어난 이유는 두 가지 특별한 기술을 섞어 썼기 때문입니다.

A. "망상 방지" 시스템 (Adversarial Push-back)

로봇이 처음 배울 때는 엉뚱한 짓을 많이 합니다. 예를 들어, 컵을 집으려다가 벽을 치거나 바닥을 긁는 거죠. 이때 기존 AI 는 "아, 벽을 치는 것도 뭔가 진전이 있겠지?"라고 착각해서 엉뚱한 행동을 보상해 줄 수 있습니다.

• 비유: 엄격한 코치
  프로그에이전트에는 엄격한 코치가 붙어 있습니다. 로봇이 전문가의 시범과 전혀 상관없는 엉뚱한 행동을 하면, 코치가 "그건 진전이 아니야! 점수 0 점이고, 오히려 위험해!"라고 강하게 제지합니다.
  • 이를 통해 로봇은 엉뚱한 길로 빠지지 않고, 전문가가 가는 올바른 길만 따라가게 됩니다.

B. "초고속 학습 엔진" (JAX-Native Architecture)

기존 AI 는 데이터를 하나씩 처리하느라 느렸습니다. 하지만 프로그에이전트는 수천 개의 로봇을 동시에 시뮬레이션하며 학습합니다.

• 비유: 거대한 도서관 vs 개인 학습
  • 기존 방식: 한 사람이 도서관에서 책을 하나씩 빌려 읽으며 공부합니다.
  • 프로그에이전트: 수천 명의 학생이 동시에 도서관 전체를 훑어보며, 중요한 부분만 빠르게 정리해 옵니다.
  • 이 덕분에 로봇은 단순히 많이 배우는 것을 넘어, 배운 것을 오래 기억하는 기술 (기억과 학습의 균형) 을 적용할 수 있게 되었습니다.

3. 왜 이것이 중요한가요? (실제 효과)

이 논문은 로봇이 버튼 누르기, 문 열기, 창문 닫기 같은 복잡한 작업을 연속으로 배울 때 실험을 했습니다.

• 기존 로봇: 새로운 문 (Door) 을 배우면, 이전에 배운 버튼 (Button) 을 누르는 법을 잊어버렸습니다. (기억 상실)
• 프로그에이전트: 새로운 문도 배우면서, 버튼 누르는 법도 완벽하게 기억했습니다.
• 결과: 심지어 모든 과거 데이터를 기억하는 '완벽한 기억력'을 가진 이상적인 로봇보다 더 잘 배우고 더 빠르게 적응하는 모습을 보여주었습니다.

4. 요약: 프로그에이전트가 바꾼 것

1. 점수표 없이 배우기: 사람이 "이게 맞다"라고 일일이 알려주지 않아도, 시범 영상만 보고 "진행도"를 스스로 판단해 보상을 줍니다.
2. 망상 방지: 엉뚱한 행동을 하면 스스로 "아, 이건 아니야"라고 판단하고 수정합니다.
3. 빠르고 튼튼한 학습: 수천 개의 시뮬레이션을 동시에 돌려서, 새로운 것을 배우면서도 예전 것을 잊지 않습니다.

한 줄 결론:
프로그에이전트는 "스스로 길을 찾으며, 엉뚱한 길로 빠지지 않고, 배운 것을 영원히 기억하는" 로봇의 새로운 시대를 연 기술입니다. 이제 로봇은 한 번 배운 일을 잊지 않고, 평생 새로운 기술을 계속 익혀갈 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

로봇이 새로운 기술을 습득하면서도 과거의 지식을 유지하는 **지속적 강화학습 (Continual Reinforcement Learning, CRL)**은 두 가지 주요 병목 현상에 직면해 있습니다.

1. 파괴적 망각 (Catastrophic Forgetting): 새로운 작업에 적응하는 과정에서 이전 작업의 능력이 지워지는 현상입니다. 기존 CRL 알고리즘은 이를 완화하기 위해 정규화나 재현 (Replay) 기법을 사용하지만, 시스템 수준의 최적화와 통합되지 않아 확장성에 한계가 있습니다.
2. 보상 설계의 어려움 (Reward Specification Problem): 다양한 조작 작업을 위해 밀도 있고 잘 형성된 (dense and well-shaped) 보상 함수를 수동으로 설계하는 것은 매우 어렵고 비실용적입니다. 기존 시각 기반 보상 학습 방법들은 오프라인 데이터와 온라인 탐색 간의 분포 이동 (Distribution Shift) 에 취약하여, 비전문가 상태 (non-expert states) 에서 과도한 확신을 갖는 잘못된 보상을 생성하는 문제가 있습니다.

또한, 기존 연구들은 **알고리즘적 접근 (망각 방지)**과 **시스템적 접근 (고처리량 학습)**이 분리되어 있어, 대규모 병렬 학습 환경에서 효율적으로 작동하는 통합 에이전트를 구축하는 데 한계가 있었습니다.

2. 방법론 (Methodology)

ProgAgent는 위 문제들을 해결하기 위해 **진행 상황 인식 보상 학습 (Progress-Aware Reward Learning)**과 JAX 네이티브 고처리량 아키텍처를 통합한 프레임워크입니다.

가. 진행 상황 인식 보상 모델 (Progress-Aware Reward Model)

• 학습 원리: 레이블이 없는 전문가 비디오 (D_expert) 에서 초기 상태, 현재 상태, 목표 상태의 세 가지 관측치 triplet 을 입력받아 작업의 진행률 (progress ratio) 을 예측하는 지각 모델 (E_phi) 을 학습합니다.
• 잠재 함수 (Potential Function): 예측된 진행률의 평균을 상태 잠재 함수 Φ(o_t)로 해석합니다. 이를 통해 희소 보상을 밀도 있고 잘 형성된 보상 (r_t = γΦ(o_t) - Φ(o_{t-1})) 으로 변환합니다. 이는 이론적으로 최적 정책을 변경하지 않으면서 탐색을 가속화하는 'Potential-based Shaping'의 이점을 제공합니다.
• 입력: 행동 레이블이 필요 없으며, 시각 데이터만으로 학습 가능합니다.

나. 적대적 반동 정제 (Adversarial Push-back Refinement)

• 문제: 온라인 탐색 중 발생하는 분포 밖 (Out-of-Distribution, OOD) 상태에 대해 모델이 과도하게 확신하여 잘못된 보상을 줄 수 있습니다.
• 해결: 비전문가 경로에 대한 예측을 낮은 신뢰도 (평균 0, 분산이 큰) 사전 분포 (P_prior) 쪽으로 밀어내는 **적대적 손실 (L_push)**을 도입합니다.
• 효과: 이는 모델이 새로운 상태에 대해 보수적이고 안정적인 보상을 생성하도록 정규화하여, 학습 중 발생할 수 있는 보상 해킹 (Reward Hacking) 을 방지합니다.

다. JAX 네이티브 고처리량 아키텍처

• JIT 컴파일: 전체 학습 루프 (데이터 수집, 보상 업데이트, 정책 최적화) 를 JAX 의 jit과 vmap을 사용하여 단일 함수로 컴파일합니다.
• 대규모 병렬화: 수천 개의 환경을 GPU 에서 병렬로 시뮬레이션하여 데이터를 생성하고, 그래디언트 분산을 줄여 안정적인 업데이트를 가능하게 합니다.
• 통합 최적화: 이 시스템적 효율성을 바탕으로 PPO, 코어셋 재생 (Coreset Replay), **시냅스 지능 (Synaptic Intelligence, SI)**을 하나의 통합된 목적 함수로 결합할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 이론적으로 정립된 진행 상황 인식 보상 모델: 행동 레이블 없이 전문가 비디오에서 밀도 있는 보상 신호를 추출하며, 상태 잠재 함수로 이론적 근거를 제공합니다.
2. 강건한 탐색을 위한 적대적 정제 메커니즘: 분포 이동 시 발생할 수 있는 과도한 확신 (Overconfidence) 을 억제하여, 온라인 학습 환경에서 보상 모델의 안정성을 보장합니다.
3. 통합 JAX 네이티브 아키텍처: 보상 학습과 정책 최적화 루프를 JIT 컴파일하여 고처리량 병렬 처리를 가능하게 함으로써, 알고리즘적 혁신과 실제 시스템 배포 간의 격차를 해소했습니다.

4. 실험 결과 (Results)

ContinualBench 및 Meta-World 벤치마크와 실제 로봇 실험을 통해 평가되었습니다.

• 성능 우위: ProgAgent 는 기존 최첨단 방법들 (Rank2Reward, TCN, GAIL 등) 과 지속적 학습 방법들 (SI, Coreset, Online Agent) 을 모두 능가했습니다.
• 망각 감소: 평균 성능 (Average Performance) 과 후회 (Regret) 지표에서 최상의 결과를 보여주며, 파괴적 망각을 현저히 줄였습니다.
• 이상적인 메모리 에이전트 초월: 모든 과거 데이터를 재학습하는 이상적인 'Perfect Memory' 에이전트보다도 높은 성능을 기록했습니다. 이는 메모리 양 자체보다 시스템 효율성과 잘 설계된 보상 신호가 학습의 질을 결정한다는 것을 시사합니다.
• 실제 로봇 적용: 잡음이 많고 실패 데이터가 포함된 소수의 인간 데모 (Few-shot) 에서도 복잡한 조작 기술을 성공적으로 습득했습니다.
• 애블레이션 연구:
  • 'Push-back' 메커니즘 제거 시 분포 이동으로 인해 성능이 급격히 저하됨.
  • 'CL Regularizers (SI, Coreset)' 제거 시 망각이 발생하여 전체 평균 성능이 떨어짐.
  • 두 요소의 시너지가 필수적임을 입증.

5. 의의 및 결론 (Significance)

이 논문은 로봇의 평생 학습 (Lifelong Learning) 을 위한 새로운 패러다임을 제시합니다.

• 알고리즘과 시스템의 통합: 기존에 분리되어 있던 지속적 학습 알고리즘과 고처리량 시스템 아키텍처를 통합하여, 대규모 병렬 학습 환경에서 안정적이고 확장 가능한 CRL 에이전트를 구현했습니다.
• 실용적 보상 학습: 복잡한 수동 보상 설계 없이도 시각 데이터만으로 효율적인 학습이 가능하며, 특히 분포 이동에 강건한 보상 학습 메커니즘을 제안했습니다.
• 미래 지향성: 이 연구는 실제 로봇이 동적으로 변화하는 환경에서 자율적으로 새로운 기술을 습득하고 과거 지식을 유지하는 데 필요한 핵심 기술적 토대를 마련했다는 점에서 중요한 의미를 가집니다.