💻 computer science

Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning

본 논문은 연속 Q-값 수집과 즉각적인 "No-Wait" 정규화를 도입하여 행위자 중심 접근법의 한계를 극복하고, 재앙적 망각을 효과적으로 완화하며 지식 전이를 강화하는 다주기 지속 강화학습을 위한 가치 기반 데이터 리허설 방법인 Qreg+NWLU를 제안한다.

원저자: Benjamin Poole, Andrew Quinn, Li Yang, Minwoo Lee

게시일 2026-05-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Benjamin Poole, Andrew Quinn, Li Yang, Minwoo Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 일련의 비디오 게임을 가르친다고 상상해 보세요. 먼저 Flappy Bird를 배우게 한 다음, Catcher로 전환하고, 그 다음에는 Room이라는 미로 게임으로 바꿉니다. 목표는 로봇이 첫 번째 게임을 하는 방법을 잊지 않고 모든 게임을 잘 할 수 있도록 하는 것입니다.

인공지능 세계에서는 이를 **연속 학습 (Continual Learning)**이라고 부릅니다. 여기서 로봇이 직면하는 가장 큰 문제는 '파괴적 망각 (catastrophic forgetting)'입니다. 이는 수학 시험을 준비한 학생이 곧바로 역사 시험을 공부하기 시작하다가, 역사 시험이 끝날 때쯤에는 수학 문제를 푸는 법을 완전히 잊어버리는 것과 같습니다.

구식 방식: '액터 (Actor)' 대 '크리틱 (Critic)'

대부분의 이전 연구는 로봇의 '근육 기억' (이를 액터라고 함) 에만 집중하여 이 문제를 해결하려 했습니다. 그들은 **데이터 리허설 (Data Rehearsal)**이라는 기법을 사용했는데, 이는 로봇이 새로운 게임을 배우는 동안 과거 게임에서 얻은 메모를 적은 작은 노트를 훑어보는 것과 같습니다.

그러나 로봇의 뇌에는 크리틱 (또는 가치 함수, Value Function) 이라는 두 번째 부분이 있었습니다. 크리틱은 *"이 움직임은 얼마나 좋은가? 나는 얼마나 많은 보상을 받을 것인가?"*를 끊임없이 평가하는 코치와 같습니다.

이전 연구자들은 '노트' (리허설) 를 사용하여 크리틱이 이전 점수를 기억하도록 도우려 했을 때, 로봇의 학습 능력이 오히려 떨어졌다는 사실을 발견했습니다. 그래서 그들은 크리틱을 돕는 시도를 멈추고 액터만 도왔습니다. 이 논문의 저자들은 "잠깐만요, 우리는 뇌의 절반을 무시하고 있습니다!"라고 말합니다. 그들은 크리틱을 망가뜨리지 않고 고칠 수 있는지 확인하고 싶었습니다.

새로운 아이디어: Qreg+NWLU

저자들은 Qreg(Q-value Regularization) 라는 새로운 방법을 시도했습니다. 이는 단순히 노트를 사용하여 크리틱이 이전 움직임들의 점수가 어떠했는지 상기시키는 것입니다.

하지만 그들은 이를 수행하는 기존 방식이 엉망이라는 사실을 발견했습니다. 이는 교과서의 마지막 페이지만 읽어서 시험을 준비하거나, 전체 학기가 끝날 때까지 노트를 보지 않는 것과 같습니다. 이로 인해 로봇이 혼란을 겪거나 빠르게 잊어버리게 되었습니다.

이를 해결하기 위해 그들은 두 가지 간단한 변경 사항을 도입했는데, 이를 Qreg+NWLU라는 새로운 방법으로 결합했습니다:

실시간 업데이트 (Live 전략):
- 문제점: 기존 방법에서는 로봇이 게임 레벨 전체를 완료할 때까지 노트를 저장하지 않았습니다. 만약 로봇이 레벨 시작 부분에서 실수를 했다면, 그 노트는 결코 저장되지 않았습니다.
- 해결책: 이제 로봇은 게임을 하는 동안 지속적으로 노트를 작성합니다. 이는 수업이 끝난 후 모든 것을 기억하려고 애쓰는 대신, 강의 중에 실시간으로 노트를 작성하는 학생과 같습니다. 이를 통해 노트가 다양해지고 게임의 끝뿐만 아니라 전체를 아우르게 됩니다.
대기 없음 (No-Wait 전략):
- 문제점: 기존 방법은 "첫 번째 게임을 끝낼 때까지 이전 노트를 보지 마라"고 했습니다. 이는 로봇이 두 번째 게임을 시작할 때 '콜드 스타트 (cold start)'를 경험하게 하여 즉시 모든 것을 잊어버리게 만들었습니다.
- 해결책: 로봇이 노트에 아무런 메모라도 작성하는 순간, 새로운 게임을 배우는 데 그 노트를 사용하기 시작합니다. 이는 교사가 첫 번째 수업을 끝낼 때까지 기다리는 대신, 새로운 교실에 들어서는 순간 바로 이전 노트를 검토하기 시작하는 학생과 같습니다.

'다중 사이클 (Multi-Cyclic)' 도전 과제

저자들은 Multi-Cyclic이라는 특수한 환경에서도 이를 테스트했습니다. 로봇이 Flappy Bird, 그 다음 Catcher, 그리고 Room을 플레이한다고 상상해 보세요. 하지만 그 후 사이클이 다시 시작됩니다: 다시 Flappy Bird, 그 다음 다시 Catcher.

실생활에서 우리는 종종 반복되는 상황에 직면합니다 (예: 매일 같은 방을 청소하는 로봇 청소기나 매주 같은 시장 패턴을 보는 주식 트레이더). 저자들은 대부분의 로봇이 이 루프에서 처참하게 실패한다는 사실을 발견했습니다. 사이클이 반복될 때마다 성능이 더 나빠졌습니다. 그러나 그들의 새로운 방법은 사이클을 여러 번 거친 후에도 로봇이 이전 게임을 기억할 수 있게 했습니다.

결과

이 새로운 Qreg+NWLU 방법을 테스트했을 때:

더 잘 기억했습니다: 로봇은 두 번째 게임을 배우는 동안 첫 번째 게임을 하는 방법을 잊지 않았습니다.
더 빠르게 학습했습니다: 즉시 노트를 검토 ('No-Wait') 했기 때문에 기본을 다시 배우는 시간을 낭비하지 않았습니다.
더 안정적이었습니다: 로봇의 성능이 천재와 혼란스러운 상태 사이를 극단적으로 오르지 않았습니다.

결론

이 논문은 로봇에게 연속적으로 학습하게 하려면 '근육' (액터) 만 훈련해서는 안 되며, '코치' (크리틱) 도 훈련해야 한다고 주장합니다. 코치에게 실시간으로 업데이트되고 즉시 검토되는 노트를 제공함으로써, 로봇은 작업이 반복되더라도 새로운 작업을 배우면서 이전 작업을 잊지 않을 수 있습니다.

저자들은 이것이 인공지능의 모든 문제를 해결한다고 주장하지는 않지만, 특정 유형의 학습 알고리즘 (DQN 이라고 함) 에 대해서는 'Live'와 'No-Wait'의 단순한 조합이 망각을 방지하는 데 게임 체인저임을 증명했습니다.

기술 요약: 비평가 잊지 않기: 다중 주기적 지속 강화 학습을 위한 가치 기반 데이터 리허설

문제 제기

지속 강화 학습 (CRL) 은 에이전트가 이전에 학습한 작업의 성능을 유지하면서 일련의 작업을 학습할 수 있도록 하여, 파국적 망각과 가소성 손실의 문제를 해결하는 것을 목표로 합니다. 데이터 리허설 (과거 경험의 저장 및 재생) 은 CRL 에서 주요 접근법으로 부상했지만, 기존 연구는 주로 정책 경량 프레임워크 (액터 - 비평가 방법) 에 국한되어 있습니다. 이러한 설정에서 행동 복제 (behavioral cloning) 를 통한 정규화는 비평가 네트워크로 확장하는 것이 역사적으로 성능 저하를 초래하는 것으로 관찰되었기 때문에, 액터 네트워크에만 적용되었습니다. 결과적으로 가치 함수 근사(예: Deep Q-Networks 또는 DQN) 를 위한 데이터 리허설의 잠재력은 여전히 크게 미개척 상태로 남아 있습니다.

또한, 기존 CRL 평가는 작업 순서가 여러 사이클에 걸쳐 반복되는 다중 주기적 환경을 거의 고려하지 않습니다. 이 설정은 환경이 자연스럽게 재발생하는 실제 응용 분야에 중요합니다. 다중 주기적 설정은 망각과 가소성 손실을 악화시키는 것으로 밝혀졌지만, 종종 평가가 단일 사이클 또는 최대 두 사이클로 제한되는 파국적 망각 연구에서는 여전히 미활용되고 있습니다.

방법론

저자들은 **Q-값 정규화 (Qreg)**를 사용하여 DQN 에 대한 데이터 리허설을 조사합니다. Qreg 는 행동 복제의 가치 기반 대응책입니다. 그들은 표준 Qreg 가 다중 주기적 설정에서 불안정성과 불일치를 보이며, 종종 나쁜 초기 학습이 후속 사이클을 억제하는 '우세 편향 (primacy bias)'으로 고통받는다는 점을 확인했습니다. 이를 해결하기 위해 Qreg+NWLU(Live-Updates 가 포함된 No-Wait Qreg) 를 제안하며, 이는 리허설 프레임워크에 두 가지 주요 수정 사항을 도입합니다.

Live-Updates(지속적 데이터 수집): 이전 작업과 달리 작업이 끝난 시점에만 전이 (transitions) 를 샘플링하는 대신, 이 방법은 학습 전체에 걸쳐 고정된 빈도로 리허설 샘플을 리허설 재생 버퍼 (RRB) 에 점진적으로 추가합니다. 이 "Live" 전략은 학습 말기에 발생하는 전이에 대한 선택 편향을 줄이고, 특히 재생 버퍼 크기가 총 학습 단계에 비해 작을 때 샘플 다양성을 촉진합니다.
No-Wait 정규화: 표준 Qreg 는 일반적으로 첫 번째 작업이 완료되고 RRB 샘플이 사용 가능해질 때까지 정규화를 유보합니다. "No-Wait" 메커니즘은 리허설 샘플이 사용 가능해지면 작업 완료를 기다리는 대신 즉시 정규화를 적용합니다. 이는 각 작업의 지식이 후속 작업에 효율적으로 활용되어야 하는 지속적 설정에서 초기 작업 학습을 안정화하는 것을 목표로 합니다.
주기적 Q-값 업데이트: 이 방법은 학습 중 현재 작업에 해당하는 RRB 에 저장된 Q-값을 주기적으로 업데이트합니다. 이는 불충분한 초기 학습이나 후속 작업에서 얻은 지식으로 인해 발생할 수 있는 낡거나 부정확한 Q-값을 정규화 대상에서 제외하여 방지합니다.

이 프레임워크는 표준 재생 버퍼와 별도의 전용 RRB 를 사용합니다. RRB 는 장기적이고 작업 간 기억으로 작용하는 반면, 재생 버퍼는 단기적이고 작업별 기억으로 기능합니다.

주요 기여

가치 기반 데이터 리허설 조사: 이 논문은 다중 주기적 CRL 설정에서 Q-값 정규화를 통한 데이터 리허설의 적용을 조사하여, 정규화가 어떻게 효과적인 가치 함수 학습을 가능하게 하는지에 대한 이해의 공백을 메웁니다.
Qreg+NWLU 제안: 저자들은 표준 Qreg 의 한계 (불안정성과 불일치) 를 확인하고 Live-Updates 와 No-Wait 정규화를 통합한 수정된 접근법인 Qreg+NWLU 를 제안합니다.
실증적 검증: 이 연구는 Qreg+NWLU 가 여러 환경과 지표를 걸쳐 표준 CRL 베이스라인 (DQN, DDQN, EWC, L2, PackNet, MER 포함) 보다 일관되게 우월한 성능을 보임을 입증합니다.

결과

실험은 세 가지 작업 시퀀스인 Minihack Room(어려운 전이와 관찰 공간 변화를 특징으로 함), Flappy Bird, 그리고 PyGame 학습 환경을 사용한 Catcher에서 수행되었습니다. 평가는 10 개의 무작위 시드로 4 사이클에 걸쳐 진행되었습니다.

성능 지표: 저자들은 최종 전이 ( $F$ ), 최악의 전이 ( $W$ ), 그리고 평균 반환 ( $G$ ) 을 사용했습니다.
Room 시퀀스: Qreg+NWLU 는 2 사이클에 거의 최적의 성능을 달성했으며 표준 오차가 현저히 낮았습니다. 이는 표준 Qreg 에서 관찰된 변동성과 우세 편향을 크게 완화했습니다. 표준 Qreg 는 높은 분산과 일부 실행에서의 실패를 보인 반면, Qreg+NWLU 는 모든 작업에서 가장 높은 평균 반환 ( $G$ ) 과 양의 전이 점수를 달성했습니다.
Flappy 및 Catcher 시퀀스: Qreg+NWLU 는 베이스라인을 일관되게 능가하여 가장 높은 평균 반환을 달성했습니다. 작업 난이도가 증가하는 Flappy Bird 에서 Qreg+NWLU 는 DQN 대비 모든 작업에서 성능이 향상된 반면, 표준 Qreg 는 작업 1 에서 어려움을 겪었습니다. Catcher 에서 Qreg+NWLU 는 2 사이클에 거의 최적의 성능에 도달했으며 표준 Qreg 에서 관찰된 망각을 크게 완화했습니다.
절차적 분석 (Ablation Studies): 이 연구는 "Live"와 "No-Wait" 전략 모두 결정적임을 확인했습니다. "No-Wait"를 제거하면 표준 Qreg 와 유사한 높은 분산과 불안정성이 발생했습니다. 이러한 전략들의 조합은 작업 전환 전반에 걸쳐 Q-값 노름 ( $\|Q\|_2$ ) 을 부드럽게 만들어 사이클 전반에 걸친 Q-노름 값의 범위를 줄이고 견고성을 향상시켰습니다.

의의 및 주장

이 논문은 Qreg 를 통한 가치 함수 근사에 데이터 리허설을 통합하는 것이 학습 효율성, 전이 능력, 그리고 다중 주기적 망각에 대한 회복력을 크게 향상시킨다고 주장합니다. 그러나 저자들은 이러한 결과를 달성하려면 No-Wait 정규화, 지속적 샘플링 (Live), 그리고 리허설 샘플의 주기적 업데이트를 결합한 적절한 프레임워크가 필요함을 강조합니다.

저자들은 이 작업을 CRL 에서 가치 기반 데이터 리허설 정규화의 더 넓은 적용을 향한 첫걸음으로 위치시킵니다. 그들은 완전히 고유한 작업을 포함하는 무작위화된 작업 시퀀스와 어려운 전이의 배제, 업데이트 전략을 위한 작업 레이블에 대한 의존성, 그리고 액터 - 비평가 프레임워크가 아닌 순수 가치 기반 알고리즘 (DQN) 에 초점을 맞춘 점 등 한계를 인정합니다. 이러한 한계에도 불구하고, 결과는 데이터 리허설로 적절히 정규화된 가치 기반 방법이 다중 주기적 설정에서 파국적 망각을 효과적으로 완화할 수 있음을 시사하며, 이러한 정규화가 성능을 해친다는 이전의 합의에 도전합니다.