Decoupling Policy Extraction for Offline Reinforcement Learning

운전하는 법을 배우려는 한 학생을 상상해 보십시오. 하지만 이 학생은 운전대를 잡고 도로의 느낌을 직접 느끼는 대신, 완벽한 운전자의 정적인 비디오 하나만을 강제로 공부해야 합니다. 학생은 실수를 할 수도 없고, 새로운 회전을 시도할 수도 없으며, 현실 세계로부터 피드백을 받을 수도 없습니다. 이것이 바로 인공지능이 과거의 고정된 데이터 모음만을 사용하여 의사결정을 내리는 방법을 배우는 분야인 오프라인 강화 학습(offline reinforcement learning)의 과제입니다. 이 설정에서 컴퓨터는 현실에서 새로운 아이디어를 테스트할 수 없는 상태로, 자신이 본 예시들보다 더 나은 행동을 하는 방법을 알아내야 합니다. 이러한 시스템을 가르치는 전통적인 방식은 두 부분이 긴밀한 루프로 작동하는 것을 포함합니다. 한 부분은 어떤 행동이 좋은지를 배우고, 다른 부분은 그 행동을 어떻게 수행하는지를 배웁니다. 첫 번째 부분은 두 번째 부분을 끊임없이 안내하며, 가치 있어 보이는 행동을 시도하도록 지시합니다. 그러나 데이터가 시간에 따라 고정되어 있기 때문에, 이러한 안내는 위험해질 수 있습니다. 만약 "무엇이 좋은가"를 판단하는 부분이 실수를 하여 위험한 움직임을 과대평가하면, "어떻게 수행하는가"를 담당하는 부분은 그 움직임을 실행하려고 시도할 것이고, 이는 오류를 강화하여 안전하고 검증된 행동으로부터 점점 더 멀어지게 만듭니다.

Simplexity Robotics와 Rensellair Polytechnic Institute의 연구진은 이 문제를 해결하기 위한 다른 방법을 제안하며, 학습 단계 동안 이 두 부분이 서로 대화를 멈춰야 한다고 주장했습니다. 그들의 새로운 접근 방식에서는 학습하는 작업과 최선의 행동을 선택하는 작업을 완전히 분리합니다. 먼저, 데이터에 있는 행동을 모방하는 데에만 전념하는 모델을 훈련시킵니다. 이는 개선을 시도하거나 새로운 전략을 추측하지 않는 완벽한 복사기처럼 행동하는 것입니다. 이 모델은 데이터에 의해 뒷받 p되고 안전하다고 알려진 여러 가지 가능한 행동 목록을 생성합니다. 그다음, 독립적으로 훈련되어 가치를 판단하도록 설계된 별도의 시스템이 이 목록을 살펴보고 실행할 단 하나의 최선책을 고릅니다. 이들은 기존의 피드백 루프를 끊음으로써, 연구진은 오류를 증폭시키는 함정을 피할 수 있다는 것을 발견했습니다. 가상 미로를 탐색하는 것부터 로봇 팔을 조작하는 것까지 다양한 30가지 복잡한 과제를 수행한 실험에서, 이 분리된 방법은 전통적인 밀접 결합 방식보다 일관되게 우수한 성능을 보였습니다. 어떤 경우에는 성공률이 절반 미만에서 거의 70%까지 뛰어올랐는데, 이는 때때로 가장 좋은 개선 방법은 학습자가 아직 공부하고 있는 동안에는 개선을 시도하지 않는 것임을 증명합니다.

연구진이 식별한 문제의 핵심은 표준 인공지능 시스템이 고정된 데이터로부터 학습하는 방식에 있습니다. 일반적인 설정에서는 시스템에 행동의 가치를 추정하는 '비평가(critic)'와 이를 수행하는 법을 배우는 '배우(actor)'가 있습니다. 비평가는 배우에게 어떤 움직임이 좋은지 알려주고, 배우는 그것을 하려고 노력합니다. 로봇이 환경과 계속 상호작용할 수 있는 실제 시나리오에서는 이것이 잘 작동하는데, 왜냐하면 비평가가 실수를 하더라도 배우의 새로운 시도가 오류를 수정하는 새로운 데이터를 생성하기 때문입니다. 하지만 오프라인 학습에서는 데이터셋이 잠겨 있습니다. 만약 비평가가 위험한 행동이 가치 있다고 잘못 믿으면, 배우는 그것을 시도할 것이고, 새로운 데이터가 도착하여 비평가를 수정해주지 않기 때문에 실수는 더욱 악화됩니다. 배우는 데이터가 전혀 다루지 않은 행동 영역으로 흘러 들어가게 되는데, 연구진은 이를 '분포 외 증폭 루프(out-of-distribution amplification loop)'라고 부릅니다. 이를 방기하기 위해 기존 방법들은 배우가 원래의 데이터 근처에 머물도록 강제하려 하지만, 이는 어려운 트레이드오프를 만듭니다. 배우를 너무 많이 제약하면 안전한 데이터 범위 내에서도 최선의 움직임을 찾을 수 없고, 너무 자유롭게 풀어주면 오류의 루프에 빠지게 됩니다.

이 문제를 해결하기 위해 연구진은 과정을 분리했습니다. 그들은 배우에게 오직 한 가지 일, 즉 데이터셋에 있는 행동의 분포를 모델링하는 일만을 하도록 훈련시켰습니다. 그들은 비평가가 배우의 훈련에 전혀 영향을 미치지 못하게 했습니다. 일단 이 '제안자(proposer)' 모델이 훈련되면, 그것은 고정되어 다시는 변하지 않습니다. 로봇이 결정을 내려야 하는 순간, 제안자는 안전하고 관찰된 데이터에 기반한 작은 후보 행동 세트를 생성합니다. 독립적으로 훈련되어 가치를 판단하도록 설계된 별도의 비평가가 이 특정 목록을 살펴보고 가장 높은 점수의 옵션을 선택합니다. 이는 개선의 작업을 훈련 단계에서 결정의 순간으로 옮긴 것입니다. 배우의 뇌를 더 낫게 만들기 위해 조정하는 대신, 시스템은 단순히 몇 가지 안전한 옵션을 생성하고 심판이 승자를 고르게 했습니다. 이 접근 방식은 비평가가 배우가 위험한 영역으로 표류하는 것을 걱정할 필요가 없게 만들었는데, 왜냐하면 배우는 애초에 표류하는 것이 허용되지 않았기 때문입니다. 비평가는 단지 고정된 제안자가 제공하는 안전한 옵션들을 순위 매기기만 하면 되었습니다.

실험 결과는 놀라웠습니다. 연구진은 로봇 개미가 큰 미로를 탐색하거나 휴머노이드 로봇이 복잡한 환경을 통과하는 것과 같은 목표 지향적 행동을 포함한 30가지 과제에 대해 이 방법을 테스트했습니다. 그들은 이 분리된 방법과 배우와 비평가를 연결해 두는 표준 기술들을 비교했습니다. AntMaze-Large라는 항해 과제에서, 특정 유형의 가치 학습자를 사용하는 전통적인 방식은 약 31%의 성공률을 보였습니다. 연구진이 동일한 가치 학습자와 함께 이 분리된 접근 방식을 적용했을 때, 성공률은 49%로 상승했습니다. 큐브를 다루는 조작 과제에서는 분리된 방법이 21%의 전통적 방식에 비해 79%의 성공률에 도달하며 훨씬 더 극적인 개선을 보였습니다. 아마도 가장 놀라운 점은, 매우 단순하고 기본적인 가치 학습 시스템이 오프라인 환경에서 보통 어려움을 겪음에도 불구하고, 이 분리된 선택 과정과 결합되었을 때 매우 효과적이었다는 사실입니다. 퍼즐 해결 과제에서 단순한 가치 학습자가 이 방법과 결합되었을 때 100%의 성공률을 달eric, 훨씬 더 복잡한 표준 시스템들을 압도했습니다.

이 연구는 시스템이 더 많은 옵션을 볼 수 있게 허용했을 때 어떤 일이 일어나는지 조사함으로써 왜 이 분리가 잘 작동하는지를 밝혀냈습니다. 연구진은 제안자가 단 하나가 아니라 몇 개의 후보를 생성하게 함으로써 시스템이 데이터의 안전한 영역을 더 철저히 탐색할 수 있게 된다는 것을 발견했습니다. 그러나 한계는 있었습니다. 만약 시스템이 너무 많은 후보를 생성하면, 위험한 분포 외 행동을 포함할 가능성이 높아져 가치를 판단하는 시스템이 이를 실수로 선택할 수 있습니다. 최적의 균형은 후보의 수를 조정함으로써 찾아졌는데, 이는 전체 시스템을 재학습시키지 않고도 조정할 수 있는 단일 설정이었습니다. 이러한 유연성은 안전과 성능 사이의 균형을 맞추기 위해 종종 값비싼 재학습을 요구하는 전통적인 방법들에 비해 큰 장점입니다. 연구진은 이 접근 방식이 특히 대규모 로봇 시스템에서 유망하다고 언급했는데, 거대한 모델을 재학습시키는 것은 계산 비용이 많이 들기 때문입니다. 메인 모델을 고정된 상태로 유지하고 가벼운 가치 시스템만을 사용하여 최종 선택을 하게 함으로써, 이 방법은 더 나은 성능을 향한 계산 효율적인 경로를 제공합니다.

연구진은 이 방법에 경계가 있음을 인정합니다. 시스템은 고정된 제안자가 생성할 수 있는 행동 중에서만 선택할 수 있습니다. 만약 최선의 행동이 원래 데이터에서 본 적이 없는 것이라면, 시스템은 그것을 발명해낼 수 없습니다. 그러나 가능한 범위 내에서, 분리된 접근 방식은 전통적인 결합 방식보다 일관되게 더 나은 솔루션을 찾아냈습니다. 이 연구는 학습과 개선이 단일 루프 내에서 동시에 일어나야 한다는 오랜 믿음이, 정적인 데이터로부터 학습할 때는 반드시 필요하거나 혹은 바람직하지 않을 수도 있음을 시사합니다. 안전한 옵션을 생성하는 것과 최선의 것을 선택하는 것을 분리함으로써, 연구진은 인공지능가 과거로부터 배우면서 자신의 실수에 갇히지 않고 나아갈 수 있는 더 명확하고 안정적인 경로를 제시했습니다. 이 결과는 오프라인 학습의 경우, 배우에게 훈련 중에 영리해지도록 가르치려 하기보다, 단순히 과거를 기억하게 하고 행동의 순간에 별도의 비판적인 눈이 개선의 역할을 맡기는 것이 가장 효과적인 전략일 수 있음을 보여줍니다.