A Generative Adversarial Network for Goal Oriented Subgoal Training Exploration and Rewards

인공지능의 세계에는 '탐색 문제(exploration problem)'라고 불리는 지속적인 난제가 존재합니다. 로봇에게 방을 가로질러 걷는 법을 가르친다고 상상해 보십시오. 만약 로봇이 단순히 무작위적인 움직임을 시도한다면, 결국 다리를 움직이는 올바른 방법을 우연히 발견할 수도 있겠지만, 수백만 번의 시도가 필요하거나 아예 알아내지 못할 수도 있습니다. 이는 로봇이 매 걸음마다 올바르게 움직였을 때 작은 힌트를 받는 것이 아니라, 방 전체를 성공적으로 가로질렀을 때만 보상을 받는 경우에 특히 두드러집니다. 이러한 지연은 기계가 어떤 구체적인 행동이 성공으로 이어졌는지 이해하는 것을 매우 어렵게 만듭니다. 수년 동안 연구자들은 큰 과제를 더 작고 중간적인 목표들로 나누는 전략인 '계층적 학습(hierarchical learning)'을 통해 이 문제를 해결하려 노력해 왔습니다. 그러나 이러한 방법들은 종종 인간이 무엇이 작은 목표가 되어야 하는지를 수동으로 정의해야 했으며, 이는 로봇이 새로운 상황이나 복잡한 상황에 적응하는 능력을 제한했습니다.

빙엄턴 대학교(Binghamton University)의 연구진은 이 과제를 해결하기 위한 새로운 방법을 제안했는데, 이는 인간의 지시 없이도 기계가 스스로 중간 목표를 발견할 수 있게 해주는 방식입니다. 그들은 GANGSTER(Generative Adversarial Network for Goal Oriented Subgoal Training, Exploration, and Rewards)라고 불리는 시스템을 개발했습니다. 핵심 아이디어는 자신과 경쟁하며 유용한 '경유지(waypoints)'를 생성하도록 학습하는 유형의 인공지능을 사용하는 것입니다. 무작위로 추측하는 대신, 이 시스템은 높은 점수를 받을 가능성이 높고, 현재 위치에서 물리적으로 도달 가능한 상태(예: 로봇 다리의 특정 위치)이면서, 학습 과정을 신선하게 유지하기 위해 이전 시도들과 충분히 차별화되는 구체적인 상태를 제안하는 법을 배웁니다. 연구진은 치타, 개미, 워커(walker)와 같은 가상 생명체가 포함된 복잡한 시뮬레이션 환경에서 이 시스템을 테스트했으며, 이를 통해 기계가 더 빠르고 안정적으로 학습할 수 있음을 발견했습니다. 특히 가장 어려운 과제에서 그 효과가 두드러졌습니다.

연구진은 기존의 강력한 학습 알고리즘의 근본적인 작동 방식을 변경하지 않고도 이 시스템이 함께 작동할 수 있도록 구축했습니다. 학습 알고리즘을 어려운 수학 문제를 풀려고 노력하는 학생이라고 하고, 새로운 시스템을 유용한 중간 단계를 제안하는 튜터(tutor)라고 생각해 보십시오. 학생은 여전히 스스로 작업하고 규칙을 배우지만, 튜터는 유망한 경로를 가리켜 줍니다. 이 경우, '튜터'는 후보 하위 목표를 생성하도록 훈련된 생성 모델입니다. 로봇이 새로운 시도를 시작할 때, 모델은 잠재적인 목표 목록을 생성합니다. 그런 다음 시스템은 세 가지 기준에 따라 이 목표들을 평가합니다: 결과가 얼마나 좋을 것인지(goodness), 로봇이 현재 위치에서 그곳에 도달하기가 얼마나 쉬운지(reachability), 그리고 학습이 새로운 영역을 탐색할 수 있도록 목표가 다른 것들과 얼마나 다른지(variety)입니다. 시스템은 최선의 목표를 선택하고 로봇이 그 목표에 가까워지는 것에 대해 즉각적인 작은 보상을 주어, 길고 혼란스러운 여정을 관리 가능한 일련의 단계들로 바꿉니다.

이 접근 방식이 실제로 효과가 있는지 확인하기 위해, 연구진은 MuJoCo라고 알려진 표준 로봇 시뮬레이션 제품군을 사용하여 광범위한 실험을 수행했습니다. 이 환경들은 진자를 균형 잡는 것과 같은 단순한 작업부터, 앞으로 달려 나가기 위해 움직임을 조절해야 하는 여덟 개의 다리를 가진 가상의 개미를 제어하는 것과 같은 매우 복잡한 작업까지 다양합니다. 연구진은 GANGSTER로 강화된 로봇을 이 추가적인 안내 없이 학습하는 표준 로봇들과 비교했습니다. 결과는 명확한 패턴을 보여주었습니다: 환경이 더 복잡해질수록 새로운 시스템의 도움은 더 커졌습니다. 가장 단순한 작업에서는 표준 로봇들도 잘 수행했으며, 새로운 시스템의 이점은 미미했습니다. 그러나 고도의 복합성을 가진 환경에서는 차이가 극명했습니다. 예를 들어, Ant-v5 환경에서 GANGSTER 시스템은 표준 방식에 비해 과제를 해결하는 데 걸리는 시간을 약 31% 단축했고, 최종 성능은 53% 향상시켰습니다. 가상의 치타를 이용한 또 다른 테스트에서는, 시스템이 솔루션의 일관성을 99% 이상으로 개선하여, 로봇이 일단 과제를 학습하고 나면 거의 실패하지 않음을 보여주었습니다.

연구는 또한 시스템의 성공이 중간 목표를 어떻게 선택하느냐에 크게 의존한다는 것을 밝혀냈습니다. 연구진은 '좋음(goodness)', '도달 가능성(reachability)', '다양성(variety)'이라는 세 가지 기준의 가중치를 다르게 설정하여 테스트했으며, '좋음'의 가중치를 높이는 것이 가장 결정적인 요소라는 것을 발견했습니다. 높은 미래 보상을 약속하는 목표가 로봇을 안내하는 데 가장 효과적이었습니다. 그러나 나머지 두 요소도 안정성을 위해 필수적이었습니다. 도달 가능성을 확인하지 않으면 로봇은 불가능한 목표를 향하게 될 것이고, 다양성을 확보하지 않으면 똑같은 것을 반복하려고 시도하는 데 갇히게 될 것이기 때문입니다. 이 시스템은 두 가지 다른 유형의 학습 알고리즘과 잘 작동하는 유연성을 입증했으며, 과제가 어려워짐에 따라 그 이점이 확장되었습니다. 이는 인공지능이 점점 더 복잡한 현실 세계의 과제에 직면함에 따라, 유용하고 중간적인 목표를 자동으로 생성하고 우선순위를 정하는 메커니즘을 갖추는 것이 더 효율적이고 신뢰할 수 있는 학습을 실현하는 열쇠가 될 수 있음을 시사합니다.

시스템이 시뮬레이션에서 큰 가능성을 보여주었지만, 연구진은 그 한계점 또한 주의 깊게 언급했습니다. 이러한 추가적인 목표를 생성하고 평가하는 과정은 추가적인 컴퓨팅 자원을 요구하므로, 표준 방식보다 훈련 속도가 느려집니다. 로봇이 스스로 빠르게 학습할 수 있는 단순한 환경에서는 이 추가적인 비용이 이득을 줄 만큼 가치가 없습니다. 더욱이, 현재의 테스트는 모두 디지털 시뮬레이션 환경에서 수행되었습니다. 연구진은 이 기술을 실제 로봇에 적용하려면 컴퓨터 시뮬레이션에는 존재하지 않는 센서 노이즈와 안전 제약 조건과 같은 문제들을 해결해야 한다고 인정했습니다. 그럼에도 불구하고, 이 연구는 기계가 스스로 복잡한 환경을 탐색하는 법을 가르치는 데 있어 중요한 진전을 보여줍니다. 어려운 문제를 달성 가능한 단계들로 나누는 구조화된 방법을 제공함으로써, GANGSTER 프레임워크는 현실 세계의 복잡하고 긴 호흡의 도전 과제들을 헤쳐 나갈 수 있는 더 유능한 인공지능 시스템을 향한 실질적인 경로를 제시합니다.