당신이 로봇에게 비디오 게임을 가르치고 있다고 상상해 보세요. 하지만 당신은 로봇이 현실 세계에서 이것저것 시도하며 연습하게 둘 수 없습니다. 아마도 그 게임이 너무 비싸거나, 너무 위험하거나, 혹은 로봇이 이미 고장 난 상태일 수도 있기 때문입니다. 대신, 당신은 이미 게임을 플레이하고 있는 인간의 거대한 비디오 녹화본만을 사용하여 로봇을 가르쳐야 합니다. 이것이 바로 "오프라인 강화 학습(offline reinforcement learning)"의 세계입니다. 로봇은 새로운 움직임을 단 한 번도 만들어내지 못한 채, 오직 정적인 기록으로부터 배워야 합니다.

까다로운 점은 로봇이 너무 탐욕스러워질 수 있다는 것입니다. 만약 비디오 속에서 아주 멋진 움직임을 보게 된다면, 로봇은 그것을 완벽하게 따라 하려고 할 것입니다. 하지만 만약 그 움직임이 사실은 인간의 운 좋은 실수였거나 잘못된 것이었다면, 로봇은 처참하게 실패할 수 있습니다. 이를 막기 위해 과학자들은 "정규화 항(regularizer)"을 사용합니다. 이것은 일종의 부드러운 목줄이라고 생각하면 됩니다. 이 목줄은 로봇의 새로운 결정이 기존 인간의 스타일에 묶여 있도록 하여, 위험하고 미개척된 영역으로 너무 멀리 벗어나지 못하게 방지합니다. 보통 이 목줄은 "비대칭적(asymmetric)"입니다. 즉, 한쪽 방향으로는 강하게 잡아당기지만 다른 쪽으로는 덜 잡아당기는 식이죠. 이는 마치 당신이 왼쪽으로 가는 것은 매우 엄격하게 금지하지만, 오른쪽으로 가는 것에는 크게 신경 쓰지 않는 부모와 같습니다.

그렇다면 만약 이 목줄이 "대칭적(symmetric)"이라면 어떨까요? 만약 당신이 어느 방향으로 헤매든 똑같이 강하게 잡아당긴다면 어떻게 될까요? 이 논문은 큰 질문을 던집니다: 과연 대칭적인 목줄이 실제로 더 나은가? 저자들은 기존의 비대칭적인 목줄이 표준이었지만, 대칭적인 목줄이 까다로운 상황들—예를 들어 로봇이 절벽 끝에 있거나 인간의 데이터에 이상한 공백이 있는 경우—을 훨씬 더 효과적으로 처리할 수 있다고 제안합니다. 하지만 대칭적인 목줄을 사용하는 것은 수학적으로 매우 복잡하며 로봇의 뇌를 망가뜨릴 수 있습니다(수치적 불안정성). 이 논문은 이 대칭적인 목줄을 아무 문제 없이 작동하게 만드는 새롭고 견고한 프레임워크를 구축합니다.

대칭적 목줄의 이야기

로봇 학습의 세계에는 끊임없는 줄다리기가 존재합니다. 한쪽에서는 로봇이 똑똑해져서 최선의 움직임을 찾기를 원하고, 다른 한쪽에서는 로봇이 안전하게 머물며 자신이 아는 것에 머물기를 원합니다. 이 논문은 **대칭적 행동 정규화 정책 최적화(Sf-AC)**라고 불리는 방법을 소개합니다. 이것은 "일방향 목줄 대신 균형 잡힌 양방향 목줄을 사용하여 로봇을 가르치자"라는 말을 멋지게 표현한 것입니다.

기존의 목줄이 왜 다소 불균형했는가
오랫동안 과학자들은 "비대칭적" 목줄(구체적으로 KL 발산이라 불리는 것)을 사용해 왔습니다. 당신이 새로운 모양을 오래된 틀에 맞추려고 노력한다고 상상해 보세요. 기존의 목줄은 로봇이 인간이 결코 하지 않은 행동을 시도하는 것을 막는 데는 탁so 훌륭했습니다. 하지만 결함이 있었습니다. 인간이 드물게 했던 행동을 시도하는 것에 대해서는 너무 겁을 먹었습니다.

저자들은 간단한 테스트(예를 들어 버튼이 두 개뿐인 게임을 하는 로봇)를 수행했고, 기존의 목줄이 너무 보수적이라는 것을 발견했습니다. 만약 드문 버튼이 실제로 승리하는 움직임이었다 하더라도, 비대칭적 목줄은 "인간이 이 버튼을 거의 건드리지 않았으니 나도 건드리지 말아야지!"라고 생각하며 그 버튼을 누르기를 너무 두려워했습니다. 그러나 새로운 대칭적 목줄은 드문 좋은 움직임들을 더 존중합니다. 그것은 단순히 인간이 무언가를 얼마나 자주 했는지만 보는 것이 아니라, 로봇의 아이디어와 인간의 기록 사이의 균형을 살핍니다. 테스트 결과, 이를 통해 로로봇은 더 나은 해결책을 더 빠르게 찾아낼 수 있었습니다.

절벽 끝의 문제
기존의 목줄이 어려움을 겪었던 또 다른 문제는 경계(boundaries)입니다. 많은 게임에서 캐릭터는 특정 범위, 예를 들어 -1에서 1 사이에서만 움직일 수 있습니다. 만약 로봇이 -1.5로 이동하려고 하면, 게임은 이를 -1로 잘라버립니다(clipping). 이는 기괴하고 왜곡된 행동을 유발합니다.

저자들은 기존의 비대칭적 목줄이 확률 질량을 경계 너머로 "넘치게(spill)" 만드는 경향이 있음을 보여주었습니다. 이는 마치 이미 가득 찬 컵에 물을 부으려는 것과 같습니다. 물은 옆으로 넘쳐흐르고, 게임이 이를 다시 잘라내면 로봇은 혼란에 빠지게 됩니다. 반면 새로운 대칭적 목줄은 물을 컵 안에 유지하는 데 훨씬 더 뛰어납니다. 양쪽 방향 모두에서 경계를 넘어가는 것에 대해 벌칙을 부여함으로써, 로봇이 허용된 한계 내에 안전하게 머물도록 보장합니다. 시뮬레이션에서 이 방식은 로봇이 불법적인 움직임에 시간을 낭비하지 않게 함으로써, 기존 방식보다 거의 두 배 가까운 보상을 얻게 했습니다.

수학적 혼란과 마법 같은 해결책
문제는 대칭적 목줄을 사용하는 것이 매우 어렵다는 점입니다. 완벽한 대칭적 목줄을 위한 수학을 쓰려고 하면, 방정식이 너무 복잡해져서 쉽게 풀 수 없게 됩니다. 이는 마치 조각들이 계속 모양을 바꾸는 퍼즐을 푸는 것과 같습니다. 게다가 컴퓨터로 이를 계산하려고 하면 숫자가 너무 커지거나 작아져서 컴퓨터가 멈춰버리는 문제(수치적 불안정성)가 발생합니다.

이 논문의 큰 돌파구는 영리한 수학적 트릭입니다. 저자들은 어떤 복잡한 대칭적 목줄이라도 일련의 더 단순한 조각들(Pearson-Vajda 발산이라 불리는 것)로 분해될 수 있다는 것을 깨달았습니다. 불가능한 무한한 퍼즐을 풀려고 노력하는 대신, 그들은 첫 몇 개의 조각(유한 급수)만을 사용해도 거의 완벽한 결과를 얻을 수 있다는 것을 보여주었습니다.

이 급수를 초기에 끊어냄으로써, 그들은 다음을 달성했습니다:

1. 명확한 공식 도출: 로봇의 최적 정책에 대한 깔식한 폐쇄형(closed-form) 표현식을 유도했습니다. 즉, 로봇은 추측할 필요 없이 정확히 무엇을 해야 할지 알게 됩니다.
2. 컴퓨터 충돌 방지: 손실(loss)을 계산하는 새롭고 안정적인 방법을 만들어, 이전 시도들을 괴롭혔던 수치적 폭발을 피했습니다.
3. 충분히 가깝다는 증명: 그들의 "짧은" 버전이 "완벽한" 무한 버전과 믿을 수 없을 정도로 가깝다는 것을 수학적으로 증명했습니다. 오차는 거의 제로에 가깝습니다.

실제로 효과가 있는가?
저자들은 수학 작업에서 멈추지 않았습니다. 그들은 자신들의 새로운 방법인 **Symmetric f-Actor-Critic (Sf-AC)**을 D4RL이라는 유명한 로봇 학습 벤치마크 세트에서 테스트했습니다. 이 벤치마크에는 로봇 개가 걷는 법을 배우거나, 손이 펜을 집는 법을 배우거나, 미로를 찾는 로봇과 같은 과제들이 포함되어 있습니다.

결과는 인상적이었습니다. 대부분의 과제에서 새로운 대칭적 방법은 기존의 가장 좋은 방법들과 대등하거나 더 나은 성능을 보였습니다. 특히 다른 로봇들이 어려움을 겪었던 "경계" 케이스를 처리하는 데 탁월했습니다. 또한 저자들은 수학적 트릭에서 사용하는 조각의 개수에 따라 방법이 얼마나 민감하게 반응하는지 확인했습니다. 그들은 단 몇 개의 조각(2개에서 6개 사이)만 사용하더라도 로봇이 일관되게 잘 작동한다는 것을 발견했으며, 이는 이 방법이 지나치게 복잡하지 않아도 잘 작동하는 견고한 방식임을 시사합니다.

무엇이 효과가 없는지
이 논문에서 명시적으로 효과가 없다고 밝힌 부분도 있습니다. 저자들은 로봇의 목표에는 대칭적 목줄을 사용하면서 인간의 기록에는 비대칭적 목줄을 사용하는 현재의 인기 있는 관행에 대해 반대했습니다. 그들은 수학과 예시를 통해, 이 두 종류의 목줄을 섞어서 사용하는 것이 "기하학적 불일치(geometry mismatch)"를 만든다는 것을 보여주었습니다. 이는 마치 사각형 못을 둥근 구멍에 끼우려는 것과 같아서, 로봇이 어느 방향으로 움직여야 할지 혼란을 느끼게 하여 최적이 아닌 성능을 유발합니다. 이 논문은 만약 대칭적 접근 방식을 사용하고자 한다면, 목줄과 목표 모두에 사용해야 한다고 증명합니다.

얼마나 확신하는가?
저자들은 자신들의 수학적 증명에 매우 확신하고 있습니다. 그들은 단순히 급수 근사가 작동한다고 추측한 것이 아니라, 오차가 정확히 얼마나 작은지를 보여주는 정리(theorems)를 통해 증명했습니다. 실험에서 그들은 로봇을 수천 단계 동안 실행하고 여러 번의 시도(seeds)에 대한 결과를 평균 내어, 결과가 단순히 운이 아니라는 것을 보장했습니다. 그들이 오프라인 학습을 영원히 "해결했다"고 주장하는 것은 아니지만, 그들의 대칭적 접근 방식이 특히 까다로운 경계나 편향된 데이터를 다룰 때 기존 방식보다 강력하고 안정적이며 종종 더 우수한 대안임을 입증했습니다.

요약하자면, 이 논문은 복잡하고 어려운 아이디어(대칭적 정규화)를 영리한 수학적 지름길로 길들였습니다. 그 결과, 더 균형 잡히고, 더 안정적이며, 종종 더 똑똑한 로봇 학습 방법을 만들어냈습니다.