Composing Reinforcement Learning Policies, with Formal Guarantees

당신이 로봇에게 거대하고 변화무쌍한 미로를 탐색하는 법을 가르치고 있다고 상상해 보세요. 이것은 단순한 미로가 아닙니다. 벽이 움직일 수도 있고, 바닥이 변할 수도 있으며, 로봇은 날아다니는 장애물에 부딪히지 않기 위해 순식간에 결정을 내려야 하는 세계입니다. 이것이 바로 인공지능의 한 분야인 **강화 학습(Reinforcement Learning, RL)**의 세계입니다. 여기서 에이전트는 강아지가 간식을 받기 위해 앉는 법을 배우는 것처럼, 시행착오를 통해 학습합니다. 목표는 에이전트가 모든 상황에서 최선의 결과를 얻기 위해 무엇을 해야 하는지 알려주는 규칙 세트인 '정책(policy)'을 찾는 것입니다.

하지만 함정이 있습니다. RL은 경험으로부터 배우는 데는 뛰어나지만, **보장(guarantees)**을 제공하는 데는 매우 취약합니다. 만약 당신이 표준 RL 로봇에게 "저 지게차에 부딪히지 않을 것이라고 100% 확신합니까?"라고 묻는다면, 로봇은 대개 수학적인 "예"라고 답하지 못할 것입니다. 그저 "괜찮을 것 같아요"라고 말할 뿐이죠. 하지만 자율주행 자동차나 전력망 관리와 같이 안전이 중요한 작업에서는 "그럴 것 같다"는 식의 답변은 충분하지 않습니다. 여기서 **형식 검증(formal verification)**이 등장합니다. 이는 "이 특정 조건 하에서는 이 행동이 반드시 안전하다"라고 말해주는 엄격한 수학적 증명과 같습니다. 과학자들이 직면한 과제는 경험으로부터 배우는 방식과 수학적 증명이라는 이 두 세계가 보통 서로 잘 어울리지 않는다는 점입니다. 학습은 방대하고 무질서한 데이터를 필요로 하는 반면, 증명은 깔끔하고 단순한 모델을 필요로 하기 때문입니다. 이 논문은 이 복잡한 접점에 뛰어들어, 우리가 '학습도 잘하면서 동시에 안전 인증서까지 갖춘' 로봇을 가질 수 있는지 확인하고자 합니다.

---

핵심 아이디어: 지도와 방들

연구진(벨기에, 이스라엘, 네덜란드, 덴마크, 영국 출신의 연구팀)은 문제를 두 가지로 나누는 영리한 방법을 제안합니다. 거대한 창고를 상상해 보세요. **상위 레벨(High-level)**은 문으로 연결된 방들의 격자 구조인 단순한 지도입니다. 당신은 이 지도를 완벽하게 알고 있습니다. A번 방이 B번 방과 연결되어 있고, B번 방이 출구와 연결되어 있다는 사실을 말이죠. 하지만 각 방의 내부는 어떨까요? 그곳은 미지의 영역입니다. '역학(dynamics)'(사물이 어떻게 움직이는지, 장애물이 어디에 있는지 등)은 알려져 있지 않고 혼란스럽습니다.

저자들은 이를 **'이층 구조(two-level structure)'**라고 부릅니다.

• 상위 레벨 (지도): 이 부분은 쉬운 부분입니다. 방과 문으로 이루어진 단순한 그래프입니다.
• 하위 레벨 (방 내부): 이 부분은 어려운 부분입니다. 각 방 안에서 에이전트는 움직이는 지게차, 작업자 또는 다른 로봇들을 피해야 합니다. 이곳의 규칙은 복잡하고 알 수 없습니다.

이 논문의 핵심 전략은 **'관심사의 분리(separation of concerns)'**입니다. 저자들은 두 가지 서로 다른 수준에 두 가지 다른 도구를 사용합니다. 상위 레벨의 지도를 위해서는 **반응적 합성(Reactive Synthesis)**을 사용합니다. 이것을 아주 똑똑한 논리적 플래너라고 생각하세요. 이 플래너는 지도를 보고 일련의 규칙(예: "아무것도 치지 않고 출구에 도달하라")을 바탕으로 취해야 할 최선의 경로를 수학적으로 증명할 수 있습니다. 마치 완벽한 지도를 가지고 있어 절대 길을 잃지 않는 GPS와 같습니다.

하지만 GPS는 로봇에게 방 안에서 지게차를 어떻게 피해야 하는지는 알려줄 수 없습니다. 이를 위해 그들은 **강화 학습(RL)**을 사용합니다. 로봇은 각 방 안에서 시뮬레이션을 반복하며, 충돌 없이 입구에서 출구까지 가는 방법을 학습합니다. 문제는 표준 RL은 '블랙박스'라는 점입니다. 즉, 그것이 정확히 어떻게 작동하는지 알 수 없으며, 안전하다고 증명할 수도 없습니다.

마법 같은 기술: '잠재적(Latent)' 지름길

여기서 이 논문은 정말 멋진 지점에 도달합니다. 저자들은 로봇이 각 방을 위한 거대하고 복잡한 신경망(수학으로 만들어진 뇌)을 단순히 학습하게 하는 대신, **간결한 잠재 모델(concise latent model)**을 학습하도록 가르칩니다.

움직이는 장애물로 가득 찬 혼란스러운 방을 친구에게 설명하려고 한다고 상상해 보세요. 모든 물체의 모든 움직임을 하나하나 설명하려 한다면 시간이 너무 오래 걸리고 기억하기도 불가능할 것입니다. 대신, 방의 '본질'을 포착하는 **단순화된 스케치(잠재 모델)**를 만들 수 있습니다. 예를 들어, "왼쪽으로 가면 보통 벽에 부딪히고, 오른쪽으로 가면 보통 문을 발견한다"와 같은 식입니다.

저자들은 WAE-DQN이라는 새로운 훈련 방법을 개발했습니다. 이것은 로봇이 두 가지를 동시에 학습하는 과정의 멋진 이름입니다:

1. 어떻게 행동할 것인가 (정책/policy).
2. 어떻게 단순화된 스케치를 그릴 것인가 (잠재 모델/latent model).

결정적으로, 그들은 단순히 스케치를 추측하는 것이 아니라, 그 스케치가 얼마나 좋은지에 대한 **보장(guarantee)**을 계산합니다. 그들은 PAC bounds(Probably Approximately Correct, 아마도 대략적으로 옳은)라고 불리는 개념을 사용합니다. 이것을 '신뢰도 점수'라고 생각하세요. "이 스케치는 완벽하다"라고 말하는 것이 아니라, "우리는 이 스케치가 실제 방의 행동 범위 내에 있을 확률이 95%라고 확신한다"라고 말하는 것입니다.

종합하기: 플래너

로봇이 모든 방에 대한 이러한 단순화된 스케치와 '신뢰도 점수'를 학습하고 나면, 상위 레벨 플래너가 작동합니다. 플래너는 지도와 스케치를 살펴봅니다. 그리고 질문합니다. "만약 내가 로봇을 A번 방으로 보내서 오른쪽으로 가라고 한다면, 성공적으로 문에 도착할 확률은 얼마인가?" 플래서는 스케치에서 얻은 신뢰도 점수를 사용하여 이를 수학적으로 계산합니다.

플래너는 각 방의 스케치에 대한 '안전 마진(safety margin)'을 알고 있기 때문에, 로봇이 시행착오를 통해 방의 세부 사항을 배웠음에도 불구하고 수학적으로 작동이 보장되는 **전역 계획(global plan)**을 세울 수 있습니다.

실험: 효과가 있는가?

연구팀은 이 아이디어를 두 가지 매우 다른 환경에서 테스트했습니다:

1. 그리드 월드(Grid World): 움직이는 적들이 있는 디지털 미로.
2. ViZDoom: 로봇이 시각적 입력(카메라와 같은)을 사용하여 적을 피하며 탐색해야 하는 비디오 게임 환경(Doom 기반).

그리드 월드에서 그들은 9개의 방과 11개의 움직이는 적이 있는 미로를 만들었습니다. 표준 AI(DQN 방식 사용)는 좋은 경로를 학습하는 데 어려움을 겪으며 자주 길을 잃거나 충돌했습니다. 하지만 이 새로운 방법은 어떠했을까요? 성공적으로 경로를 찾아냈습니다. 더욱 놀라운 점은, 더 큰 미로(49개 방과 47개의 적)에서도 테스트했다는 것입니다. 로봇은 작은 방에서 배운 동일한 '스케치'를 사용하여 거대한 미로를 성공적으로 통과했습니다. 이는 이 방식의 '재사용성'을 입증합니다: 즉, 한 종류의 방을 다루는 법을 한 번 배우면, 지도가 아무리 커지더라도 유사한 방에서는 그 지식을 사용할 수 있다는 것입니다.

ViZDoom 실험에서 로봇은 시각적 입력과 적을 쏘는 상황을 다뤄야 했습니다. 결과에 따르면, '잠재적 가치(latent values, 단순화된 스케치가 예측한 값)'는 실제 게임에서 일어난 일과 매우 유사했습니다. 예를 들어, 로봇이 특정 시나리오에서 성공 확률이 24%라고 예측했을 때, 실제 성공률은 약 23%였습니다. 이 근접성은 그들의 '스케치'가 믿을 수 있을 만큼 정확하다는 것을 증명합니다.

이것이 왜 중요한가

이 연구의 가장 큰 승리는 단순히 로봇이 게임을 더 잘하게 된 것이 아닙니다. 로봇이 '안전 인증서'를 가진 채로 더 잘하게 되었다는 점입니다.

과거에는 복잡한 환경을 탐색하는 로봇을 원할 때, 다음 두 가지 중 하나를 선택해야 했습니다:

• 안전성: 모든 것이 안전하다고 증명할 수 있는 단순한 모델을 사용하지만, 현실의 혼돈을 감당하기에는 너무 멍청한 로봇.
• 기술: 혼돈을 다룰 수 있는 강력한 학습 로봇을 사용하지만, 언제 충돌할지 알 수 없는 로봇.

이 논문은 제3의 길을 보여줍니다. '지도'와 '방'을 분리하고, 로봇에게 방의 단순화되고 검증된 스케치를 학습하도록 가르침으로써, 똑똑하면서도(smart) 동시에 안전한(safe) 시스템을 만들어냈습니다. 즉, 움직이는 장애물과 시각적 입력을 처리할 수 있으면서도 수학적 보증을 제공하는 시스템입니다.

저자들은 자신들의 방법이 시작 단계에서 환경에 대한 '지도'가 여전히 필요하다는 점을 인정합니다. 로봇을 완전히 모르는 세상에 던져놓고 지도를 처음부터 스스로 만들기를 기대할 수는 없습니다. 하지만 구조(창고, 도시 격자, 소프트웨어 시스템 등)는 알고 있지만 그 안에서 어떤 일이 벌어지는지는 모르는 환경의 경우, 이 접근 방식은 강력한 새로운 도구가 됩니다. 이는 학습이라는 '블랙박스'를 우리가 검사하고, 검증하며, 신뢰할 수 있는 '글래스박스(glass box)'로 바꾸어 놓았습니다.