Interpretable reinforcement learning with decision-tree pruning

블랙박스와 설계도

로봇에게 걷기, 체스 하기, 또는 카트 위의 막대기 균형 잡는 법을 가르친다고 상상해 보세요. 모든 움직임에 대해 일일이 코드를 작성하는 것이 아니라, 로봇이 시행착오를 통해 배우도록 합니다. 성공하면 보상을 주고, 실패하면 벌을 주는 방식이죠. 이것이 바로 인공지능의 한 분야인 **강화 학습(Reinforcement Learning)**입니다. 소프트웨어 에이전트가 환경과 상호작용하며 의사결정을 내리는 법을 배우는 과정입니다. 그 결과물은 흔히 '정책(policy)'이라 불리는 일련의 지침이 됩니다. 하지만 가장 강력한 정책들은 대개 거대하고 복잡한 신경망 안에 숨겨져 있습니다. 이 신경망을 거대하고 엉클어진 실타래나 '블랙박스'라고 생각해보세요. 로봇이 행동하는 모습은 볼 수 있지만, 만약 "왜 그런 특정 움직임을 했는가?"라고 묻는다면, 그 답은 수백만 개의 보이지 않는 연결 속에 파묻혀 있습니다. 이는 현실 세계에서 우리가 이 로로봇들을 신뢰해야 한다는 점에서 문제가 됩니다. 자율주행 자동차나 의료용 AI가 실수를 저질렀을 때, 우리는 블랙박스 내부를 들여다보고 그 논리를 이해하며 수정할 수 있어야 하기 때문입니다.

이를 해결하기 위해 과학자들은 이러한 엉킨 신경망을 **의사결정 나무(Decision Trees)**로 번역하는 방법을 개발했습니다. 신경망이 엉망으로 엉킨 실타래라면, 의사결정 나무는 명확한 순서도나 '당신의 선택에 따라 이야기가 달라지는(choose your own adventure)' 책과 같습니다. 이 나무는 "막대가 왼쪽으로 기울어져 있는가?"와 같은 간단한 질문을 던지고, "오른쪽으로 밀기"와 같은 답을 향해 경로를 따라갑니다. 이러한 나무는 인간이 읽기에 훨씬 쉽습니다. 하지만 여기에는 함정이 있습니다. 복잡한 뇌를 나무로 번역하면, 그 나무가 너무 커져서 읽을 수 없게 되는 경우가 많다는 점입니다. 나무에 수천 개의 가지가 생기면 원래의 블랙박스만큼이나 혼란스러워질 수 있습니다. 여기서 핵심적인 질문은 이것입니다: "로봇이 본연의 임무를 수행하는 능력을 해치지 않으면서, 이 거대한 나무를 작고 단순하게 다듬을 수 있을까?"

울타리 다듬기: AI를 단순화하는 새로운 방법

이 논문에서 마크 링거(Mark Ringer)와 미셸 토키치(Michel Tokic)는 이 질문에 답하기 위한 영리한 방법을 제안합니다. 그들은 AI 의사결정 나무를 단순화하는 것을 일회성 마법이 아니라, 세심하고 단계적인 편집 과정으로 취급합니다. 마치 길을 가로막고 있는 거대하고 무성한 울타리를 상상해 보세요. 사람들의 통행을 위해 울타리를 쳐내고 싶지만, 그렇다고 너무 많이 잘라내어 울타로가 쓰러지거나 정원을 깔끔하게 유지하는 본래의 기능을 상실하게 하고 싶지는 않을 것입니다.

저자들은 이미 신경망으로부터 번역된 의사결정 나무에서 시작합니다. 이 나무는 과업을 해결하는 방법을 알고 있다는 점에서 그들의 '스승' 역할을 하지만, 인간이 이해하기에는 너무 복잡합니다. 그들의 목표는 로봇의 성능을 높게 유지하면서 나무를 가지치기(pruning)하는 것, 즉 불필요한 가지를 잘라내는 것입니다. 그들은 단순히 어떤 가지를 자를지 추측하는 것이 아니라, 엄격하고 감사 가능한 과정을 사용합니다. 그들은 나무를 다듬는 세 가지 주요 방법을 제안합니다.

1. "높이 제한" (최대 깊이 가지치기, Max-Depth Pruning): 이것은 "어떤 가지도 5피트보다 높게 자랄 수 없다"라고 말하는 것과 같습니다. 나무의 어떤 부분이 더 깊게 자라려고 하면 그 부분을 잘라내고 단순한 잎(leaf)으로 대체합니다. 이는 나무가 짧고 단순하게 유지되도록 강제합니다.
2. "동질성 검사" (최대 불순도 가지치기, Max-Impurity Pruning): 이 방법은 가지를 살펴보고 "이 부분이 이미 충분히 명확해서 더 이상 나눌 필요가 없는가?"라고 묻습니다. 만약 어떤 가지가 이미 거의 모든 상황에 대해 동일한 결정을 내리고 있다면, 그것은 '순수(pure)'하다고 간주됩니다. 알고리즘은 추가적인 분기를 잘라내고 그 구역 전체를 하나의 잎으로 바꿉니다.
3. "스마트 방문자 카운터" (의사결정 나무 적응형 제약 가지치기 또는 DACP, Decision-tree Adaptive Constrained Pruning): 이것은 가장 정교한 방법이자 이 연구의 주인공입니다. 이것은 박물관의 각 방에 얼마나 많은 사람이 방문하는지 세는 투어 가이드와 같습니다. 만약 어떤 방(또는 의사결정 노드)에 방문객이 거의 없다면, 가이드는 그 방을 폐쇄하기로 결정할 수 있습니다. 하지만 가이드는 똑똑합니다. 방을 닫기 전에, 그곳이 만약 닫혔을 때 투어를 망칠 수도 있는 비밀 VIP 입구인지 확인합니다. 그들은 안전망을 사용하여, 만약 절단 작업이 로봇의 점수를 너무 빠르게 떨어뜨린다면 작업을 멈추고 뒤로 물러나도록 합니다.

이 과정은 "뜨겁다 혹은 차갑다(Hot and Cold)" 게임처럼 작동합니다. 알고리즘은 한 묶음의 가지를 잘라봅니다. 그런 다음, 로봇을 다시 과업에 투입하여 얼마나 잘 수행하는지 확인합니다. 만약 로봇이 여전히 높은 성능(특정 안전 임계값 이상)을 유지한다면, 그 절단을 확정하고 나무를 더 작게 만듭니다. 만약 로봇의 성능이 너무 많이 떨어진다면, 그 절단은 거부되고 알고리즘은 다른 더 작은 단위의 절단을 시도합니다. 모든 변경 사항은 기록되어, 나무가 어떻게 단순화되었고 그것이 로봇의 행동에 어떤 영향을 미쳤는지 보여주는 '흔적'을 남깁니다.

결과: 더 작은 나무, 때로는 더 나은 로봇

저자들은 막대 균형 잡기(CartPole)부터 인간처럼 걷기(Walker2D)까지 다양한 고전적인 로봇 챌린지에 이 방법을 테스트했습니다. 그들은 자신들의 가지치기 과정이 거대하고 읽기 어려운 나무를 작고 인간 친화적인 버전으로 성공적으로 변환했음을 발견했습니다.

가장 흥arian한 발견 중 하나는 단순화가 항상 성능 저하를 의미하는 것은 아니라는 점이었습니다. 루나 랜더(Lunar Lander) 과업의 경우처럼, 원래의 '스승'인 신경 네트워크가 실제로 '과적합(overfitting)'되어 있었던 경우가 있었습니다. 즉, 훈련 데이터를 너무 완벽하게 암기하여 이상하고 불필요한 움직임을 만들고 있었던 것입니다. 저자들이 의사결정 나무를 가지치기했을 때, 그들은 의도치 않게 이러한 이상한 과적합 가지들을 잘라냈습니다. 결과는 어떠했을까요? 단순화된 나무가 원래의 복잡한 모델보다 실제로 더 잘 작동했습니다. 더 적은 규칙으로 더 높은 점수를 달성한 것입니다.

하지만 한계는 존재합니다. 논문은 명확한 트레이드오프(trade-off)를 보여줍니다. 나무를 계속해서 작게 자르다 보면 결국 로봇이 실패하기 시작합니다. 나무가 과업의 복잡성을 감당하기에 너무 단순해지는 '임계점'이 존재합니다. 저자들은 자신들의 "스마트 방문자 카운터"(DACP) 방식이 일반적으로 이 최적의 지점을 찾는 데 가장 뛰어났으며, 나무를 읽을 수 있을 만큼 작게 유지하면서도 높은 성능을 유지해 준다는 것을 발견했습니다.

또한 그들은 잎(나무의 끝점)의 개수가 복잡성을 측정하는 좋은 방법이긴 하지만, 그것이 나무가 인간이 이해하기에 얼마나 쉬운지에 대한 전체 이야기를 다 해주지는 못할 수도 있다고 언급했습니다. 질문 자체가 너무 이해하기 어렵다면 잎의 개수가 적더라도 여전히 혼란스러울 수 있기 때문입니다.

결론

이 논문은 AI에 대한 신뢰의 미스터리를 영원히 해결했다고 주장하는 것이 아니라, 강력한 새로운 도구를 제시하고 있습니다. 우리는 똑똑한 로봇과 투명한 로봇 사이에서 하나를 선택해야만 하는 것이 아닙니다. 로봇의 성능을 끊임없이 점검하는 세심하고 단계적인 가지치기 과정을 사용함으로써, 거대하고 혼란스러운 의사결정 나무를 작고 명확한 규칙 집합으로 바꿀 수 있습니다. 이를 통해 AI의 결정은 감사 가능해집니다. 즉, 왜 그런 행동을 했는지 정확히 추적할 수 있으며, 과적합의 '노이즈'를 제거함으로써 잠재적으로 성능을 향상시킬 수도 있습니다. 저자들은 자신들의 '이해 가능성' 측정이 실제 인간 테스트가 아닌 나무의 크기에 기반하고 있다는 점을 인정하고 있지만, 그들의 방법은 복잡한 코드로부터 단순하고 신뢰할 수 있는 논리로 나아가는 명확하고 투명한 경로를 제공합니다.