A distilled value head breaks search, but search remains an effective teacher, not a move selector: a case study in 19x19 Go

당신이 아주 똑똑하지만 고집 센 학생에게 체스나 바둑 같은 복잡한 전략 게임을 가르치고 있다고 상상해 보세요. 보드를 보고 싶을 때마다 누가 이기고 있는지 정확히 알려주는 아주 영리한 스승(이름을 "오라클"이라고 부릅시다)이 있습니다. 보통 학생을 가르칠 때, 당신은 학생이 스승과 대국하게 하여 연습하게 하거나, 몇 수 앞을 내다보며 어떤 일이 일어날지 생각하게 합니다. 인공지능의 세계에서 이 "앞을 내다보는 생각"은 **몬테카를로 트리 탐색(MCTS)**이라고 불립니다. 이것은 마치 순식간에 수천 번의 작은 가상 게임을 실행하여 최선의 수를 찾아내는 시뮬레이터와 같습니다.

현대 AI의 핵심 아이디어는 스마트한 "두뇌"(신경망)와 이 "시뮬레이터"(MCTS)를 결합하면 무적의 결과가 나올 것이라는 점입니다. 두뇌는 수를 예측하고, 시뮬레이터는 이를 재검증합니다. 하지만 만약 시뮬레이터가 오히려 두뇌를 더 못하게 만든다면 어떻게 될까요? 만약 생각하는 것을 돕기 위해 만든 도구가 오히려 당신을 혼란스럽게 만든다면요? 이것이 바로 연구자 타이키 코지마(Taiki Kojima)가 다룬 기묘한 퍼즐입니다. 그는 세계 챔피언을 이기는 로봇을 만들려던 것이 아니라, "생각하는 부분"이 여전히 "가르치는 데"는 매우 유용함에도 불구하고, "생각하는 부분"이 "플레이하는 부분"을 망가뜨리는 글리치(glitch) 현상을 이해하려 했습니다. 이것은 나쁜 나침반이 여전히 교사에게는 훌륭한 지도가 될 수 있다는 이야기에 관한 것입니다.

---

고장 난 나침반

컴퓨터 바둑(19x19 격자판에서 진행되는 게임)의 세계에서, 연구자들은 보통 강력한 스승으로부터 배우는 방식으로 AI를 훈련시킵니다. 이 연구에서 스승은 '카타고(KataGo)'라는 유명한 AI였습니다. 연구자는 더 작고 단순한 AI를 가져와서 **지식 증류(knowledge distillation)**라는 기술을 사용해 스승의 두뇌를 복제하려고 시도했습니다. 이것은 마치 학생이 선생님의 숙제 정답을 암기하려고 노력하는 것과 같습니다.

보통 학생이 정답을 익히고 나면, 학생이 수를 두기 전에 자신의 "생각 엔진"(Mals)을 사용하여 자신의 작업을 재검토하게 합니다. 기대 효과는 이것이 학생을 더욱 강하게 만드는 것이었습니다. 하지만 여기서 반전이 일어납니다: 연구자가 학생이 수를 선택할 때 MCTS(생각 엔진)를 사용하도록 허용하자, 학생의 실력이 오히려 떨어졌습니다.

생각 엔진 없이 플레이할 때 학생은 스스로와의 대국에서 약 32%의 승률을 보였습니다. 하지만 수를 선택하기 위해 "생각 엔진"을 켜는 순간, 승률이 급락했습니다. 마치 수학 문제를 완벽하게 풀 수 있던 학생이 계산기를 사용하는 순간 모든 시험에서 낙제하기 시작한 것과 같았습니다.

고장 난 가치 헤드(Value Head)

연구자는 왜 계산기가 고장 났는지 알아내야 했습니다. 계산기 자체(탐색 알고리즘)가 잘못된 것일까요? 아니면 학생의 두뇌(신경망)가 계산기에 잘못된 정보를 주고 있는 것일까요?

이를 테스트하기 위해, 연구자는 계산의 마지막 단계에서만 학생의 두와 스승의 두뇌를 교체했습니다. 그러자 갑자기 승률이 **98.3%**로 치솟았습니다. 이는 "계산기"(MCTS)가 완벽하게 작동하고 있음을 증명했습니다. 문제는 전적으로 학생의 두뇌에 있었습니다.

구체적으로, 문제는 **가치 헤드(value head)**에 있었습니다. AI 용어로 "가치 헤드"는 "이 위치가 좋은가 나쁜가?"를 판단하는 뇌의 부분입니다. 학생의 가치 헤드는 실제 점수(위치 자체가 이기고 있는지 지고 있는지)를 판단하는 데는 꽤 유능했습니다. 하지만 비슷한 두 개의 수를 나란히 놓고 비교하는 데는 형편없었습니다. 두 개의 유사한 수가 있을 때 어느 쪽이 조금 더 나은지 구별하지 못했던 것입니다.

마치 그림이 "좋다" 또는 "나쁘다"라고 말할 수는 있지만, 두 점의 좋은 그림을 보여주면 어느 것이 더 "나은지"는 구분하지 못하는 심사위원과 같습니다. AI가 이 혼란스러운 심사위원을 사용하여 최선의 수를 선택하려 할 때, AI는 계속해서 실수를 저질렀습니다. 탐색 엔진은 더 깊이 파고들었고, 더 혼란스러운 비교들을 찾아냈으며, AI의 결정을 점점 더 악화시켰습니다.

해결책: 나침반을 사용하는 대신, 지도를 사용하라

연구자는 뇌의 그 부분만을 다시 훈련시켜 고장 난 심사위원을 고치려 노력했습니다. 심사위원은 수를 비교하는 능력이 약간 좋아졌지만, AI는 여전히 탐색 엔진을 사용하여 더 잘 플레이할 수는 없었습니다. 탐색 엔진은 여전히 "수 선택자"로서서는 고장 난 상태였습니다.

그래서 연구자는 완전히 다른 접근 방식을 시도했습니다. AI가 탐색 엔진을 사용하여 수를 선택하는 능력을 고치는 대신, 탐색 엔진을 오직 선생님으로만 사용하기로 결정했습니다.

여기에는 마법 같은 비결이 있습니다:

1. AI는 탐색 엔진을 사용하여 "방문 분포(visit distribution)"를 생성하며 게임을 진행합니다. 이것은 탐색 엔진이 서로 다른 수들에 얼마나 많은 시간을 할애했는지를 기록한 것입니다. 설령 탐색 엔진이 최종적인 수는 잘못 골랐더라도, 그것은 '옳은' 수에 대해 많은 시간을 들여 생각했을 수도 있습니다.
2. 그런 다음 연구자는 AI의 두뇌가 단순히 최종적인 수를 복제하는 것이 아니라, 이 "사고 패턴"(방문 분포)을 복제하도록 훈련했습니다.
3. 그리고 AI가 너무 많이 변하지 않도록 잡아주는 "안전 닻(safety anchor)"을 제거했습니다.

결과는 충격적이었습니다. 탐색 엔진을 사용하는 방식(이전 방식)을 버리고, 탐색 엔진을 "선생님"으로만 사용함으로써 AI는 엄청나게 발전했습니다.

• 2세대 (기존 방식 사용): AI는 이전 버전보다 나아지지 않았습니다.
• 3세대 (탐색 엔진을 선생님으로 사용): AI는 원래의 베이스라인에 대해 94.1%, 이전 버전에 대해 **82.4%**의 승률을 기록했습니다.

이것은 이전 세대가 사용했던 학습 데이터(자기 대국 게임)의 절반도 안 되는 양을 사용하여 이루어졌습니다. 탐색 엔진은 형편없는 플레이어(최종 수를 73%의 확률로 틀림)였지만, 놀라운 선생님이었습니다.

이것이 중요한 이유

이 논문은 AI의 의사결정 능력과 교습 능력 사이에 거대한 차이가 있다는 결론을 내립니다.

이것은 스포츠를 하는 데는 서툴지만, 코치로서 훌륭한 코치를 생각하면 됩니다. 만약 당신이 이 코치에게 경기를 직접 뛰라고 한다면, 그는 질 것입니다. 하지만 만약 당신이 그에게 경기를 관찰하고 선수들이 어디에 집중해야 하는지 말해달라고 요청한다면, 그는 매우 뛰어날 수 있습니다. 이 연구에서의 탐색 엔진은 바로 그 코치와 같았습니다. 승자를 골라낼 수는 없었지만, 그 "주의력 지도(attention map)"는 학생에게 어디를 주목하여 배워야 할지를 정확히 보여주었습니다.

또한 이 연구는 AI를 구축하는 모든 이들에게 경고를 던집니다. 당신의 "성적표"를 너무 믿지 마십시오. 연구자들은 표준적인 지표들(예: 테스트에서 AI가 수를 얼마나 잘 순위 매기는지 등)이 실제로 AI가 게임을 더 잘하게 될지를 예측하는 데 자주 실패한다는 것을 발견했습니다. 때때로 AI는 테스트 점수가 나빠졌음에도 불구하고 실제로는 더 발전하기도 했습니다.

결국, 이것은 단지 바둑에 국한된 이야기가 아닙니다. 동일한 문제가 언어 모델 훈련과 같은 다른 AI 분야에서도 발생합니다. 때때로 답변을 생성하는 도구가 직접 사용하기에는 너무 결함이 있을 수 있지만, 그 답변을 생성하는 과정 속에 AI를 더 똑똑하게 만드는 비밀이 담겨 있습니다. 교훈은 무엇일까요? 그가 게임을 제대로 플레이하지 못한다고 해서 그를 스승으로서 버리지 마십시오.