Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features

디지털 지성의 놀이터

컴퓨터가 단순히 경직된 명령을 따르는 것이 아니라, 마치 어린아이가 형이나 누나가 자전거 타는 모습을 관찰하며 배우는 것처럼 관찰을 통해 학습하는 세상을 상상해 보십시오. 이것이 바로 기계 학습(machine learning), 그중에서도 **행동 복제(behavioral cloning)**라고 불리는 분야의 영역입니다. 이 과학의 한 구석에서 연구자들은 AI에게 수천 시간의 인간 게임 플레이 데이터를 입력하며, 컴퓨터가 명시적인 방법(how)을 배우지 않고도 프로 플레이어의 움직임, 타이밍, 그리고 본능을 모방할 수 있기를 기대합니다.

이 분야를 이끄는 핵심 질문은 이것입니다: 우리가 기억, 목표 설정, 또는 시행착오 학습과 같은 복잡한 "두뇌" 기능을 추가하기 전까지, 단순하고 압축된 AI가 오직 따라 하는 것만으로 얼마나 많은 것을 배울 수 있는가? 이것은 마치 앵무새가 공기역학을 이해할 필요 없이, 그저 매의 비행 경로를 암기하는 것만으로 얼마나 멀리 날 수 있는지를 묻는 것과 같습니다. 만약 우리가 단순히 복사하는 것만으로도 잘 플레이하는 작고 효율적인 AI를 구축할 수 있다면, 엄청난 양의 컴퓨팅 파워와 에너지를 절약할 수 있습니다. 하지만 AI가 연습했던 것과 조금이라도 다른 상황을 마주하자마자 멈춰버린다면, 우리는 AI에게 실수로부터 회복하는 법을 가르쳐야 한다는 것을 알게 됩니다. 이것이 바로 과학자들이 끊임없이 테스트하고 있는 "단순 모방"과 "스마트한 적응" 사이의 섬세한 균형입니다.

---

코텍스(Cortex): 아주 작은 퀘이크 복제기

"Cortex: Frozen Visual Features를 이용한 Quake용 압축 행동 복제(Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features)"라는 논문에서, 드미트리 말리샤우(Dzmitry Malyshau)라는 연구자는 이 "단순 모방" 아이디어의 한계를 시험해 보기로 했습니다. 그는 **코텍스(Cortex)**라는 이름의 AI 에이전트를 만들고, 이를 고전적인 1996년 비디오 게임인 *퀘이크(Quake)*의 혼란스럽고 빠른 세계로 던져 넣었습니다. 구체적으로, 그는 AI에게 달리기, 점프, 사격, 그리고 간단한 퍼즐 풀기가 혼합된 미로 형태의 통로, 문, 버튼, 몬스터가 있는 첫 번째 레벨인 E1M1을 탐색하는 과제를 부여했습니다.

코렉스는 믿기지 않을 정도로 가볍게 설계되었습니다. 처음부터 거대한 두뇌를 구축하지 않습니다. 대신, 이 모델은 이미 훈련된 컴퓨터 비전 모델인 DINOv3를 "동결된(frozen)" 시각적 두뇌로 사용하여, 마치 고도로 훈련된 눈처럼 작동하게 합니다. 이 눈들은 "동결"되어 있는데, 이는 이미 형태와 질감을 보는 데 능숙하며 훈련 과정 중에 변경되지 않음을 의미합니다. 코텍스의 실제 "두뇌"는 학습 가능한 파라미터가 단 1,098만 개뿐인 아주 작은 6개 층의 트랜스포머(transformer)입니다. 이를 비교하자 보면, 이 분야의 다른 유명한 게임 AI들은 수억 개의 파라미터를 가지고 있습니다. 코텍스는 헤비급 챔피언들과 비교되는 경량급 스프린터인 셈입니다.

훈련 과정은 놀라울 정도로 짧고 효율적이었습니다. AI는 인간 플레이어의 6,849개 녹화본을 시청했는데, 이는 약 474.7시간의 게임 플레이에 해당합니다. 하지만 코텍스가 모든 순간을 다 본 것은 아닙니다. 연구진은 데이터의 특정 "샘플링 에포크(sampled epoch)"를 선택했는데, 이는 데이터를 한 번 정교하게 선별하여 통과하는 것과 같습니다. 여기에는 517,048개의 짧은 클립(각 4프레임 길이)이 포함되었으며, 고성능 그래픽 카드(RTX 5080) 한 장에서 최적화하는 데 단 3.3분밖에 걸리지 않았습니다. 목표는 이 작고 빠르게 훈련된 모델이 훨씬 더 크고 복잡한 AI들을 따라잡을 수 있는지 확인하는 것이었습니다.

결과: 승리와 실수의 혼합

연구진이 코텍스를 퀘이크에 풀어놓았을 때, 결과는 인상적인 기술과 예측 가능한 실패가 뒤섞인 흥미로운 모습이었습니다.

좋은 소식:
코텍스는 기초적인 부분에서 놀라울 정도로 뛰어났습니다. 각각 120초 동안 진행된 두 번의 별도 20회 에피소드 배치에서, 코텍스는 각 배치의 20회 에피소드 모두에서 "여는 문(opening door)", "버튼 방(button room)", "게이트 하강(gate descent)" 지점에 도달하는 데 성공했습니다. 또한 20회 중 19회의 에피소드에서 킬(kill)을 기록했습니다. 이는 초기 단계의 단순한 구간들에 대해서는 인간의 움직임을 단순히 복사하는 것만으로도 매우 효과적이라는 것을 시사합니다. AI는 초기 통로를 탐색하고 전투를 효과적으로 수행할 수 있었습니다.

나쁜 소식:
이러한 초기 성과에도 불구하고, 코텍스는 40회의 에피소드 중 단 한 번도 레벨을 완주하지 못했습니다(두 배치 모두 0/20). AI는 주로 벽이나 물 근처에서 멈춰 섰으며, 어떻게 빠져나와야 할지 알지 못했습니다. 연구진은 이것이 행동 복제에서 발생하는 전형적인 문제인 **공변량 변화(covariate shift)**라고 언급했습니다. 즉, AI가 아주 작은 실수를 하면 훈련 영상에서 본 적 없는 상황에 처하게 되고, 오직 본 것을 복사하는 법만 알고 있기 때문에 동작이 멈추거나 패닉에 빠지는 것입니다.

비교:
연구진은 동일한 조건에서 훨씬 더 큰 두 가지 AI 모델(P2P-150M 및 NitroGen)도 테스트했습니다. 수천 시간의 다양한 게임을 학습한 이 거물들은 이 특정 테스트에서 훨씬 더 낮은 성능을 보였습니다. 이들은 각각 5회 중 0회의 에피소드를 완료했으며 거의 즉시 멈춰 섰습니다. 이는 이 특정하고 좁은 작업에 있어서는 코텍스와 같은 특화된 압축 모델이 거대하고 범용적인 모델보다 (적어도 게임의 첫 1분 동안은) 실제로 더 나은 성능을 낼 수 있음을 시사합니다.

실험이 밝혀낸 것들

논문은 단순히 게임을 플레이하는 것에 그치지 않고, 무엇이 코텍스를 작동시키고 무엇이 그것을 망가뜨리는지 알아보기 위해 일련의 "절제(ablation)" 실험을 수행했습니다.

• 상세한 정보는 항해(Navigation)가 아닌 전투에 도움을 준다: 연구진이 코텍스에게 더 밀도 있고 상세한 화면 뷰(더 많은 "토큰" 또는 시각적 패치 사용)를 제공했을 때, AI는 전투와 생존 능력은 향려졌습니다. 킬 수가 늘어났고 사망 횟수는 줄었습니다. 그러나 이 추가적인 상세 정보는 경로를 더 잘 탐색하는 데는 도움이 되지 않았습니다. 사실, 때로는 경로 신뢰도를 약간 떨어뜨리기도 했습니다. 이는 더 많은 세부 사항을 보는 것이 적에게 반응하는 데는 도움이 되지만, 다음에 어디로 가야 할지를 이해하는 데는 반드시 도움이 되는 것은 아님을 시사합니다.

• 기억력은 마법 같은 해결책이 아니다: 팀은 코텍스에게 과거의 행동에 대한 "기억"을 부여하여 스스로의 실수로부터 배우기를 기대했습니다. 놀랍게도, 이것은 성능을 일관되게 개선하지 못했습니다. AI는 5초 전의 일을 기억한다고 해서 레벨을 더 잘 탐색하게 되지 않았습니다.

• 오프라인 지표는 거짓말을 한다: 연구진은 표준적인 컴퓨터 테스트(예: 테스트 세트에서 AI가 다음 움직임을 얼마나 잘 예측하는지)가 AI가 실제로 게임을 얼마나 잘 플레이할지를 예측하는 데 부적절한 지표라는 것을 발견했습니다. AI는 서류상으로는 완벽해 보일 수 있지만, 실제 게임에서는 처참하게 실패할 수 있습니다. 이는 미래의 연구자들에게 주는 중요한 경고입니다. 숫지만 믿지 말고, 직접 게임을 관찰하십시오.

결론

논문은 작고 단순한 AI가 인간을 복사하는 것만으로 복잡한 게임의 초기 부분을 매우 잘 학습할 수 있지만, 명확한 한계에 부딪힌다고 결론짓습니다. AI는 자신의 실수로부터 회복하거나 본 적 없는 새로운 상황을 탐색할 수 없습니다. 이러한 실패는 AI가 **공변량 변화(covariate shift)**를 겪고 있다는 생각과 일치합니다. 즉, 게임의 "미지의" 부분에서 길을 잃은 것입니다.

저자들은 다음 단계가 AI를 더 크게 만드는 것이 아니라, 어떻게 회복할지를 가르치는 것이라고 제안합니다. 그들은 인간이 AI가 막혔을 때 개입하여 올바른 움직임을 보여주고, AI가 그 "구조(rescue)"의 순간들로부터 구체적으로 배우는 방식인 DAgger 기법을 제안합니다.

요약하자면, 코렉스는 잠시 동안 게임을 잘 플레이하기 위해 슈퍼컴퓨터가 필요하지 않다는 것을 증명합니다. 작고 효율적인 모델은 인간의 플레이 초반 몇 분을 인상적인 기술로 모방할 수 있습니다. 하지만 자신의 오류로부터 배우거나 상황이 잘못되었을 때 어떻게 해야 하는지에 대한 방법이 없다면, 결국 넘을 수 없는 벽에 부딪히게 될 것입니다. 이 논문은 게임을 해결했다고 주장하는 것이 아니라, 단순한 모방이 어디에서 작동하고 어디에서 무너지는지에 대한 명확하고 정직한 지도를 제공함으로써, 진정으로 적응할 수 있는 에이전트를 구축하는 방법에 대해 미래의 연구자들을 안내하고 있습니다.