당신에게 아주 똑똑한 로봇 두뇌가 있지만, 유리 상자 안에 갇혀 있다고 상상해 보세요. 당신은 그 두뇌가 생각하는 방식이나 새로운 것을 배우는 방식을 바꿀 수 없습니다. 그 배선은 얼어붙어 있습니다. 하지만 당신은 그 두뇌가 사는 '방'은 바꿀 수 있습니다. 가구를 재배치하거나, 벨트에 새로운 도구를 추가하거나, 더 나은 지도를 줄 수 있습니다. 인공지능의 세계에서 이 '방'을 **하네스(harness)**라고 부릅니다. 이것은 거대한 AI 모델을 둘러싸서 문제를 해결하도록 돕는 지침, 도구, 그리고 메모리 시스템의 집합체입니다. 오랫동안 과학자들은 AI를 더 똑똑하게 만들려면 두뇌 자체를 업그레이드해야 한다고 생각했습니다. 하지만 만약 당신이 그 '방'을 너무 완벽하게 만들어서, 얼어붙은 두뇌가 갑자기 천재가 되게 할 수 있다면 어떨까요? 그것이 바로 이 논문이 다루는 핵심 질문입니다. 스스로 학습할 수 없는 로봇 두뇌가 더 나은 방을 만드는 법을 스스로 가르칠 수 있을까요?

이 연구를 진행한 연구자 Tailin Zhou는 "그렇다, 하지만 한계가 있다"라고 말합니다. 그들은 **계층적 자기 개선(Hierarchical Self-Improvement, HSI)**이라는 시스템을 만들었습니다. 이것을 3층짜리 건물이라고 생각해보세요. 같은 얼어붙은 두뇌가 모든 층에 살고 있지만, 각 층에서 하는 일은 다릅니다. 1층에서 두뇌는 특정 규칙 세트(하네스)를 사용하여 게임을 합니다. 2층에서 두뇌는 그 규칙들을 살펴보고 점수를 높이기 위해 규칙을 다시 쓰려고 시도합니다. 3층에서 두뇌는 규칙을 쓰는 '방법'을 살펴보고 그 과정 자체를 개선하려고 노력합니다. 여기서 마법 같은 점은, 3층의 두뇌는 자신의 논리에 대해 "얼어붙어" 있다는 것입니다. 즉, 자신을 스스로 고칠 수 없으므로 혼란에 빠지거나 모든 것을 망가뜨리는 일을 방지합니다. 이것은 마치 요리사가 레시피(2층)를 바꿀 수도 있고, 심지어 레시피 북을 쓰는 법(3층)을 바꿀 수도 있지만, 요리사 자신의 손과 뇌는 고정되어 있는 것과 같습니다.

연구팀은 이 시스템을 BALROG라고 불리는 일련의 비디오 게임 같은 퍼즐들로 테스트했습니다. 그들은 중간 난이도의 게임에 대해서는 이 시스템이 매우 효과적이라는 것을 발견했습니다. AI가 자신의 지침을 반복해서 다시 쓰게 함으로써, 두뇌를 바꾸지 않고도 게임 실력을 크게 향상시켰습니다. 예를 들어, BabyAI라는 게임에서는 점수가 39.3% 상승했고, Crafter에서는 33.0% 상승했습니다. 심지어 본 적 없는 새로운 레벨을 플레이하는 법도 배웠는데, 이는 단순히 정답을 암기한 것이 아님을 증명합니다. 그러나 이 논문은 하나의 벽을 발견했습니다. 만약 게임이 얼어붙은 두뇌가 이해하기에 너무 어렵다면(예를 들어 매우 복잡한 던전 크롤러인 NLE), 어떤 식으로 방을 재배치해도 도움이 되지 않았습니다. 두뇌가 학습을 위한 올바른 신호를 생성할 수 없었기 때문입니다.

따라서 핵심 결론은, 고정된 AI의 '사용 설명서'와 '도구 벨트'를 끊임없이 업그레이드하게 함으로써 훨씬 더 많은 성능을 끌어낼 수 있지만, 단순히 가구를 바꾼다고 해서 약한 두뇌를 슈퍼 두뇌로 만들 수는 없다는 것입니다. 이 개선은 실제적이고 측정 가능하며 놀라울 정도로 효과적이지만, 원래의 두뇌가 실제로 얼마나 똑똑한지에 따라 결정되는 천장에 부딪힙니다.

3층 구조의 두로 빌딩

이것이 어떻게 작동하는지 이해하기 위해, 새로운 사실을 배울 수는 없지만 자신의 코드를 바꾸기에는 너무 고집스러운 단일한 얼어붙은 AI 두뇌(이하 "M"이라 부름)를 상상해 보세요. 연구자는 이 두뇌가 살 수 있는 3층 건물을 지었습니다. 각 층은 서로 다른 역할을 나타냅니다.

1층: 플레이어
여기서 두뇌 M은 게임을 하고 있습니다. 이 두-뇌에게는 하네스(H)가 있는데, 이는 특정 도구 세트, 메모장, 그리고 게임과 대화하는 규칙을 갖춘 맞-춤형 갑옷과 같습니다. 이 부분이 실제로 작업을 수행하는 부분입니다. 만약 게임이 "빨간 열쇠 찾기"라면, 하네스는 두뇌에게 열쇠를 찾는 법과 열쇠를 어디에 둘지를 알려줍니다.

2층: 설계자(Architect)
위층에서 동일한 두뇌 M은 이제 설계자 역할을 합니다. 그는 1층의 플레이어를 관찰하고, 플레이어가 어디에서 실패했는지 보고, 그 후 하네스를 다시 씁니다. 그는 이렇게 말할 수 있습니다. "헤이, 플레이어가 왼쪽 방에 열쇠가 있다는 걸 계속 잊어버리네. 메모리 시스템에 포스트잇을 하나 추가하자." 이것이 **에볼버(Evolver)**입니다. 그는 게임을 플레이하지 않고, 단지 플레이어를 위한 게임의 규칙을 바꿉니다.

3층: 청사진 디자이너(Blueprint Designer)
가장 꼭대기 층에서 두뇌 M은 이제 청사진 디자이너입니다. 그는 2층의 설계자를 관찰합니다. 아마도 설계자가 실수를 찾아내는 데 너무 느리거나, 혹은 계속해서 똑같은 종류의 실수를 저지를 수도 있습니다. 디자이너는 설계자의 전략을 다시 씁니다. 그는 이렇게 말할 수 있습니다. "지난 5번의 움직임만 보지 말고, 지난 20번의 움직임을 봐." 이것이 **메타-에볼버(Meta-Evolver)**입니다.

안전 잠금 장치
가장 중요한 부분은 이 건물에 안전 잠금 장치가 있다는 것입니다. 청사-형 디자이너(3층)는 설계자의 전략을 바꿀 수 있지만, 자신의 코드는 바꿀 수 없습니다. 3층을 실행하는 코드는 "얼어붙어" 있으며 변경 불가능합니다. 이는 시스템이 자신을 영원히 다시 쓰려고 시도하다가 모든 것을 망가뜨리는 루프에 빠지는 것을 방지합니다. 이것은 마치 선생님이 학생들을 위한 수업 계획을 바꿀 수 있고, 교장이 선생님의 수업 계획을 바꿀 수 있지만, 교장의 직무 기술서는 돌에 새겨진 듯 고정되어 있는 것과 같습니다.

"생각 On/Off" 스위치

AI가 단순히 퍼즐을 풀기 위해 더 많은 뇌력을 사용하는 것이 아님을 확인하기 위해, 연구자는 영리한 트릭을 사용했습니다. 두뇌가 게임을 플레이할 때(1층)는 "생각" 모드를 껐습니다. 두뇌는 첫 번째 본능에 따라 행동해야 했습니다. 하지만 규칙을 다시 쓸 때(2층과 3층)는 생각 모드를 다시 켰습니다. 이를 통해 개선이 두뇌가 갑자기 똑똑해지거나 더 오래 생각해서가 아니라, 더 나은 규칙(하네스) 덕분이라는 것을 입증했습니다.

결과: 성공하는 경우와 실패하는 경우

연구팀은 다양한 난이도의 텍스트 어드벤처 게임 모음인 BALROG 벤치마크에서 이 시스템을 테스트했습니다.

성공 사례
중간 난이도의 게임에서 이 시스템은 스타였습니다.

• BabyAI: 점수가 +39.3% 개선되었습니다.
• Crafter: 점수가 +33.0% 상승했습니다.
• TextWorld: **+25.0%**의 상승이 있었습니다.
• MiniHack: **+15.0%**의 이득이 있었습니다.

더 인상적인 것은, 연구팀이 BabaIsAI라는 게임에서 테스트했을 때, AI가 한 번도 본 적 없는 새로운 레벨에서도 작동하는 규칙을 배웠다는 점입니다. "BreakStop"이라는 서브 게임에서 점수는 0.98(거의 완벽함)을 기록했고, "GoTo"에서는 1.00(완벽함)을 기록했습니다. 이는 AI가 연습한 특정 레벨을 단순히 암기한 것이 아니라, 재사용 가능한 더 나은 전략을 구축하는 법을 실제로 배웠음을 의미합니다.

명확한 한계
하지만 논문은 명확한 경계선도 발견했습니다. 매우 어려운 게임인 NLE(깊은 추론이 필요하고 단서가 거의 있음)에서 테스트했을 때, 시스템은 개선에 실패했습니다. 점수는 0.0에 머물렀습니다.

왜일까요? 얼어붙은 두뇌가 애초에 게임을 이해하기에 충분히 똑똑하지 않았기 때문입니다. 하네스는 도구를 재배치할 수는 있지만, 두뇌에게 해결책을 볼 수 있는 새로운 눈을 줄 수는 없습니다. 논문은 하네스의 진화가 **곱셈(multiplier)**과 같다고 제안합니다. 만약 두뇌가 이미 과업에 대해 어느 정도 능력이 있다면, 하네스는 그것을 훌륭하게 만들 수 있습니다. 하지만 두뇌가 과업에 대해 형편없다면, 아무리 도구를 재배치해도 잘할 수 없습니다.

이것이 미래에 의미하는 바

이 연구는 거대하고 비싼 새로운 모델을 훈련할 필요 없이 AI를 더 좋게 만드는 새로운 방법을 제시합니다. 더 똑똑한 뇌를 만들려고 노력하는 대신, 우리는 뇌가 살 수 있는 더 똑똑한 "방"을 만들 수 있습니다. 이 논문은 단일한 얼어붙은 AI가 과업이 너무 어렵지 않고 AI가 자신이 한 일에 대해 명확한 피드백을 받을 수 있다면, 자신의 지침을 스스로 개선하는 법을 가르칠 수 있음을 보여줍니다.

이것은 마치 사람에게 고정된 기술 세트를 주되, 스스로 작업실을 설계하도록 허용하는 것과 같습니다. 만약 그 일이 그들의 기술 범위 내에 있다면, 그들은 자신을 숙련된 장인으로 만들 만큼 효율적인 작업실을 구축할 수 있습니다. 하지만 그 일이 그들이 가지지 못한 기술을 요구한다면, 어떤 작업실 설계도 과업을 완수하는 데 도움이 되지 않을 것입니다. 이 논문은 많은 과업에 있어, 작업실 설계가 우리가 이미 가진 도구들의 잠재력을 끌어올리는 데 빠져 있는 핵심 열쇠라는 것을 증명합니다.