DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

당신에게 세상의 거의 모든 것을 알고 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 당신은 이 로봇에게 까다로운 수학 문제나 논리 퍼즐을 풀라고 요청할 수 있고, 로봇은 보통 정답을 맞힙니다. 하지만 여기 한 가지 함정이 있습니다. 로봇의 전원을 껐다가 다시 켜면, 로봇은 당신이 던진 특정 질문으로부터 배운 모든 것을 잊어버립니다. 마치 매일 아침 어제의 실수나 발견했던 영리한 요령들을 전혀 기억하지 못하는 깨끗한 상태로 깨어나는 천재를 둔 것과 같습니다. 보통 로봇을 더 똑똑하게 만들려면 로봇의 뇌를 다시 설계(이를 '훈련'이라고 부릅니다)해야 하는데, 이 과정은 비용이 많이 들고 느리며, 많은 사람이 접근할 수 없는 특별한 권한이 필요합니다.

그래서 과학자들은 한 가지 큰 질문을 던져왔습니다. "얼려진(frozen) 로봇이 뇌를 재설계하지 않고도 배울 수 있을까?" 그 답은 '프롬프팅(prompting)'이라는 개념에 있습니다. 로봇의 뇌를 바꾸는 대신, 로봇에게 주는 지침을 바꾸는 것입니다. 이것은 마치 요리사에게 새로운 레시피 카드를 주는 것과 같습니다. 만약 카드가 "수프에 소금을 넣는 것을 기억하세요"라고 적혀 있다면, 요리사는 더 잘 해낼 수 있을 것입니다. 하지만 요리사가 계속해서 같은 실수를 반복한다면, 단순한 메모 하나로는 충분하지 않을 수 있습니다. 요리사가 왜 실패했는지 기록하고, 더 나은 전략을 구상하며, 그 전략을 자신의 실제 요리 기술을 바꾸지 않고도 레시피 카드 위의 영구적인 규칙으로 만드는 방법이 필요합니다. 이것이 바로 '자기 개선(self-improvement)'이라는 AI의 최전선입니다. 즉, 정적인 모델이 스스로와의 대화와 자신의 경험으로부터 배우는 법을 가르치는 것입니다.

여기에, 얼려진 로봇들을 위한 찬란하고도 혼란스러운 작업장 역할을 하는 새로운 방법인 DIVE(Diversity-Driven Skill Evolution, 다양성 기반 기술 진화)가 등장했습니다. 연구진은 단 하나의 '완벽한' 지침 세트를 찾는 것보다, 서로 조금씩 다른 방식으로 배우려고 노력하는 다양한 '버전'의 로봇들을 실행하는 것이 더 낫다는 것을 발견했습니다.

DIVE가 어떻게 작동하는지, 열 명의 서로 다른 탐정이 미스터리를 해결하려고 노력하는 상황을 상상해 보세요. 과거의 연구자들은 단 한 명의 탐정에게 사건을 해결하게 하고, 실수를 하면 그 메모를 수정하도록 요청했을 것입니다. 하지만 DIVE는 이렇게 말합니다. "열 명의 탐정이 동시에 사건을 다루게 하자!" 각 탐정은 약간씩 다른 일련의 메모(이것을 '시드 스킬/seed skill'이라 합니다)를 가지고 시작합니다. 일을 진행하면서, 그들은 자신이 어디에서 틀렸는지에 대한 피드백을 받습니다.

DIVE는 단순히 한 명의 탐정이 자신의 메모를 고치도록 하는 대신, 다양한 '수정 전략'이 담긴 도구 상자를 사용합니다. 어떤 탐정은 **성찰적 수리(Reflective Repair)**를 시도할 수 있는데, 이는 실수를 보고 "아, 여기서 단서를 놓쳤구나, 이 부분에 대한 메모를 추가하자"라고 말하는 것과 같습니다. 또 다른 탐정은 **탐색적 개정(Exploratory Revision)**을 시도할 수 있는데, 이는 기존의 지도가 막다른 길이라면 기존 지도를 버리고 완전히 새로운 지도를 그리는 것과 같습니다. 세 번째 방식인 **압축(Compression)**은 엉망진창인 50페이지짜리 노트를 핵심적인 규칙들만 남긴 깔끔한 5페이지짜리 참조 시트로 요약하는 것과 같습니다.

DIVE의 마법은 가장 뛰어난 탐정 한 명을 골라내고 멈추는 것이 아닙니다. DIVE는 열 명의 탐정이 모두 병렬적으로 계속 일하도록 유지합니다. 시스템은 어떤 탐정이 어떤 종류의 문제에 더 능숙해지는지 관찰하고, 그들에게 더 많은 시간을 할애합니다. 만약 어떤 탐정이 막혔다면, 시스템은 그를 돕기 위해 새로운 신선한 전략을 투입할 수도 있습니다. 이는 전체 그룹이 동일한 잘못된 생각에 빠져드는 현상(이를 '과적합/overfitting'이라 부릅니다)을 방지합니다.

탐정들이 학습하고 진화할 기회를 모두 가진 후, DIVE는 단순히 점수가 가장 높은 한 명을 뽑는 데 그치지 않습니다. 대신, 팀 전체를 살펴보고 **상호 보완적인 분대(complementary squad)**를 구성합니다. 예를 들어, 탐정 A는 숫자 패턴을 찾아내는 데 뛰어나고, 탐정 B는 논리적 함정을 찾아내는 데 탁-월할 수 있습니다. 이들의 고유하게 진화된 '기술 카드'를 하나의 도구 모음으로 결합함으로써, 로봇은 이전에는 풀 수 없었던 문제들을 해결할 수 있게 됩니다.

논문은 이 방법이 놀라울 정도로 효과적임을 보여줍니다. 어려운 수학 경시대회(HMMT 등)와 까다로운 논리 퍼즐(스도쿠 등)에서 테스트했을 때, DIVE는 작은 규모의 얼려진 모델들이 빠르게 학습하고 개선될 수 있도록 했습니다. 실제로 DIVE의 진화된 기술을 사용하는 아주 작은 모델이, 표준 지침만을 사용하는 훨씬 더 크고 강력한 모델보다 더 뛰어난 성능을 보였습니다. 연구진은 DIVE가 모델의 뇌를 바꾸거나 프롬프트를 한 번만 미세하게 조정하는 다른 방법들보다 훨씬 적은 횟수의 시도(또는 '롤아웃/rollouts')만으로도 이러한 큰 발전을 이룰 수 있다는 것을 발견했습니다.

결정적으로, 이 논문은 단 하나의 '마법 같은 프롬프트'를 찾으려 하거나 단일한 학습 경로에 의존하는 것이 더 낫다고 주장합니다. 다양한 진화하는 기술 그룹을 유지하고 각자의 가장 좋은 부분을 혼합함으로써, DIVE는 재설계가 필요 없는 견고하고 자기 개선적인 시스템을 만들어냅니다. 이는 얼려진 모델들에게 있어, 더 똑똑해지는 비결은 단 하나의 완벽한 지침이 아니라, 어떤 문제를 해결하기 위해 꺼내 쓸 수 있는 다양하게 진화하는 전략 라이브러리라는 점을 시사합니다.