HELIX: Model-Harness Co-evolution for Recursive Self-Improvement

당신이 아주 똑똑하지만 경험은 부족한 도제에게 고장 난 시계를 고치는 법을 가르치려 한다고 상상해 보십시오. 인공지능의 세계에서 이 '도제'는 방대한 지식은 갖추었으나 실제 세상에서 어떻게 행동해야 하는지는 모르는 거대한 두뇌, 즉 AI 모델입니다. 오랫동안 과학자들은 도제를 더 낫게 만드는 유일한 방법은 그 두뇌를 더 똑똑하게 만드는 것이라고 생각했습니다. 그들은 더 많은 책과 데이터, 그리고 더 복적인 교과 과정을 주입했습니다.

하지만 여기 함정이 있습니다. 도제는 진공 상태에서 일하지 않습니다. 그들은 작업실에서 일합니다. 이 작업실이 바로 '하네스(harness)'입니다. 하네스는 도제에게 언제 드라이버를 집어 들어야 하는지, 어떻게 도움을 요청해야 하는지, 부품을 떨어뜨리면 어떻게 해야 하는지, 그리고 언제 작업을 멈춰야 하는지를 알려주는 규칙, 도구, 그리고 지침의 집합체입니다. 만약 작업실이 엉망이라면 도제는 혼란에 빠질 것입니다. 만약 도구가 무디다면, 설령 그가 천재라 할지라도 실패할 것입니다. 당신이 지금 읽게 될 논문은 도제를 진정으로 개선하기 위해서는 단순히 두뇌를 업그레이드하는 것만으로는 부족하며, 두뇌와 작업실을 함께 성장시키는 순환 구조 속에서 둘 다를 업그레이드해야 한다고 제안합니다.

---

헬릭스(HELIX): 두뇌와 작업실 사이의 춤

홍콩 대학교 연구진이 만든 새로운 시스템인 HELIX를 만나보십시오. HELIX를 숙련된 장인이라고 생각하십시오. 그는 완벽한 로봇을 만드는 비결이 단순히 로봇의 두뇌를 똑똑하게 만드는 데 있는 것이 아니라, 로봇의 '두뇌'(AI 모델)와 '작업실'(하네스)이 함께 성장해야 하는 단짝 친구라는 점을 깨달은 사람입니다.

보통 우리가 AI를 개선하려고 할 때, 우리는 두뇌와 작업실을 별개의 것으로 취급합니다. 우리는 두뇌를 먼저 만들고, 그 주변에 작업실을 구축한 뒤, 둘이 잘 지내기를 바랍니다. 하지만 HELIX는 이것이 수영 선수를 가르칠 때 근육만 변화시키고 물의 온도나 수영장 규칙은 그대로 두는 것과 같다고 주장합니다. 수영 선수는 더 강해질 수는 있겠지만, 물이 너무 차갑거나 규칙이 혼란스럽다면 여전히 익사할 수 있습니다.

핵심 아이디어: 공진화(Co-Evolution)
HELIX는 '모델-하네스 공진화'라는 개념을 도입합니다. 당신이 캐릭터로 플레이하는 비디오 게임을 상상해 보십시오. 캐릭터는 모델이고, 게임 컨트롤(버튼, 물리 법칙, 지도)은 하네스입니다.

• 기존 방식: 당신은 캐릭터를 더 강하게 만들기 위해 몇 시간 동안 노가다를 하지만, 계속해서 똑같이 지루하고 망가진 레벨에서 플레이합니다.
• HELIX 방식: 당신은 한 레벨을 플레이합니다. 승리하면, 당신은 어떻게 승리했는지 배웁니다. 패배하면, 당신은 왜 패배했는지 배웁니다. 그런 다음, 다음 레벨을 약간 다르게 만들기 위해 게임 컨트롤(하네스)을 미세 조정하고, 발생한 결과에 따라 캐릭터의 훈련(모델)을 미세 조정합니다. 이 과정을 반복하면서 캐릭터는 게임에 더 능숙해지고, 게임은 캐릭터를 가르치는 데 더 최적화됩니다.

HELIX의 작동 원리: 빌드-업데이트-리빌드 루프

논문은 **빌드-업데이트-리빌드(Build-Update-Rebuild)**라고 불리는 세 단계의 춤을 설명합니다. HELIX 시스템에서 이 과정은 다음과 같이 진행됩니다.

1. 빌드(Build): 시스템은 고정된 AI 두뇌를 가져와서 이를 위한 다양한 종류의 '작업실'들을 구축합니다. 이는 마치 65개의 서로 다른 버전의 작업실을 만드는 것과 같습니다. 각 작업실은 도구, 규칙, 또는 안전 점검 방식이 조금씩 다릅니다.
2. 업데이트(Update): AI 두뇌는 모든 65개의 작업실에서 문제(예: 코드 버그 수정)를 해결하려고 시도합니다. 어떤 작업실은 성공을 돕지만, 어떤 작업실은 우스꽝스러운 방식으로 실패를 유도합니다. HELIX는 실패를 그냥 버리지 않습니다! 대신 '형제(sibling)' 기록을 생성합니다: "이 두뇌가 작업실 A에서는 이렇게 문제를 해결했고, 작업실 B에서는 이렇게 실패했다." 이 기록들은 두뇌를 위한 특별한 훈련 매뉴얼이 됩니다.
3. 리빌드(Rebuild): 두뇌는 훈련 매뉴얼을 통해 조금 더 똑똑해집니다. 하지만 이제 기존의 작업실들은 더 똑똑해진 두뇌에 더 이상 적합하지 않을 수 있습니다. 그래서 HELIX는 두뇌의 새로운 초능력에 맞춰 새로운 도구와 규칙을 설계하여 작업실을 다시 만듭니다.

연구 결과: 단순한 더 나은 두뇌 그 이상

연구진은 이 아이디어를 100개의 코딩 작업(컴퓨터 프로그램의 버그를 수정하는 등의 과제)을 사용하여 테스트했습니다. 그들은 "Pi"라고 불리는 표준 설정으로 시작하여, HELIX가 64개의 새로운 작업실 변형을 진화시키도록 했습니다.

결과:

• 최고의 단일 작업실: 여러 작업실의 구성 요소를 조합함으로써, HELX는 100개 중 52개의 과제를 해결하는 특정 설정을 찾아냈습니다. 원래의 설정은 50개를 해결했습니다. 큰 폭의 도약은 아니었지만, 작업실을 바꾸는 것이 두뇌의 성능 향상에 도움이 된다는 것을 입증했습니다.
• 포트폴리오의 힘: 이것이 정말 놀라운 부분입니다. 65개의 모든 작업실을 함께 살펴보면, 이들은 100개 중 79개의 과제를 해결했습니다. 즉, 단 하나의 작업실이 완벽하지는 않더라도, 작업실의 그룹은 훨씬 더 넓은 범위를 커버한다는 뜻입니다. 이는 65명의 서로 다른 정비사 팀을 보유한 것과 같습니다. 개별 정비사는 모든 자동차를 고칠 수 없어도, 팀 전체는 거의 모든 것을 고칠 수 있는 것과 같습니다.
• 데이터의 노다지: 가장 중요한 발견는 해결된 과제의 수가 아니었습니다. 바로 데이터였습니다. 다양한 작업실을 통해 AI를 실행함으로써, HELIX는 438개의 검증된 훈련 기록을 생성했습니다. 이것은 단순한 "승리" 또는 "패배" 점수가 아니었습니다. 그것들은 상세한 이야기였습니다: "이 솔루션은 작동했지만 지저lay했다", "이 솔루션은 안전 규칙을 어겼기 때문에 실패했다", "이 솔루션은 완벽했다." 이 풍부한 데이터야야말로 AI가 다음에 더 잘 생각하는 법을 배우는 데 꼭 필요한 것입니다.

이것이 왜 중요한가

이 논문은 우리가 AI 개선을 잘못된 관점으로 바라보고 있다고 시사합니다. 우리는 "두뇌를 더 크게 만들면 모든 것을 해결할 것"이라고 생각했습니다. 하지만 HELIX는 두뇌는 이야기의 절반일 뿐임을 보여줍니다. AI가 살아가는 환경, 즉 규칙, 도구, 안전 점검 등이 그만큼 중요합니다.

두뇌와 작업실을 함께 진화하는 팀으로 취급함으로써, HELIX는 자기 개선의 순환을 만들어냅니다. 작업실은 두뇌가 학습하도록 돕고, 더 똑똑해진 두뇌는 더 나은 작업실을 설계하는 데 도움을 줍니다. 이는 점점 더 정교하고 효율적으로 변하는 루프입니다.

연구진은 이것이 모든 것을 해결하는 마법 지팡이는 아니라고 신중하게 밝히고 있습니다. 그들은 모든 새로운 작업실이 더 나았던 것은 아니며, 일부는 오히려 더 나빴다는 점을 발견했습니다. 또한 아직 이 데이터를 사용하여 새로운 두뇌를 실제로 훈련시키지는 않았으며, 단지 데이터를 수집했을 뿐이라는 점도 언급했습니다. 하지만 그들은 이 방법이 작동한다는 것을 증명했습니다. 즉, AI가 세상과 상호작용하는 방식을 진화시킴으로써 고품질의 검증된 학습 자료를 생성할 수 있는 시스템을 구축할 수 있다는 것입니다.

요컨대, HELIX는 AI가 단순히 스스로 똑똑해지는 미래가 아니라, 우리가 더 나은 놀이터를 만들어주고, 그다음에는 더 똑똑해진 버전을 위해 더 나은 놀이터를 또 만들어주는 식의 미래를 위한 청사진입니다. 이는 아이에게 욕조에서 수영을 가르치는 것과, 아이의 성장하는 기술에 맞춰 모양이 변하는 수영장에서 수영을 가르치는 것의 차이와 같습니다.