The Time Value of Evolution

디지털 진화의 장기전

컴퓨터에게 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 하지만 정답을 직접 알려주는 대신, 컴퓨터가 스스로 해결책을 진화시키도록 내버려 두는 것입니다. 이것이 바로 자연에서 영감을 얻은 방법인 **진화적 탐색(evolutionary search)**의 세계입니다. 컴퓨터는 수많은 '자식'(새로운 버전의 프로그램)을 만들어내고, 그것들이 얼마나 잘 작동하는지 확인한 뒤, 가장 뛰어난 것들을 골라 다음 세대를 만듭니다. 보통 컴퓨터는 매우 성급합니다. 만약 새로운 자식이 부모보다 성능이 떨어진다면, 컴퓨터는 즉시 "이 변이는 나쁜 아이디어였어"라고 생각하며 그것을 버려버립니다.

하지만 만약 그 '나쁜' 자식이 사실은 필수적인 디딤돌이었다면 어떨까요? 자연에서는 때때로 동물이 경이로운 모습으로 진화하기 전에, 기괴하고 서투른 특징을 거쳐야 할 때가 있습니다. 컴퓨터 과학에서 이것은 **지연된 효용(delayed utility)**이라는 개념입니다. 지금 당장은 실수처럼 보이는 변화가 몇 단계 뒤에는 찬란한 해결책을 열어줄 수 있다는 뜻입니다. 연구자들이 던지는 핵심 질문은 이것입니다. 어떻게 하면 컴퓨터에게 이 '약한' 조상들을 잠재력을 확인할 때까지 충분히 오래 살려둘 수 있을 만큼 인내심을 가르칠 수 있을까? 이 논문은 바로 그 문제를 다루며, 단순히 즉각적인 결과만이 아니라 탐색의 미래를 가치 있게 평가하는 방법을 제안합니다.

---

진화의 시간 가치: 왜 인내심이 보상을 가져오는가

**진화의 시간 가치(Time Value of Evolution)**를 만나보세요. 이것은 당신에게 제한된 목숨(또는 '탐색 예산')이 있는 비디오 게임과 같습니다. 만약 당신이 레벨을 플레이하다가 캐릭터를 서투르게 움직여 점수를 잃었다면, 일반적인 플레이어는 당황하여 즉시 그 움직임을 되돌릴 것입니다. 하지만 숙련된 플레이어는 나중에 틈을 뛰어넘기 위해 때로는 뒤로 한 걸음 물러나야 한다는 것을 알고 있습니다.

이 논문의 저자인 매튜 시퍼(Matthew Siper), 아메드 칼리파(Ahmed Khalifa), 줄리언 토겔리우스(Julian Togelius)는 대부분의 컴퓨터 진화 알고리즘이 이러한 '숙련된 플레이어' 전략에 매우 취약하다고 주장합니다. 그들은 즉각적인 점수에 너무 집중합니다. 만약 변이(코드의 변화)가 현재 프로그램의 성능을 약간 떨어뜨리면, 알고리즘은 그것을 제거합니다. 저자들은 이를 "즉각적 수익 제어(immediate-return control)"라고 부르며, 이것이 약한 자식이 가치 있는 조상이 될 수 있다는 사실을 간과한다고 말합니다.

이를 해결하기 위해 그들은 **계보 가치 정책 경사(Lineage-Value Policy Gradients, LVPG)**라는 새로운 방법을 발명했습니다. LVPG는 현재의 움직임만 지켜보는 코치가 아니라, 그 움직임이 만들어낼 수 있는 전체 가능성의 나무를 살펴보는 코치를 상상해 보세요. LVPG는 앞을 내다보는 특별한 '비평가(critic, 심판)'를 사용합니다. 비평가는 이렇게 묻습니다. "만약 우리가 이 약간 더 나쁜 버전을 유지한다면, 그 증손자들이 최고의 결과가 될 수 있을까?" 만약 대답이 '예'라면, 코치는 그것이 미래를 위한 투자임을 알고 그 '나쁜' 자식을 유지합니다.

트레이딩 게임

이를 테스트하기 위해 저자들은 고도의 전략이 필요한 게임인 **자동 매매(automated trading)**를 설정했습니다. 그들은 AI에게 주식(구체적으로는 S&P 500, 은, 국채 선물)을 사고파는 컴퓨터 프로그램을 작성하도록 했습니다. 이는 시장이 끊임없이 변하기 때문에 까다로운 게임입니다. 오늘 아주 좋아 보이는 프로그램이 내일은 폭락할 수도 있기 때문입니다.

그들은 AI에게 8단계의 '예산'을 주었습니다. 각 단계에서 AI는 다음 중 하나를 선택할 수 있습니다:

1. 정교화(Refine): 아주 작고 세밀한 수정을 가함.
2. 보간(Interpolate): 아이디어들을 서로 혼합함.
3. 탐색(Explore): 크고 과감한 변화를 줌.

표준 방식(저자들이 PPO-Immediate라고 부르는 방식)은 오직 바로 다음 단계의 결과만을 보았습니다. 만약 새 프로그램이 돈을 덜 벌게 되면, 그것은 처벌받았습니다. 새로운 방식(PPO-Path)은 8단계의 전체 경로를 보았습니다. 만약 일시적인 하락을 겪더라도 계보가 결국 훨씬 더 많은 돈을 벌 수 있는 길을 찾아낸다면, 그 움직임에 보상을 주었습니다.

결과: 인내가 승리한다

결과는 놀라울 정도로 명확했습니다. '인내심 있는' AI(PPO-Path)는 단순히 조금 더 나은 해결책을 찾은 것이 아니라, 훨씬 더 나은 해결책을 찾아냈습니다.

• 더 높은 점수: 미지의 데이터로 최종 프로그램들을 테스트했을 때, 인내심 있는 AI는 샤프 지수(Sharpe ratio, 거래 전략의 우수성을 나타내는 척도)를 0.862에서 1.321로 끌어올렸습니다. 이는 금융계에서 엄청난 도약입니다.
• 더 적은 실수: 성급한 AI는 종종 "일시적 퇴보(temporary regressions)"—즉, 나쁜 결정을 내려서 회복하지 못하는 순간—에 빠지곤 했습니다. 인내심 있는 AI는 이러한 실수를 덜 저질렀으며, 실수를 하더라도 회복률이 **48.0%**에 달해, 성급한 버전의 **39.9%**보다 높았습니다.
• '시간 가치'의 증명: 저자들은 변이의 가치가 단지 지금 무엇을 하느냐가 아니라, 나중에 무엇을 할 수 있느냐에 달려 있음을 보여주었습니다. 그들은 단 한 단계를 앞서 보는 것도 괜찮지만, 8단계(전체 예산)를 앞서 보는 것이 최적의 지점이며, 이것이 탐색 효율성을 크게 향상시킨다는 것을 발견했습니다.

내부 작동 원리

그 비밀은 두 부분으로 구성된 '두뇌'에 있습니다:

1. 얼어붙은 두뇌 (ELM): 코드를 작성하는 법을 아는 사전 학습된 언어 모델입니다. 이는 시간이 멈춘 마스터 코더와 같습니다. 게임 중에 학습하지 않고, 오직 변이를 생성할 뿐입니다.
2. 코치 (Actor와 Critic): 얼어붙은 두뇌에 부착된 학습 가능한 두 개의 작은 부분입니다.
   • **액터(Actor)**는 남은 시간과 프로그램의 상태에 따라 어떤 종류의 변이(정교화, 보간, 또는 탐색)를 만들지 결정합니다.
   • **크리틱(Critic)**은 시간 여행자입니다. 이 모델은 가능한 미래의 '나무'(5단계 깊이의 분기 경로를 상상해 보세요)를 바라보며 현재의 움직임이 장기적으로 얼마나 가치 있을지 예측합니다. 이 모델은 단순히 다음 단계를 예측하는 것이 아니라, 계보가 도달할 수 있는 '역대 최고(best-so-far)' 점수를 예측하도록 훈련됩니다.

이것이 의미하는 바

이 논문은 유한한 세상에서 시간과 자원이 제한되어 있을 때, 즉각적인 적합도는 거짓말쟁이라는 점을 입증합니다. 오늘 실패처럼 보이는 변이가 내일의 거대한 성공을 위한 열쇠가 될 수 있습니다. AI에게 단순한 '자식'(즉각적인 결과)이 아닌 '계보'(코드의 가계도)를 가치 있게 여기도록 가르침으로써, 그들은 더 나은 트레이딩 전략을 찾아냈습니다.

저자들은 이것이 역사적 데이터를 기반으로 한 시뮬레이션이며, 실제 주식 시장에서의 수익을 보장하는 것은 아니라고 주의를 기울였습니다. 그러나 원리는 확고합니다: 첫 페이지만 보고 책을 판단하지 마십시오. 컴퓨터 진화의 세계에서는, 때때로 이야기가 걸작이 되기 전까지는 조금 엉망인 상태로 두어야 할 때가 있습니다. AI에게 보상을 기다릴 수 있는 '시간 가치'를 부여함으로써, 그들은 더 똑똑하고 회복력 있는 해결책 탐색 방법을 열어냈습니다.