Identifying potentiating events in evolutionary search using replay experiments

당신이 한 캐릭터가 거대한 퍼즐을 풀려고 애쓰는 비디오 게임을 보고 있다고 상상해 보세요. 마침내 그 캐릭터가 암호를 해독하고 승리하는 것을 보았지만, 당신은 그들이 어떻게 그곳에 도달했는지 전혀 알 수 없습니다. 그들은 운 좋게 요행을 바랐던 걸까요? 아니로면 게임 중간에 비밀 기술을 배워서 남은 게임을 더 쉽게 만든 걸까요? 컴퓨터 과학의 세계에는 **진화 연산(Evolutionary Computing)**이라는 분야가 있습니다. 이것은 마치 박테리아 대신 컴퓨터 프로그램을 번식시키는 디지털 배양 접시와 같습니다. 우리는 이 프로그램들이 소프트웨어의 버그를 수정하거나 로봇의 움직임을 설계하는 것과 같은 문제를 더 잘 해결할 수 있도록 시간이 흐름에 따라 "진화"하도록 둡니다.

보통 컴퓨터 프로그램이 어려운 문제를 해결하면, 우리는 그저 승리를 축하합니다. 하지만 과학자들은 궁금해합니다. 왜 이번에는 성공했고 지난번에는 실패했을까요? 성공을 가능하게 만든 것이 코드의 특정 변화였을까요? 여기서 **잠재력 형성(potentiation)**이라는 개념이 등장합니다. 이것은 비디오 게임의 "파워업" 아이템과 같습니다. 파워업을 얻었을 때 즉각적인 변화가 나타나지 않을 수도 있지만, 그것은 캐릭터를 변화시켜서 나중에 특정 열쇠를 찾았을 때 이전에는 열 수 없었던 문을 열 수 있게 만듭니다. 이 논문이 다루는 질문은 이것입니다: 컴퓨터가 당시에 더 "똑똑해" 보이지 않았더라도, 어떻게 그들은 그 문제를 해결할 수 있게 만든 숨겨진 파워업을 찾아낼 수 있었을까?

---

디지털 생명의 테이프를 되감기

이 논문에서 오스틴 퍼거슨(Austin Ferguson)과 알렉산더 랄레지니(Alexander Lalejini)는 **리플레이 실험(replay experiments)**이라고 부르는 흥미로운 방식으로 이러한 디지털 진화를 연구하는 새로운 방법을 소개합니다. 이것은 영화를 다시 보는 것과 비슷하지만, 단순히 똑같은 영화를 다시 보는 것이 아니라, 영화의 서로 다른 순간에 일시 정지를 하고, 그 시점의 캐릭터 복사본을 만든 다음, 그 지점에서부터 수많은 새로운 영화를 시작하는 것입니다.

실제 세상에서 과학자들은 박테리아를 가지고 이 작업을 수행했습니다. 그들은 실험실 실험의 서로 다른 날짜에 박테리아 샘 샘플을 얼립니다. 나중에 그 샘플을 녹여 다시 진화하게 하여, 새로운 유형의 먹이를 먹는 것과 같은 새로운 형질을 여전히 발달시킬 수 있는지 확인합니다. 만약 가능하다면, 그것은 박테리아가 이미 이전에 어떤 숨겨진 변화를 통해 스스로를 "준비"해 두었음을 의미합니다.

저자들은 이 아이디어를 컴퓨터 프로그램의 세계로 가져왔습니다. 그들은 소프트웨어로도 똑같은 일을 할 수 있다고 주장합니다. 단 하나의 프로그램이 진화하기를 기다리는 대신, 우리는 모든 단계에서 프로그램의 "스냅샷"을 저장할 수 있습니다. 그런 다음 그 스냅샷을 가져와서 그 시점부터 수백 개의 약간씩 다른 버전의 진화를 실행할 수 있습니다. 이 새로운 버전들이 얼마나 자주 성공하는지를 봄으로써, 우리는 프로그램의 잠재력(또는 "잠재력 형성")을 측정할 수 있습니다.

큰 놀라움: 성공은 항상 "더 강해지는 것"에 관한 것이 아니다

저자들은 **유전 프로그래밍(Genetic Programming)**이라는 단순한 형태의 컴퓨터 프로그램을 사용하여 시연을 진행했습니다. 그들은 1,000개의 서로 다른 프로그램 그룹을 설정하고, 숫자를 "작음", "큼", 또는 "둘 다 아님"으로 분류하는 특정 퍼즐을 풀도록 했습니다.

여기서 그들이 발견한 반전이자, 이 이야기에서 가장 중요한 부분은 이것입니다: 문제를 더 잘 해결하는 것이 반드시 당신이 승리에 가까워지고 있다는 것을 의미하지는 않습니다.

그들은 두 가지를 추적했습니다:

1. 적합도(Fitness): 현재 프로그램이 얼마나 잘하고 있는지 (게임의 점수와 같은 것).
2. 잠재력 형성(Potentiation): 만약 계속 진화한다면 퍼즐을 완벽하게 해결할 확률.

테스트 그룹 중 하나(집단 A)에서 프로그램들은 "지역 최적점(local optimum)"에 도달했습니다. 이것은 비디오 게임에서 플레이어가 고원에 갇힌 것과 같습니다. 그들의 점수는 개선되지 않고 오랫동안 75%에 머물러 있었습니다. 관찰자에게는 프로그램들이 그저 제자리걸음을 하고 있는 것처럼 보였습니다. 하지만 그러고 나서 저자들은 "되감기"를 누르고 리플레이를 실행했습니다.

그들은 그 집단의 역사 중 특정 순간에 잠재력 형성이 1%에서 40%로 갑자기 뛰어올랐다는 것을 발견했습니다. 프로그램의 점수(적합도)는 전혀 변하지 않았음에도 불구하고, 그들은 퍼즐을 완벽하게 해결할 가능성이 갑자기 훨씬 더 높아졌습니다! 그들은 여전히 75%에 갇혀 있었지만, 완벽한 해결책을 가능하게 하는 "파워업"을 비밀리에 획득한 상태였습니다.

이것은 매우 중요한 일입니다. 왜냐하면 진화 탐색에서 현재의 점수만 보고 당신이 이기고 있는지 알 수는 없다는 것을 시사하기 때문입니다. 프로그램은 실패하고 있거나 정체된 것처럼 보일 수 있지만, 실제로는 아직 점수에 나타나지 않은 잠재력의 노다지를 품고 있을 수 있습니다.

그들이 수행한 방법 ("설계된" 리플레이)

이를 증명하기 위해 저자들은 단순히 추측하지 않았습니다. 그들은 **설계된 리플레이(engineered replay)**라는 영리한 트릭을 사용했습니다. 빨간 모자를 쓴 캐릭터와 빨간 모자에 파란 스카프를 두른 캐릭터 두 버전이 있다고 상상해 보세요. 당신은 어떤 아이템이 승리에 도움이 되었는지 알고 싶습니다.

일반적인 리플레이에서는 "빨간 모자" 버전과 "빨간 모자 + 파란 스카프" 버전으로부터 새로운 게임을 시작할 것입니다. 하지만 매우 정밀하게 하기 위해, 저자들은 "설계된" 버전을 만들었습니다. 그들은 오직 파란 스카프만 가진 새로운 캐릭터를 만들었습니다(이것은 원래의 역사에는 존재하지 않았던 것입니다) 그리고 그 지점으로부터도 리플레이를 실행했습니다. 이를 통해 그들은 코드의 어떤 작은 변화가 비밀스러운 파력업이었는지 정확히 알아낼 수 있었습니다.

이것이 미래에 갖는 의미

이 논문은 진화의 모든 미스터리를 해결했다고 주장하는 것이 아니라, 리플레이 실험이 우리가 충분히 활용하지 못한 강력한 도구임을 시사합니다. 이는 다음을 보여줍니다:

• 숨겨진 역사가 중요하다: 프로그램이 해결책에 도달하기 위해 거쳐온 경로는 해결책 그 자체만큼이나 중요합니다.
• 적합도는 거짓말을 한다: 높은 점수가 반드시 당신이 가장 어려운 문제를 풀 준비가 되었다는 것을 의미하지는 않으며, 낮은 점수가 절망적이라는 것을 의미하지도 않습니다.
• 우리는 "이유"를 찾을 수 있다: 되감고 리플레이함으로써, 우리는 프로그램이 언제 필요한 파워업을 얻었는지 정확히 짚어낼 수 있습니다.

저자들은 미래에 과학자들이 왜 어떤 컴퓨터 탐색은 실패하고 어떤 것은 성공하는지를 이해하기 위해 이러한 리플레이 실험을 사용하기를 희망합니다. 아마 언젠가, 우리는 점수가 나빠 보일 때도 계속 나아가야 할 때를 알 수 있는 더 나은 알고리즘을 설계할 수 있을 것입니다. 왜냐하면 그들은 숨겨진 파워업이 바로 코앞에 와 있다는 것을 감지할 수 있기 때문입니다. 현재로서는, 이 논문은 디지털 정글에서 가장 중요한 변화는 점수판에 보이지 않는 변화일 수 있다는 점을 상기시켜 주는 훌륭한 사례입니다.