Closed-Loop Generative Selection: Convergence, Memory, and Noisy Oracles

당신이 거대한 산속에 숨겨진 단 하나의 완벽한 다이아몬드를 찾으려는 보물 사냥꾼이라고 상상해 보세요. 이 산은 하늘의 별보다 더 많은 모래알을 품고 있을 만큼 광대합니다. 모든 모래알을 일일이 다 살펴볼 수는 없습니다. 그러면 영원히 걸릴 테니까요. 대신, 당신에게는 학습하는 마법의 로봇이 있습니다. 당신은 지금까지 찾아낸 가장 좋은 다이아몬드들을 로봇에게 보여주고, 로봇은 다음번에 어디에서 좋은 것을 찾을 수 있을지 추측하는 법을 배웁니다. 로봇은 새로운 돌들을 한 움큼씩 파내고, 당신은 그것들을 확인하며, 가장 좋은 것들을 남겨두고, 다음 라운드를 위해 로봇에게 보여줍니다. 이것이 현대 과학자들이 새로운 의약품을 발견하는 방식입니다. 그들은 컴퓨터 모델을 사용하여 새로운 화학 구조를 제안하고, 이를 테스트한 다음, 모델이 다음번에 더 잘할 수 있도록 가르칩니다. 이 과정을 "폐쇄 루프 생성 선택(closed-loop generative selection)"이라고 부릅니다.

하지만 여기 까다로운 문제가 있습니다. 로봇은 진행하면서 학습한다는 점입니다. 만약 로봇에게 지금까지 파낸 모든 돌의 전체 기록을 보여준다면, 로봇은 오래된 좋지 않은 데이터 때문에 혼란에 빠질 수 있습니다. 반대로 바로 직전의 한 움큼만을 보여준다면, 어제 무엇이 효과적이었는지 잊어버릴 수도 있습니다. 또한, 돌을 테스트하는 기계(오라클)는 완벽하지 않습니다. 때때로 오차가 발생하거나 노이즈가 섞일 수 있는데, 마치 흔들리는 저울처럼 말이죠. 과학자들은 수년 동안 이 로봇 방식을 사용해 왔지만, 그때까지는 이 로봇이 얼마나 빨리 보물을 찾을 것인지, 혹은 로봇이 실제로 얼마나 많은 기억을 사용해야 하는지에 대해 정확하게 증명할 수 있는 견고한 수학적 지도를 가진 사람은 아무도 없었습니다.

이 논문은 그 지도를 구축합니다. 저자인 콘스탄틴 팩켈디(Kostantin Fackeldey)와 크리스토프 슈테(Christof Schütte)는 이 "학습하는 로봇" 탐색이 어떻게 작동하는지 설명하는 엄격한 이론을 만들었습니다. 그들은 만약 로봇이 최고의 발견물을 계속 유지한다면(엘리트주의 규칙), 로봇이 결국 완벽한 분자를 거의 확실하게 찾아낼 것임을 증명했습니다. 또한 그들은 로봇의 기억력에 관한 놀라운 비밀을 발견했습니다. 즉, 기억력이 많다고 해서 항상 더 좋은 것은 아니라는 사실입니다. 실제로 로봇이 너무 많은 오래되고 노이즈가 섞인 데이터를 기억하면, 오히려 속도가 느려지고 정체될 수 있습니다. 그들은 로봇이 얼마나 많은 과거 기록을 기억해야 하는지에 대한 "스위트 스팟(최적의 지점)"이 존재하며, 이 지점은 테스트 기계가 얼마나 노이즈가 심한지에 따라 달라진다는 것을 밝혀냈습니다.

또한 이 논문은 탐색 비용 문제도 다루었습니다. 신약 개발에서 분자를 테스트하는 것은 비용이 많이 들고 시간이 오래 걸리는 작업입니다. 저자들은 돈을 가장 효율적으로 쓰는 방법은 한 번에 큰 묶음으로 테스트하는 것이 아니라, 한 번에 단 하나의 후보만을 테스트하는 것임을 증명했습니다. 만약 10개를 한 묶음으로 테스트했는데, 첫 번째 것이 바로 당첨품이라면, 나머지 9개의 테스트는 낭비한 셈이 됩니다. 마지막으로, 그들은 노이즈가 심하고 흔들리는 기계를 다루는 법을 알아냈습니다. 만약 노이즈가 완만하다면, 단순히 몇 번 더 테스트하여 결과를 평균 내면 됩니다. 하지만 노이즈가 예측 불가능하고 거칠다면(마치 헤비 테일 분포의 폭풍처럼), 단 하나의 잘못된 측정값에 속지 않도록 결과를 계산하는 특별하고 강건한(robust) 방법이 필요합니다.

요약하자면, 이 논문은 단순히 "이 방법이 작동한다"라고 말하는 데 그치지 않습니다. 이 논문은 당신의 로봇 기억력을 어떻게 조정해야 하는지, 노이즈를 어떻게 처리해야 하는지, 그리고 테스트 비용을 어떻게 아낄 수 있는지 정확히 알려주는 동시에, 수학적으로 이 탐색이 성공할 것임을 증명합니다.

로봇의 기억력 딜레마

생성 모델을 시험을 치르는 학생이라고 생각해 보세요. 학생이 문제를 맞힐 때마다, 그 답을 자신의 "엘리트 풀(elite pool)"에 담아둘 수 있습니다. 다음 시험을 보기 전, 학생은 다음 문제를 예측하기 위해 자신의 과거 답안들을 공부합니다. 논문은 다음과 같이 질문합니다. 학생은 과거의 답안 중 얼마나 많은 양을 공부해야 할까요?

저자들은 만약 학생이 지금까지 배운 모든 것을 공부한다면(전체 기억), 오래되고 관련 없는 정보 때문에 쩔쩔맬 수 있다는 것을 발견했습니다. 만약 마지막 질문 하나만을 공부한다면(단일 단계 기억), 중요한 패턴을 놓칠 수도 있습니다. 논문은 이상적인 조건 하에서는 더 많이 공부하는 것이 결코 해가 되지 않는다는 것을 증명합니다. 하지만 현실 세계에서는 "선생님"(적합도 오라클)이 가끔 실수를 하기 때문에, 너무 많은 과거 데이터를 공부하는 것이 오히려 함정이 될 수 있습니다.

당신이 학교에 가는 최선의 경로를 배우려고 노력한다고 가정해 봅시다. 만약 비가 와서 길을 잘못 들었던 날들을 포함하여 당신이 걸었던 모든 날을 기억한다면, 당신의 기억은 복잡해질 수 있습니다. 논문은 최선의 결과를 얻기 위해 과거 며칠간의 기록을 기억해야 하는지 구체적인 숫자가 존재함을 보여줍니다. 너무 적게 기억하면 같은 실수를 반복하게 되고, 너무 많이 기억하면 비가 왔던 날들 때문에 혼란에 빠지게 됩니다. 저자들은 이를 "편향-분산 트레이드오프(bias-variance trade-off)"라고 부릅니다. 시뮬레이션에서 저자들은 노이즈가 있는 환경의 경우, 과거 5일 정도를 기억하는 것이 완벽했지만, 모든 것을 기억하는 것(전체 기억)은 탐색 시간을 단 40라운드가 아닌 거의 200라운드로 늘렸다는 것을 발견했습니다.

돌을 확인하는 비용

논문에서 가장 실용적인 발견 중 하나는 예산을 어떻게 써야 하는가에 대한 것입니다. 신약 개발에서 분자가 제대로 작동하는지 확인하는 과정은 가장 비용이 많이 드는 부분입니다. 당신에게 100개의 분자를 확인할 예산이 있다고 합시다. 이들을 한꺼번에 큰 묶음으로 확인해야 할까요, 아니면 하나씩 확인해야 할까요?

논문은 하나씩 확인하는 것이 승리자라고 증명합니다. 이유는 다음과 같습니다. 당신이 10개의 돌 묶음을 가지고 있다고 상상해 보세요. 당신은 그들을 모두 확인합니다. 만약 첫 번째 돌을 확인했을 때 바로 다이아몬드였다면, 당신은 이미 보물을 찾았음에도 불구하고 나머지 9개를 확인하는 데 비용을 지불해야 합니다. 그것은 낭비된 돈입니다. 저자들은 "평가 최소화(evaluation-minimal)" 전략이 한 번에 하나의 후보만 확인하는 것임을 수학적으로 보여줍니다. 이렇게 하면 보물을 찾는 즉시 멈출 수 있습니다. 그들은 이를 "평가 최적 코너(evaluation-optimal corner)"라고 부릅니다.

노이즈가 심한 기계 다루기

현실 세계의 테스트는 지저-분합니다. 때로는 기계가 돌을 다이아몬드라고 말하는데 실제로는 유리일 수도 있고, 그 반대일 수도 있습니다. 논문은 이 문제를 두 가지 유형의 노이즈로 나눕니다: "라이트 테일(light-tailed)" 노이즈(완만한 흔들림과 같은)와 "헤비 테일(heavy-tailed)" 노이즈(갑작스럽고 거대한 오류의 급증과 같은)입니다.

라이트 테일 노이즈의 경우, 해결책은 간단합니다. 같은 돌을 몇 번 더 확인하고 그 결과를 평균 내는 것입니다. 더 많이 확인할수록 더 확신할 수 있습니다. 하지만 단 하나의 잘못된 측정값이 평균을 망칠 수 있는 헤비 테일 노이즈의 경우, 평균을 내는 것은 나쁜 아이디어입니다. 저자들은 중앙값(median)을 취하거나, 결과가 좋았는지 횟수만을 세는 특별한 "부호 검정(sign test)"과 같은 강건한(robust) 방법을 사용할 것을 제안합니다. 저자들은 설령 예측 불가능한 거친 노이즈가 있더라도, 이러한 강건한 계산법을 사용한다면 여전히 올바른 분자를 찾을 수 있다는 것을 증명했습니다. 다만, 이 과정에서 몇 번의 확인 비용이 더 들 수는 있습니다.

결론

이 논문은 미래의 신약 개발을 위한 가이드북입니다. 이 논문은 과학자들에게 그들의 "학습하는 로봇"이 반드시 치료제를 찾아낼 것이지만, 오직 올바르게 튜닝되었을 때만 그러하다는 것을 알려줍니다. 또한 너무 많은 오래된 데이터를 쌓아두는 것이 속도를 늦출 수 있음을 경고하며, 한 번에 하나씩 확인하는 것이 돈을 아끼는 길이고, 테스트 기계가 미쳐 날뛸 때는 경로를 이탈하지 않기 위해 특별한 계산 기술을 사용해야 한다고 조언합니다. 저자들은 단순히 이러한 것들을 추측한 것이 아니라, 수학적 요새를 구축하여 적절한 설정만 있다면 새로운 의약품을 찾는 과정이 그 어느 때보다 빠르고, 저렴하며, 신뢰할 수 있다는 것을 증명해 냈습니다.