Memorization in reaction-conditioned generative enzyme design: folding confidence, database identity, and docking all fail to detect it

자연이 분해하도록 진화하지 않은 합성 화학 물질들이 환경을 가득 채우고 있습니다. 가구 속의 방염제부터 농작물의 살충제에 이르기까지, 이러한 물질들은 생명체가 이를 해체할 생물학적 도구를 갖추지 못했기 때문에 지속적으로 잔류합니다. 과학자들은 이러한 오염 물질을 소화하여 뒤처리를 할 수 있는 미세한 촉매제인 맞춤형 효소를 설계하기를 오랫동안 희망해 왔습니다. 최근 몇 년 동안, 강력한 컴퓨터 프로그램들이 등장하여 새로운 단백질의 유전적 청사진을 작성할 수 있게 되었으며, 이는 오염 물질의 특정 화학적 성질에 기반하여 그들을 파괴할 효소를 처음부터 설계할 수 있다는 가능성을 약속하고 있습니다. 그 아이디어는 컴퓨터에 독성 화학 물질에 대한 설명을 입력하면, 해당 물질을 중화할 수 있는 단백질 서열을 출력하게 하는 것입니다.

새로운 연구는 이 컴퓨터 프로그램들이 실제로 새로운 도구를 설계하고 있는지, 아니면 단순히 기존의 것을 복사하고 있는지를 조사합니다. 테라 테크놀로지스(Terram Technologies)의 연구진은 제노바이오틱스(xenobiotics, 합성 오염 물질을 뜻하는 과학 용어)를 분해하기 위한 효소를 생성하는 XenoFold라는 시스템을 구축했습니다. 그들은 알려진 효소 반응을 바탕으로 시스템을 학습시킨 후, 자연적인 분해 효소가 존재하지 않는 일부 화학 물질을 포함하여 다양한 화학 물질에 대한 새로운 후보를 만들도록 요청했습니다. 연구팀은 컴퓨터가 생성한 효소들을 검증하기 위해, 이들이 안정적인 형태를 갖추어 접히는지(fold), 그리고 표적 화학 물질에 잘 결합하는지를 확인하는 일련의 표준 컴퓨터 테스트를 실시했습니다. 결과는 놀라운 실패를 드러냈습니다. 시스템은 새로운 효소를 설계하고 있는 것이 아니었습니다. 대신, 시스템은 학습 데이터를 기억하여 거의 똑같이 재현하고 있었으며, 이 결함은 작업의 품질을 검증하기 위해 사용된 모든 표준 컴퓨터 테스트가 완전히 놓친 것이었습니다.

연구진은 먼저 15가지의 서로 다른 효소 클래스를 대상으로 모델을 학습시켰으며, 특정 화학 반응과 이를 수행하는 단백질 서열을 짝지었습니다. 그런 다음 시스템에 네 가지 특정 시나리오에 대한 새로운 효소를 생성하도록 요청했습니다. 두 가지는 자연 효소가 잘 알려진 반응이었고, 나머지 두 가지는 과불화옥탄산(perfluorooctanoic acid) 및 특정 살충제 대사물과 같이 자연적인 분해 효소가 기록되어 있지 않은 오염 물질과 관련된 반응이었습니다. 생성된 단백질이 타당한지 확인하기 위해 연구팀은 널리 받아들여지는 세 가지 컴퓨터 검증 방법을 실행했습니다. 첫째, 단백-접힘(protein folding) 예측을 통해 단백질이 3D 구조로 안정적으로 접히는지 확인하여 구조적 안정성을 측정했습니다. 둘로, 새로운 서열을 방대한 공공 데이터베이스와 비교하여 이들이 새로운 것인지 확인했습니다. 셋째, 새로운 효소가 표적 화학 물질에 얼마나 단단히 결합하는지 시뮬레이션하여 실제로 그 역할을 수행할 수 있는지 증명하고자 했습니다.

겉으로 보기에 결과는 성공적이었습니다. 컴퓨터는 생성된 효소가 높은 신뢰도로 안정적이고 명확한 형태를 갖추어 접힐 것이라고 예측했습니다. 연구진이 이 새로운 서열들을 공공 데이터베이스와 비교했을 때, 점수는 이 설계들이 이전에 기록된 그 어떤 것과도 구별되는 독특한 것임을 시사했습니다. 도킹 시뮬레이션 또한 효소가 표적에 결합할 수 있다는 것을 나타내는 점수를 산출했습니다. 이 세 가지 표준 점검을 바탕으로, 이 연구는 처음에 새로운 효소를 설계하는 작동하는 시스템처럼 보였습니다. 그러나 연구진은 이러한 표준 점검들이 전체 이야기를 말해주지 않는다는 사실을 깨달았습니다. 그들은 생성된 서열을 일반적인 공공 데이터베이스가 아니라, 컴퓨터가 학습 단계에서 암기했던 특정 학습 예시들과 직접 비교하는 더 깊고 직접적인 조사를 수행했습니다.

이 직접적인 비교는 진실을 폭로했습니다. 연구진이 생성된 효소를 학습 데이터와 대조했을 때, 서열의 40%가 컴퓨터가 이전에 보았던 예시들과 글자 하나 틀리지 않고 정확히 일치하는 복사본이라는 사실을 발견했습니다. 또 다른 47%는 구조의 아주 미세한 부분만 다를 뿐 학습 예시와 매우 유사했습니다. 이러한 패턴은 컴퓨터가 자연적인 분해 효사가 없고 학습 데이터에도 전혀 존재하지 않는 오염 물질에 대해 설계를 요청받았을 때도 그대로 유지되었습니다. 시스템은 표적 화학 물질이 익숙한 것이든 완전히 새로운 것이든 상관없이 동일하게 높은 복사율을 보였습니다. 컴퓨터는 오염 물질의 화학적 성질로부터 추론하여 새로운 해결책을 만들어내는 것이 아니라, 단순히 메모리에 저장된 패턴을 검색하고 반복하고 있었던 것입니다.

연구진은 컴퓨터가 제공된 화학 정보를 실제로 사용하고 있는지 추가로 조사했습니다. 한 테스트에서 연구진은 훈련된 시스템에 훈련받은 효소 클래스와 전혀 관련이 없는 화학 반응을 입력했습니다. 만약 시스템이 정말로 화학적 입력에 민적이었다면, 반응을 바꾸었을 때 출력값도 바뀌어야 했습니다. 그러나 생성된 효소는 올바른 반응에 대해 생성되었던 것과 거의 동일했으며, 예측된 안정성 점수 또한 의미 있는 방식으로 변하지 않았습니다. 이는 화학적 입력이 최종 설계에 거의 또는 전혀 영향을 미치지 않았음을 확인시켜 주었습니다. 시스템은 오염 물질에 대한 구체적인 지침을 무시하고 학습 과정에서 배운 일반적인 패턴으로 되돌아갔습니다.

연구진은 처음에 유망해 보였던 컴퓨터 도킹 테스트도 면밀히 조사했습니다. 그들은 이 테스트들이 컴퓨터가 생성한 효소와 모방하려 했던 자연 효소를 구분하지 못한다는 것을 발견했습니다. 더 결정적으로, 연구진이 도킹 점수를 사용하여 효소가 얼마나 빨리 작동할지 추정하려고 했을 때, 결과는 매우 부정확했습니다. 알려진 두 가지 자연 효소에 대해, 컴퓨터의 효율성 추정치는 실제 측정값과 최대 15,000배까지 차이가 났습니다. 한 사례에서는 컴퓨터가 두 효소의 성능 순위를 실제와 정반대로 매기기도 했습니다. 도킹 점수가 현실과 극적으로 일치하지 않았기 때문에, 연구진은 이 표준 컴퓨터 시뮬레이션들을 신뢰할 수 없다고 결론짓고 최종 분석에서 제외했습니다.

이 연구의 핵심적인 발견은 컴퓨터가 생성한 생물학적 결과물을 어떻게 검증할 것인가에 대한 경고의 메시지입니다. 이 연구는 시스템이 표준 컴퓨터 점검에 따라 완벽해 보일 수 있음에도 불구하고(잘 접히고, 공공 데이터베이스에서 독특해 보이며, 결합 시뮬레이션 점수가 높더라도), 실제로는 학습 데이터의 복사에 불과할 수 있음을 보여줍니다. 이 분야에서 사용되는 세 가지 가장 흔한 검증 도구들은 이러한 암기 현상을 감지하는 데 실패했습니다. 오직 출력물을 컴퓨터가 학습한 특정 데이터와 직접 대조함으로써만 연구진은 결함을 밝혀낼 수 있었습니다. 저자는 이러한 구체적이고 저렴한 검사 없이 이루어지는 새로운 효소 설계에 대한 주장은 참된 참신함의 환상에 기반할 수 있다고 결론짓습니다. 테스트된 시스템은 현재 실세계에서 사용할 준비가 된 효소를 생산하지 못하며, 이 연구는 이 분야가 설계된 것들이 진정으로 새로운 것인지 아니면 그저 재활용된 기억인지 확인하기 위해 검증 방식을 재고해야 한다고 제언합니다.