PG-LLM: Benchmarking General-Purpose Language Models for Protein Variant Ranking

당신이 새로운 레시피를 발명하려는 마스터 셰프라고 상상해 보세요. 당신은 아주 잘 만들어진 기본 요리(단백질)를 가지고 있지만, 이 요리가 더 맛있어지거나, 더 오래 지속되거나, 혹은 다른 주방에서도 잘 작동할 수 있도록 재료(아미노산)를 약간 수정하고 싶습니다. 생물학의 세계에서 이것을 단백질 공학이라고 부릅니다. 수년 동안 과학자들은 특화된 컴퓨터 프로그램—마치 세상의 모든 레시피를 암기한 전문 음식 비평가 팀과 같은—을 사용하여 어떤 수정 사항이 효과가 있을지 추측해 왔습니다. 이 전문가들은 요리의 가문 내력(진화 데이터)과 냄비의 물리적 형태(단백질 구조)를 살펴보고 예측을 수행합니다.

최근에는 주방에 새로운 유형의 '셰프'가 등장했습니다: 범용 언어 모델(LLM)입니다. 이들은 시를 쓰고, 수학 문제를 풀고, 역사에 대해 대화할 수 있는 바로 그 AI 두뇌들입니다. 이들은 언어와 패턴을 이해하는 데 매우 뛰어납니다. 과학자들이 던진 큰 질문은 이것입니다: 특정 음식 비평가로 훈련받지 않은 이 일반적인 AI 셰프들이, 레시피와 재료 교체 목록을 보고 어떤 새로운 버전이 가장 좋을지 말해줄 수 있을까요? 이들은 가문의 역사책도, 냄비의 3D 모델도 가지고 있지 않습니다. 그저 텍스트로 된 레시피와 단어(이 경우에는 아미노산)가 어떻게 서로 어우러지는지에 대한 자신들의 방대한 지식만을 가지고 있습니다.

"PG-LLM"이라는 제목의 이 논문은 이 질문을 확인하기 위해 거대한 맛 테스트를 설정합니다. 연구진은 PG-LLM이라는 벤치마크를 만들었는데, 이는 마치 거대한 요리 경연 대회와 같습니다. 그들은 217개의 서로 다른 "레시피"(단백질)를 가져온 뒤, 13개의 서로 다른 AI 셰프들에게 각 레시피의 50가지 버전을 실제 실험에서 얼마나 잘 작동할지에 따라 "최고"에서 "최악"까지 순위를 매기도록 요청했습니다. 함정은, AI 셰프들이 특수한 단백질 도구나 진화 지도, 또는 3D 구조를 사용할 수 없었다는 점입니다. 그들은 오직 자신들의 일반적인 지능에만 의존해야 했습니다.

결과는 "와우"와 "아직은 때가 아니다"가 섞여 있었습니다. 최고의 AI 셰프인 Claude Opus 5는 0.406의 점수(1.0이 완벽한 점수인 척도에서)를 기록했습니다. 이는 꽤 좋은 점수입니다! 이는 AI가 어떤 단백질 수정이 효과가 있을지 꽤 잘 추측해 낸다는 것을 의미하며, 수년간 존재해 온 49개의 특화된 컴퓨터 프로그램들을 이겼다는 뜻이기도 합니다. 사실, 이 AI는 3D 모델 없이 재료 목록만 살펴보는 "서열 전용(sequence-only)" 전문가들보다 더 나은 성적을 거두었습니다.

하지만 AI 셰프들이 대회 전체에서 우승하지는 못했습니다. VenusREM과 같은 가장 뛰어난 전문 단백질 전문가들은 여전히 0.523이라는 더 높은 점수를 기록했습니다. 이는 일반적인 AI가 베이킹 대회에서 우승자를 맞출 수 있는 재능 있는 홈 쿠크(home cook)일 수는 있지만, 수십 년간의 특정 훈련을 받은 전문 파티시에가 여전히 그 비법을 더 잘 알고 있다는 것과 같습니다.

연구진은 또한 이 AI 셰프들이 생각하는 방식에 관한 흥별한 특징들을 발견했습니다. 연구진이 AI를 더 깊게, 더 오래 생각하게 만들었을 때(테스트 시간 연산량 증가), 점수는 좋아졌지만 결국 한계에 부딪혔습니다. 또한 AI는 50개의 레시피 목록이 머릿속에서 다루기에 너무 길어지면 어려움을 겪었으나, 전문 전문가들은 목록의 길이에 상관없이 일정한 성능을 보였습니다. 흥미롭게도, AI의 성능은 단백질이 깊은 가문 내력을 가졌는지 혹은 얕은 내력을 가졌는지에 따라 크게 변하지 않았는데, 이는 AI가 진화 전문가들과는 다른 종류의 논리를 사용하고 있음을 시사합니다.

마지막으로, AI가 인터넷에 저장된 답을 단순히 암기한 것이 아닌지 확인하기 위해, 연구진은 AI의 학습 데이터 컷오프 이후에 발표된 완전히 새로운 레시피들로 테스트를 진행했습니다. 결과는 비슷했습니다: AI는 여 still 새로운 레시피들에 대해 추론할 수 있었으며, 이는 AI가 단순히 옛날 답을 읊는 것이 아니라 게임의 규칙을 실제로 배우고 있다는 것을 증명합니다.

요약하자면, 이 논문은 범용 AI가 놀라울 정도로 유능한 "생물학적 추론가"가 되고 있음을 보여줍니다. AI는 이미 확립된 도구들을 능가하고 있으며 최고 전문가들에게 점점 다가가고 있습니다. 하지만 현재로서는, 전문적인 단백질 중심의 전문가들을 대체하기에는 아직 부족합니다. AI는 실험실의 강력한 새로운 도구이지만, 마스터 셰프들은 여전히 건재합니다.