Unlocking Multimodal Protein Language Models at Inference Time
본 논문은 멀티모달 단백질 언어 모델을 위한 추론 시 샘플링 전략, 구체적으로는 태스크 특화형 분류기 없는 가이던스(classifier-free guidance)와 보상 유도 빔 서치(reward-guided beam search)를 최적화함으로써 모델 재학습 없이도 여러 태스크에 걸쳐 성능을 크게 향상시킨다는 점을 실증적으로 입증하기 위한 3단계 프레임워크를 구축하며, 동시에 베이스 모델의 행동에 대한 기존의 합의에 도전한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
단백질은 생명력을 유지하는 분자 기계로, 세포 내부에서 필수적인 작업을 수행하기 위해 복잡한 3차원 구조로 접힙니다. 이러한 기계를 만드는 데 필요한 지침은 20가지의 서로 다른 아미노산으로 이루어진 단순한 사슬에 기록되어 있지만, 그 선형적 코드와 최종적인 기능적 형태 사이의 관계는 생물학의 가장 심오한 수수께끼 중 하나입니다. 수십 년 동안 과학자들은 아미노산 사슬이 어떻게 접히는지 예측하거나, 완전히 새로운 단백질을 처음부터 설계하기 위해 복잡한 컴퓨터 모델에 의존해 왔습니다. 최근에는 글자의 서열과 3차원 구조를 하나의 통합된 언어로 취급하는 차세대 인공지능 모델들이 등장했습니다. 이러한 모델들은 새로운 단백질을 생성할 수 있지만, 지금까지 연구자들은 주로 이 모델들을 어떻게 학습시킬지에만 집중해 왔으며, 최종 생성 단계에서 컴퓨터가 자신의 답을 어떻게 '읽어내는지'는 이미 결정된 문제라고 가정해 왔습니다.
홍콩의 한 연구팀은 이 가정이 틀렸음을 발견했습니다. 그들은 강력한 모델로부터 최종 단백질 설계를 추출하는 방법이 학습 자체만큼이나 중요하다는 것을 찾아냈습니다. 생성 단계에서 컴퓨터의 의사결정 과정을 안내하는 다양한 방식들을 체계적으로 테스트함으로써, 연구팀은 모델의 근본적인 코드를 변경하지 않고도 생산되는 단백질의 품질을 극적으로 향상할 수 있음을 보여주었습니다. 이들의 연구는 이 모델들이 사용하는 기본 설정이 종종 최적이 아닌 결과를 초래한다는 점을 밝혀냈으며, 컴퓨터가 가능성을 탐색하는 방식과 특정 경로를 확정 짓는 방식 사이의 균형을 조절함으로써, 단일 작업에 특화된 도구들과 대등하거나 심지어 이를 능가하는 성능을 끌어낼 수 있음을 입증했습니다.
연구진은 먼저 현재 이 모델들이 어떻게 작동하는지 조사했습니다. 모델이 단백질을 구축하는 과정을 마치 빈 캔버스를 점진적으로 채워나가는 과정이라고 상상해 보십시오. 즉, 완전히 가려진 이미지에서 시작하여 단계적으로 아미노산과 그 위치를 드러내는 방식입니다. 연구팀은 네 가지 근본적인 작업(완전히 새로운 단백질 생성, 특정 기능 부위에 맞춘 단백로 설계, 서열로부터 단백질 구조 예측, 주어진 구조에 맞는 서열 설계)에 대해 세 가지 다른 모델을 테스트했습니다. 그들은 먼저 모델이 결정을 내릴 때 사용하는 표준적인 기본 설정인 '바닐라(vanilla)' 설정을 살펴보았습니다. 그 결과, 기본 설정이 당면한 특정 작업과 제대로 맞지 않는 경우가 많다는 것을 발견했습니다. 예를 들어, 완전히 새로운 단백질을 설계하라는 요청을 받았을 때 모델은 안정적인 구조를 찾기 위해 높은 무작위성을 가지고 넓은 범위의 가능성을 탐색해야 했습니다. 반면, 알려진 단백질의 구조를 예측하라는 요청을 받았을 때 모델은 알려진 제약 조건에 밀접하게 달라붙어 훨씬 더 정밀하고 결정론적이어야 했습니다.
이러한 기본 설정의 수천 가지 변형을 실행함으로써, 연구팀은 각 작업에 대한 최적의 '레시피'를 찾아냈습니다. 그들은 단순히 경직된 단계별 접근 방식에서 더 유연하고 동시적인 방식으로 전환하는 것만으로도 모델이 훨씬 더 실행 가능한 단백질을 생성할 수 있다는 것을 발견했습니다. 특히 새로운 단백질을 만드는 작업의 경우, 기존의 기본 설정 하에서는 약하다고 간주되었던 모델이 샘플링 전략을 조정하자 갑자기 거의 3배 더 많은 기능적 설계를 만들어냈습니다. 이 발견은 일부 모델이 본질적으로 열등하다는 통념에 도전하며, 대신 그 모델들이 적절한 도구를 사용하지 못한 채 사용되고 있었음을 시사했습니다.
연구진은 그다음 단계로, 모델을 더 나은 결과로 유도하기 위해 부드럽게 밀어주는 역할을 하는 기술을 도입했습니다. 단백질 설계의 맥가락에서 이는 특정 목표를 가진 모델의 추측과 그 목표가 없는 상태에서의 추측을 비교하고, 그 차이를 증폭시켜 결과가 원하는 목적에 더 가까워지도록 밀어붙이는 것을 의미합니다. '클래시파이어 프리 가이던스(classifier-free guidance)'라고 알려진 이 방법은 강력한 지렛대 역할을 한다는 것이 증명되었습니다. 무에서 유를 창조하는 단백질 설계 작업에서, 이 가이던스는 모델이 반복적이고 부자연스러운 패턴을 피하도록 도와주었으며, 훨씬 더 안정적이고 다양한 구조를 생성하게 했습니다. 개선 효과는 매우 뚜렷하여, 기본 설정 하에서는 평범한 성능을 보이던 모델이 경쟁 모델들을 능가하는 성과를 냈습니다. 다만 추가적인 최적화 전까지는 여전히 전문화된 시스템보다는 뒤처지는 모습을 보였습니다.
마지막으로, 연구팀은 단일 단계가 아닌 큰 그림을 보는 세 번째 전략을 탐구했습니다. 모델에게 단 하나의 경로만을 따르는 대신, 지도 위의 여러 잠재적 경로를 동시에 열어두는 것처럼 여러 버전의 단백질을 동시에 생성하도록 지시했습니다. 정기적인 간격마다 시스템은 전체적인 구조의 품질을 기준으로 어떤 경로가 가장 유망해 보이는지 평가한 다음, 약한 옵션들을 쳐내고 가장 좋은 후보들만 계속 진행하게 했습니다. 이 '빔 서치(beam search)' 접근 방식은 모델이 평범한 해결책에 안주할 수 있는 국소적인 함정에서 벗어나도록 도왔습니다. 가장 유능한 모델에 이 전략을 적용했을 때, 성능은 새로운 정점에 도달했으며, 추가적인 학습이나 외부 데이터 없이도 이전에 우수하다고 여겨졌던 전문화된 시스템들을 뛰어넘는 성공률과 설계 품질을 달식했습니다.
이 연구는 모델이 생성되는 순간에 사용되는 방식이 그동안 크게 간과되어 온 숨겨진 변수라는 결론을 내립니다. 연구진은 새로운 가능성을 탐색하는 것과 이미 알려진 좋은 해결책을 활용하는 것 사이의 균형을 세심하게 조정함으로써, 모든 분야에서 모델의 성능을 일관되게 높일 수 있음을 입증했습니다. 이 연구는 현재의 단백질 언어 모델이 가진 잠재력이 과소평가되어 왔음을 시사하며, 이는 모델 자체가 결함이 있어서가 아니라 그 답을 이끌어내는 방법이 최적화되지 않았기 때문입니다. 이러한 추론 전략을 개선함으로써, 과학자들은 완전히 새로운 모델을 밑바닥부터 구축할 필요 없이 이미 보유한 도구로부터 훨씬 더 많은 것을 얻어낼 수 있으며, 이는 새로운 의약품 및 생물학적 재료의 발견을 가속화할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.