🧬 biology

AgentPLM: Agentic Protein Language Models with Reasoning-Augmented Decoding for Protein Sequence Design

AgentPLM은 온라인 오류 수정을 가능하게 하고 다양한 단백질 서열 설계 작업에서 최첨단 성능을 달성하기 위해, 외부 생물물리학적 도구 및 대조적 에이전트 정책 최적화와 추론 증강 디코딩을 결합한 에이전트 기반 단백질 언어 모델을 도입한다.

원저자: Sahil Rahman, Maxx Richard Rahman

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sahil Rahman, Maxx Richard Rahman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

새로운 요리의 완벽한 레시피를 쓰려고 한다고 상상해 보십시오.

과거의 방식 (수동적 단백질 모델):
현재 대부분의 단백질 설계 AI 도구들은 수백만 권의 요리책을 읽었지만, 자신이 쓰고 있는 음식의 맛을 실제로 본 적은 없는 셰프와 같습니다. 이들은 단 한 번의 빠른 과정으로 레시피(단백질 서열)를 생성합니다. 이들은 오직 무엇이 "보통" 잘 작동하는지에 대한 기억에만 의존합니다.

문제점: 만약 셰프가 케이크를 500°F(약 260°C)에서 구우라고 적거나(케이크를 태울 것입니다), 폭발할 수 있는 재료를 섞으라고 적는다면, AI는 마지막 단계에 이르러서야 이를 알게 됩니다. AI는 중간에 멈추거나, 반죽의 맛을 보거나, 오븐을 확인하거나, 영양사에게 재료가 안전한지 물어볼 방법이 없습니다. 그저 레시피가 끝날 때까지 계속 써 내려갈 뿐이며, 결과적으로 종이 위에서는 훌륭해 보이지만 실제 세상에서는 실패하는 요리를 만들어내곤 합니다.

새로운 방식 (AgentPLM):
이 논문은 AgentPLM을 소개합니다. 이는 마치 그 셰프에게 전문가 컨설턴트 팀과 그들이 레시피를 쓰는 동안 사용할 수 있는 도구 세트를 제공하는 것과 같습니다.

작동 방식은 다음과 같이 간단한 부분들로 나뉩니다:

1. "생각하는" 멈춤 (추론 증강 디코딩)

레시피를 처음부터 끝까지 그냥 써 내려가는 대신, AgentPLm은 핵심적인 순간마다 멈춰서 전문가들에게 질문을 던집니다:

"이 구조가 형태를 유지할 수 있을까?" (형태를 확인하기 위해 ESMFold라는 도구를 호출합니다).
"이것이 너무 불안정하지는 않은가?" (에너지를 확인하기 위해 FoldX를 호출합니다).
"이것이 목표물에 잘 달라붙을까?" (결합력을 확인하기 위해 AutoDock Vina를 호출합니다).

만약 전문가가 "이 부분은 무너질 것 같아요"라고 말한다면, AI는 이를 무시하지 않습니다. AI는 돌아가서 재료(아미노산)를 바꾸고 다시 시도합니다. 이는 고객이 음식을 보고 불평하기를 기다리는 것이 아니라, 요리를 내놓기 전에 소스의 맛을 보고 소금 양을 조절하는 셰프와 같습니다.

2. "스마트 메모리" (궤적 메모리 버퍼)

AI는 하나의 단백질을 쓰는 동안 이 질문들을 여러 번 던질 수 있으므로, 이전에 전문가들이 했던 말을 기억해야 합니다. AgentPLM은 특수한 메모리 뱅크를 가지고 있어 받은 모든 조언을 추적합니다. 이를 통해 AI가 마지막 재료를 결정할 때, 첫 번째 재료가 전체 구조를 지탱하기 위해 강하게 만들어져야 했다는 사실을 기억할 수 있게 해줍니다.

3. 실수로부터 배우기 (대조적 에이전트 정책 최적화)

이 부분이 가장 중요합니다. AI는 단순히 이전에 보았던 "좋은" 레시피를 복사하는 것이 아닙니다. AI는 언제 도움을 요청해야 하는지를 배웁니다.

학생을 훈련시킨다고 상상해 보십시오. 단순히 "A+ 답안지" 목록을 보여주고 그 스타일을 따라 하라고 할 수도 있습니다.
혹은 두 가지 경로를 보여줄 수도 있습니다. 하나는 학생이 적절한 시기에 선생님에게 도움을 요청하여 A를 받은 경로이고, 다른 하나는 학생이 혼자서 모든 것을 추측하려다 실패한 경로입니다.
AgentPLM은 이 두 경로를 비교함으로써 학습합니다. AI는 '오라클'(전문가 도구)에게 도움을 요청하는 것이 단순히 시간을 낭비하는 것이 아니라, 나쁜 아이디어를 좋은 아이디어로 바꾸는 구체적인 순간임을 배웁니다. AI는 최종 결과물이 아니라 '설계의 전략'을 배우는 것입니다.

무엇을 발견했는가?

연구진은 이 새로운 "에이전트형" 셰프를 항체(질병과 싸우는 역할), 효소(화학 반응을 가속화하는 역할), 열 저항성 단백질 생성 등 다섯 가지의 어려운 과제를 수행하는 기존의 "수동적" 셰프들과 비교 테스트했습니다.

결과: AgentPLM은 훨씬 더 뛰어난 성과를 보였습니다. 예를 들어, 항체를 설계할 때 AgentPLM은 기존 최고의 AI보다 성공적인 후보를 4배 더 자주 찾아냈습니다.
이유는? 논문은 AI가 단순히 더 빠르게 추측한 것이 아니라, 실제로 실시간으로 자신의 실수를 "교정"하고 있음을 보여줍니다. AI가 자신의 작업을 확인하기 위해 잠시 멈췄을 때, 기존 모델들이 완전히 놓쳤을 오류들을 성공적으로 수정해 냈습니다.

핵심 요약

AgentPLM은 단백질 설계를 "한 번의 시도로 끝나는 추측"에서 "대화"로 바꿉니다. 이는 단순히 다음 단어를 예측하는 수동적인 AI를, 생각하고, 검토하고, 도움을 요청하며, 경로를 수정하여 더 나은, 더 안정적이고, 더 기능적인 단백질을 구축하는 능동적인 에이전트로 변화시킵니다.

기술 요약: AgentPLM

1. 문제 정의

ESM-2 및 ProtTrans와 같은 기존 단백질 언어 모델(PLM)은 "수동적 오라클(passive oracles)"로 기능한다. 이들은 진화적 데이터에 기반하여 다음 토큰을 예측하는 단일 순전파(forward pass)를 통해 단백질 서열을 생성한다. 이러한 방식은 제로샷 적합도(zero-shot fitness) 예측에는 효과적이지만, 근본적인 한계가 있다. 즉, 생성 과정 중에 외부의 생물물리학적 피드백을 참조할 수 있는 메커니즘이 결여되어 있다는 점이다. 결과적으로, 후보 서열이 열역학적 안정성, 구조적 제약 또는 결합 특이성을 위반할 경우 동적으로 서열을 재지정할 수 없다. 이러한 "구조적 맹목성(structural blindness)"과 "에피스타시스 맹목성(epistatic blindness, 장거리 잔기 의존성 과소평가)"은 진화적 기록이 충분한 가이드를 제공하지 못하는 분포 외(out-of-distribution) 설계 목표에 대해 PLM을 취약하게 만든다.

본 논문은 단백질 설계를 정적인 서열 생성 작업이 아니라, 계산적 오라클(예: ESMFold, FoldX, AutoDock Vina)을 통해 추정된 생물물리학적 제약 조건 $C$ 를 준수하면서 적합도 함수 $f(S)$ 를 최대화하는 제약 최적화 문제로 정의한다.

2. 방법론: AgentPLM

AgentPLM은 사전 학습된 PLM을 구조화된 도구 호출(tool calls)과 자기회귀적 서열 생성을 교차 수행할 수 있는 에이전트 시스템으로 변환한다. 이 프레임워크는 부분 관측 마르코프 결정 과정(POMDP)으로 모델링되며, 네 가지 핵심적인 아키텍처 및 알고리즘 구성 요소로 이루어진다.

A. 아키텍처

확장된 어휘 및 도구 호출 초기화: 표준 아미노산 어휘를 도구 호출용 토큰(각 오라클당 하나) 및 문장 종료(end-of-sequence) 토큰으로 확장한다. 결정적으로, 도구 토큰은 자연어 설명을 통해 의미론적으로 초기화된다(예: "열역학적 안정성 변화 예측"). 이는 ESM-2 임베딩 공간을 통해 매핑되며, 이를 통해 도구 토큰이 시작부터 아미노산과 동일한 표현 매니폴드(representational manifold)에 존재하도록 하여 학습에 필요한 그래디언트 단계를 줄인다.
도구 컨텍스트 인코더 (Tool Context Encoder, TCE): 이질적인 오라클 출력(예: 잔기별 pLDDT 점수, 스칼라 $\Delta\Delta G$ , 결합 벡터)을 모델의 잠재 공간으로 투영하는 통합 인코더이다. 이는 크로스 어텐션(cross-attention)을 사용하여 오라클 출력을 모델의 현재 은닉 상태와 통합한다.
궤적 메모리 버퍼 (Trajectory Memory Buffer, TMB): 컨텍스트 윈도우를 효율적으로 관리하기 위해, TMB는 과거의 모든 도구 호출에 대한 일정한 크기의 압축된 에피소드 메모리를 유지한다. 이는 학습된 게이팅 메커니즘을 통해 트랜스포머의 잔차 스트림(residual stream)에 메모리를 주입함으로써, 이차적(quadratic) 어텐션 비용 없이 전체 오라클 상호작용 이력에 따라 미래의 생성을 조건화할 수 있게 한다.
추론 증강 디코딩 (Reasoning-Augmented Decoding, RAD): 이는 추론 시의 정책(policy)이다. 각 단계에서 모델은 아미노산 또는 도구 호출 중 하나를 선택한다.
- 동적 백트래킹 (Dynamic Backtracking): 도구 호출이 선택되면 오라클이 호출되고, TCE/TMB가 컨텍스트를 업데이트하며, 모델은 서열 인덱스를 진행하지 않고 현재 위치를 재평가한다.
- 구조적 자기 일관성 (Structural Self-Consistency, SSC): 모델의 부분 서열에 대한 내부 신념이 오라클의 잠재적 피드백과 불일치할 경우(낮은 SSC 점수), 도구 호출을 강제하는 새로운 안전 메커니즘이다. 이는 능동적인 불확실성 해소 단계로 작용한다.
- 예산 제약 (Budget Constraints): 퇴행적인 루프를 방지하기 위해, RAD는 호출 간 최소 간격과 서열당 최대 도구 호출 예산을 강제한다.

B. 학습 목표: 대비적 에이전트 정책 최적화 (Contrastive Agent Policy Optimisation, CAPO)

본 논문은 직접 선호 최적화(Direct Preference Optimisation, DPO)의 궤적 수준 확장인 CAPO를 도입한다.

데이터 구축: 참조 정책(reference policy)을 사용하여 궤적을 생성한다. "승리(Winner)" 궤적(높은 적합도를 가진 서열과 일관된 도구 사용)은 "패배(Loser)" 궤적(낮은 적합도 또는 모순된 도구 사용)과 쌍을 이룬다.
손실 함수: 이 목적 함수는 승리 궤적의 로그 확률을 참조 정책에 의해 정규화된 패배 궤적과 대조한다. 이를 통해 모델은 단순히 높은 적합도의 서열을 모방하는 것이 아니라, 언제 오라클을 호출하고 어떻게 그 피드백을 사용할지를 학습한다.
보조 손실 (Auxiliary Loss): 도구 일관성 손실은 관찰된 오라클 신호와 모순되는 아미노산 선택에 페널티를 부여하여, 정책이 생물물리학적 실체와 일치하도록 규제한다.

3. 주요 기여

추론 증강 디코딩 (RAD): 엔드 투 엔드로 학습된 도구 컨텍스트 인코더와 궤적 메모리 버퍼를 활용하여, 생성과 도구 호출을 교차 수행하는 디코딩 전략이다.
대비적 에이전트 정책 최적화 (CAPO): 고적합도 궤적과 저적합도 궤적을 대조함으로써 오라클 피드백의 타이밍과 유용성을 학습하는 새로운 학습 목표이다.
최첨단 성능 (State-of-the-Art Performance): 본 프레임워크는 복잡한 단백질 설계 작업에서 성능 향상을 이끄는 것이 단순한 연산량 증가나 모델 크기 확대가 아닌, 에이전트적 추론임을 입증한다.

4. 실험 결과

AgentPLM은 다섯 가지 벤치마크 작업(열안정성: ThermoStab-75, 항체 최적화: AntibodyOpt-VH, 효소 설계: EnzymeDesign-EC3, 단백질-단백질 상호작용: PPI-Interface, 제로샷 적합도 예측)에 대해 평가되었다.

성능 향상: AgentPLM은 모든 작업에서 최첨단 성능을 달-성했다. 특히, 가장 강력한 수동 베이스라인(ESM-2) 대비 항체 top-10% 히트율을 2.79배 개선했으며, 차세대 베이스라인(ProtAgent) 대비 효소 설계에서의 정규화된 $k_{cat}/K_m$ 를 41% 향상시켰다.
메커니즘적 증거:
- 궤적 분석: 도구 호출 밀도 분석 결과, 학습된 "시간적 분업(temporal division of labor)"이 드러났다. ESMFold 호출은 초기에 정점을 찍고(접힘 적합성), FoldX 호출은 중간 서열에서 정점을 찍으며(접합부 안정성), AutoDock Vina 호출은 후기에 정점을 찍었다(결합 인터페이스 형성). 이는 전문가의 인간 추론 전략을 반영한다.
- 온라인 오류 수정: 통합 그래디언트 속성(integrated gradient attribution) 분석 결과, 불안정화시키는 FoldX 호출 이후 어텐션 질량이 영향을 받은 잔기에 집중됨을 확인했다(1.8배 증가). 이는 모델이 명시적인 백트래킹 없이도 오라클 피드백에 따라 생성을 능동적으로 재지정함을 확인시켜 준다.
절제 연구 (Ablation Studies): RAD를 제거했을 때 성능이 약 30~46% 감소하여, 온라인 피드백이 주요 동력임을 확인했다. CAPO를 표준 지도 미세 조정(SFT)으로 대체했을 때 성능이 감소하였으며, 이는 대비적 목적 함수가 도구 사용 시점을 학습하는 데 필수적임을 입증한다.

5. 의의 및 주장

본 논문은 AgentPLM이 현재의 PLM이 가진 정적인 특성과 전문가의 반복적이고 피드백 중심적인 단백질 공학 사이의 근본적인 불일치를 해결한다고 주장한다. 단백질 설계를 온라인 생물물리학적 피드백이 존재하는 순차적 결정 문제로 다룸으로써, AgentPLM은 수동형 모델이 재현할 수 없는 성능 향상을 달み한다.

저자들은 이러한 이득이 추가적인 연산량이나 더 큰 모델이 아닌, 질적으로 다른 추론 궤적에서 비롯된다는 점을 강조한다. 이 연구는 에이전트적 패러다임과 생성적 패로다임이 상호 보완적이라는 견해를 뒷받침한다. 즉, ESM-2와 같은 모델의 진화적 사전 지식은 필요하지만 충분하지 않으며, RAD는 열안정성, 용해도, 결합력과 같은 동시적이고 비가산적인 제약 조건을 충족하기 위해 필요한 반복적 정교화를 제공한다. 결론적으로, 이 프레임워크는 진화적 신호만으로는 불충분한 복잡한 분포 외 단백질 설계를 위한 견고한 경로를 제시한다.