🧬 biology

UMA-Inverse: Ligand-Conditioned Protein Inverse Folding with a Distogram-Supervised Dense Pair Encoder

이 논문은 밀집 쌍 표현(dense pair-representation) 인코더를 활용하여 결합 인터페이스 너머로 리간드 정보를 전파함으로써 LigandMPNN에 필적하는 성능을 달성하고, 올-페어(all-pair) 인코더가 리간드 신호를 어떻게 분산시키는지에 대한 새로운 통찰을 제공하는 소형 리간드 조건부 역폴딩 모델인 UMA-Inverse를 소개한다.

원저자: William Sobolewski

게시일 2026-07-10✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: William Sobolewski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신이 특정하고 희귀한 향료(리간드)가 솥에 추가될 때만 존재하는 특별한 요리의 비밀 레시피를 재현하려는 마스터 셰프라고 상상해 보세요. 당신의 목표는 요리가 제대로 된 맛을 내고 형태를 유지할 수 있도록 정확한 재료 목록(단백질 서열)을 작성하는 것입니다.

오랫동안 최고의 셰프들은 LigandMPNN이라 불리는 방법을 사용해 왔습니다. 이것은 마치 동네 소문 전달 체인과 같습니다. 향료가 전체 솥에 어떤 영향을 미치는지 알아내기 위해, 셰프는 향료 바로 옆에 있는 재료에게 묻고, 그 재료는 다시 그 옆의 이웃에게 묻는 식으로 정보를 전달합니다. 정보는 단계별로 이동합니다. 이 방식은 효과적이지만, 만약 향료가 거대한 솥의 바닥에 있다면 맨 꼭대기에 있는 재료들은 그 소식을 결코 듣지 못할 수도 있습니다.

여기에 새로운 소형 주방 보조원인 윌리엄 소볼레프스키(William Sobolewski)가 만든 UMA-Inverse가 등장합니다. UMA-Inverse는 동네 소문 전달 체인 대신 **밀집 쌍 표현 인코더(dense pair-representation encoder)**를 사용합니다. 이것은 모든 재료와 향료를 동시에 연결하는 마법 같은 전방위 레이더 화면을 상상하면 됩니다. 이는 단순히 메시지를 한 줄로 전달하는 것이 아니라, 솥의 전체 지도를 한꺼번에 업데이트합니다.

마법의 레이더와 "삼각형" 기법

UMA-Inverse는 영리한 지름길을 기반으로 구축되었습니다. 이 모델은 여섯 개의 블록 시스템인 PairMixer를 사용합니다. 이것은 특수한 "삼각형 곱셈" 규칙을 사용하여 모든 재료 쌍 사이의 거리를 끊임없이 확인하는 여섯 명의 셰프 팀이라고 생각하면 됩니다. 이들은 세 점(두 개의 재료와 향료, 또는 세 개의 재료)이 서로 어떻게 관계를 맺는지 파악하여 요리의 형태를 이해합니다.

결정적으로, 이 팀은 시간을 절약하기 위해 "셀프 어텐션(self-attention, 모든 재료가 개별적으로 복잡하게 대화하는 방식)"이라는 무거운 작업을 건너뜁니다. 대신 그들은 순수하게 기하학적 구조, 즉 형태와 거리에 집중합니다. 모델이 단순히 추측하는 것이 아니라 실제인지 확인하기 위해, 이들에게는 **디스토그램 감독관(distogram supervisor)**이 있습니다. 이는 레이더 화면을 끊임없이 확인하며 "재료들 사이의 거리가 실제로 맞느냐?"라고 묻는 엄격한 헤드 셰프와 같습니다. 이는 모델이 정직함을 유지하고, 단순한 단어 목록이 아닌 3D 구조를 이해하도록 보장합니다.

결과: 좋지만 아직 최고는 아니다 (아직은)

저자들이 이 새로운 보조원을 기존의 동네 소문 전달 방식(LigandMPNN)과 비교 테스트했을 때, 결과는 인상적인 효율성과 솔직한 한계가 섞여 있었습니다.

점수: 작은 분자 향료에 대한 테스트에서 UMA-Inverse는 재료의 **56.1%**를 정확히 맞혔습니다. 저자들이 동일한 조건에서 테스트했을 때 기존 방식은 **59.8%**를 기록했습니다. 금속 향료의 경우, UMA-Inverse는 **55.1%**를 기록한 반면 기존 방식은 **64.4%**를 기록했습니다. 뉴클레오타이드(DNA/RNA) 향료의 경우, UMA-Inverse는 **35.3%**를 기록하여 기존 방식의 **53.3%**에 뒤처졌습니다.
판결: 논문은 명시적으로 UMA-Inverse가 정확도 면에서 LigandMPNN을 넘어서지 못했다고 밝히고 있습니다. 모델은 뒤처져 있습니다. 하지만 훨씬 더 작고 빠르며, 약 330만 개의 파라미터(더 큰 모델들과 비교했을 때)만을 가지고 있습니다.

초능력: 멀리서도 들리는 향료의 소리

이 지점이 바로 UMA-Inverse가 빛을 발하는 부분입니다. 기존의 소문 전달 체인(LigandMPNN)은 향료로부터 약 10 Å(옹스트롬) 정도 떨어지면 향료의 신호를 듣는 것을 멈추지만, UMA-Inverse는 그 신호를 계속 유지합니다.

저자들은 향료가 있을 때와 숨겨졌을 때 모델의 예측이 얼마나 변하는지를 측정함으로써 이를 검증했습니다. 10 Å 이상의 거리에서 기존 방식의 신호는 거의 제로에 가깝게 떨어졌습니다. 그러나 UMA-Inverse는 25 Å 너머까지도 강력한 신호를 유지했습니다. 실제로 가장 먼 지점에서 UMA-Inverse의 신호는 기존 방식보다 최대 30배 더 강했습니다.

함정: 모델이 멀리서도 향료의 소리를 듣는다고 해서, 그것이 반드시 더 나은 요리를 만드는 데 그 정보를 사용한다는 뜻은 아닙니다. 논문은 이 추가적인 '청력'이 최종 레시피의 더 높은 점수로 이어지지는 않았음을 발견했습니다. 모델은 "향료가 저기에 있다"는 것은 잘 알지만, 여전히 기존의 소문 전달 방식만큼 완벽한 재료를 고르는 데는 어려움을 겪고 있습니다.

"DNA" 결함

논문에서 강조한 특정 실패 사례가 하나 있습니다. "향료"가 거대한 DNA나 RNA 분자일 때, UMA-Iverse는 향료를 아예 보지 않는 기본 모델보다도 개선된 모습을 보여주지 못했습니다. 저자들은 그 이유를 레이더 화면의 한계 때문이라고 설명합니다. 레이더는 단백질 중심에서 가장 가까운 50개의 원자만을 추적할 수 있습니다. 아주 작은 향료에게는 이것이 전체를 의미하지만, 수백 개의 원자를 가진 거대한 DNA 가닥에게는 레이더가 아주 작고 쓸모없는 조각만을 보여줄 뿐입니다. 반면, 기존의 소문 전달 방식은 DNA의 모든 부분으로 지역 정찰병을 보내기 때문에 아무것도 놓치지 않습니다.

결론

UMA-Inverse는 밀집된 전방위 레이더 화면이 단백질 설계의 유효한 방법임을 입증하는 소형화되고 효율적인 베이스라인입니다. 이 모델은 안정적인 형태를 형성하고 리간드와 결합할 수 있지만, 현재로서는 정확한 서열을 맞히는 데 있어 확립된 LigandMPNN에 비해 뒤처져 있습니다.

저자들은 미래가 어느 한 쪽을 선택하는 것이 아니라, 아마도 하이브리드 주방을 구축하는 것이라고 제안합니다. 즉, 전체적인 형태와 장거리 신호를 위해 밀집된 레이더를 사용하되, 거대하고 복잡한 DNA 및 RNA의 세부 사항을 처리하기 위해 기존의 지역 정찰병(소문 전달 체인 같은 방식)을 유지하는 것입니다. 그때까지 UMA-Inverse는 비록 완벽한 요리를 만드는 법은 아직 완전히 익히지 못했을지라도, 리간드의 영향력이 단백질 내에서 얼마나 멀리까지 전달될 수 있는지를 보여주는 매력적이고, 더 작으며, 놀라울 정도로 "인지 능력이 뛰어난" 도구로 남아 있을 것입니다.

기술 요약: UMA-Inverse

문제 정의

단백질 역폴딩(Protein inverse folding)은 특정하고 고정된 백본 구조를 채택하는 아미노산 서열을 설계하는 것을 목표로 한다. ProteinMPNN 및 LigandMPNN과 같은 자기회귀 그래프 신경망(GNN) 모델이 이 작업의 표준이 되었으나, 이들은 희소한 $k$ -최근접 이웃( $k$ -NN) 그래프에 의존한다. 이러한 아키텍처는 본질적으로 장거리 정보 흐름을 제한하며, 이는 먼 거리의 잔기들이 국소적인 메시 전달 단계의 체인을 통해서만 통신하게 만든다. 이러한 한계는 모델이 올로스테릭(allosteric) 관계나 리간드와 결합 인터페이스에서 멀리 떨어진 잔기들 사이의 쉘 단위 기하학적 의존성을 인코딩하는 능력을 저해할 가능성이 있다. 또한, LigandMPNN은 리간드에 조건화(condition)되지만, 최근 더 큰 규모의 복잡한 모델들이 더 높은 회복률을 보고함에 따라 특정 분할(split)에서만 정확도의 최전선에 머물러 있다. 본 연구가 다루는 핵심 질문은 AlphaFold의 Evoformer가 가진 기하학적 추론 능력에서 영감을 받은 밀집 쌍 표현(dense pair-representation) 아키텍처가 계산 효율성을 유지하면서 리간드 조건부 역폴딩을 개선할 수 있는가 하는 점이다.

방법론

UMA-Inverse는 LigandMPNN의 희소 GNN 인코더를 밀집된 전방향 쌍 텐서(all-pairs pair-tensor) 인코더로 대체한 리간드 및 핵산 조건부 역폴딩 모델이다.

아키텍처

모델은 네 가지 주요 단계로 구성된다:

특징 추출(Featurization): 백본 이면각( $\phi, \psi, \omega$ )을 통해 잔기를 인코딩한다. 리간드 및 핵산 원자는 원자 특징(유형, 그룹, 주기)을 사용하여 인코딩된다. 쌍별 특징에는 잔기-잔기 쌍을 위한 25개의 백본 거리와 잔기-리간드 쌍을 위한 5개의 백본-대-리간드 거리 및 상대적 프레임 각도가 포함된다.
쌍 텐서 초기화(Pair-Tensor Initialization): 노드 특징, 노드 간 거리에 대한 방사 기저 함수(RBF) 임베딩, 그리고 학습된 상대적 위치 임베딩을 사용하여 밀집된 $N \times N \times d$ 텐서( $d=128$ )를 초기화한다.
PairMixer 인코더: 핵심 혁신은 PairMixer 설계를 기반으로 한 6개 블록의 인코더이다. 전체 AlphaFold2 Evoformer와 달리, 계산 비용을 줄이기 위해 삼각형 셀프 어텐션(triangle self-attention)과 시퀀스 트랙을 생략하였다. 대신 삼각형 곱셈(triangle multiplication)( $z_{ik}$ 와 $z_{kj}$ 를 사용하여 $z_{ij}$ 를 업데이트)과 트랜지션 MLP를 유지한다. 이를 통해 모델은 모든 잔기 삼중항(triplet) 및 잔기-리간드 쌍에 대해 3체 기하학적 관계를 포착할 수 있다.
자기회귀 디코더(Autoregressive Decoder): 무작위 순서로 서열을 디코딩한다. 평균 풀링(mean-pooling) 베이스라인과의 주요 차이점은 학습된 리간드-어텐션 디코더이다. 리간드-잔기 쌍 정보를 균등하게 평균하는 대신, 각 잔기 $i$ 는 컨텍스트 벡터 $s_i$ 를 읽기 위해 리간드 원자들에 대한 위치 특이적 어텐션 가중치( $\alpha_{i\ell}$ )를 계산한다. 이를 통해 인터페이스 잔기는 협동 원자들에 날카롭게 어텐션을 주는 반면, 원거리 잔기는 리간드 장(field)을 더 확산된 방식으로 통합할 수 있다.

학습 및 보조 목적 함수

커리큘럼 학습(Curriculum Learning): 학습은 구조적 맥락을 점진적으로 구축하기 위해 구조 크기가 증가하는 세 단계(64 $\to$ 128 $\to$ 384 노드)로 진행된다.
디스토그램 감독(Distogram Supervision): 학습 중에 쌍 텐서로부터 빈(bin) 처리된 잔기 간 거리를 예측하는 보조 디스토그램 헤드가 추가된다. 이는 인코더가 명시적이고 구조 예측적인 기하학적 표현을 유지하도록 강제한다. 총 손실은 $L = L_{CE} + 0.2 L_{distogram}$ 이다.
핵산 라우팅(Nucleic Acid Routing): DNA/RNA 체인은 뉴클레오타이드 조건화를 가능하게 하기 위해 리간드 원자 풀(단백질 중심에서 가장 가까운 50개 원자로 제한)로 라우팅되지만, 논문은 이 특정 라우팅 전략에 한계가 있음을 언급한다(결과 참조).

주요 기여

역폴딩을 위한 밀집 쌍 아키텍처: 리간드 조건부 역폴딩을 위한 인코더로서 축소된 형태의 Pairformer(삼각형 곱셈만 사용)를 도입하여, 명시적인 전방향 기하학적 추론이 서열 설계에 유효함을 입증하였다.
디스토그램 감독 기하학: 인코더가 명시적으로 구조를 예측하는 상태를 유지하도록 하여, 인코더가 서열 전용 지름길로 붕괴되는 것을 방지하기 위해 보조 디스토그램 목적 함수를 사용하였다.
학습된 리간드 어텐션: 균등한 평균 대신 위치 특이적 리간드 컨텍스트에 따라 잔기 예측을 조건화하는 디코더 메커니즘을 통해, 평균 풀링 베이스라인에서 나타나는 원거리 잔기 예측의 발산을 해결하였다.
컴팩트한 베이스라인: LigandMPNN의 약 2.5M 파라미터와 유사한 약 3.3백만 개의 파라미터만을 가진 모델로서, 대규모 생성 모델에 대한 컴팩트한 단일 패스(single-pass) 대안 역할을 한다.
표현 특성 규명: 밀집 인코더가 리간드 정체성을 결합 인터페이스에서 훨씬 멀리 떨어진 잔기까지(LigandMPNN보다 최대 ~30배 더 강하게) 전파한다는 것을 보여주는 경험적 분석을 수행하였다. 이는 희소 그래프 모델에서는 관찰되지 않는 특성이다.

결과

서열 회복률(Sequence Recovery)

표준 LigandMPNN 테스트 분할(소분자, 금속, 뉴클레오타이드)에 대해 동일한 프로토콜(10개 자기회귀 샘플, $T=0.1$ , 5Å 인터페이스 컷오프)을 사용하여 평가하였다:

소분자(Small Molecule): UMA-Inverse는 **56.1%**의 회복률을 달성하였으며, 이는 LigandMPNN의 59.8%(저자 재실행 시) 또는 발표된 **63.3%**와 비교된다.
금속(Metal): UMA-Inverse는 **55.1%**를 달성하였으며, 이는 LigandMPNN의 64.4%(재실행 시) 또는 발표된 **77.5%**와 비교된다.
뉴클레오타이드(Nucleotide): UMA-Inverse는 **35.3%**를 기록하여, LigandMPNN(53.3%)에는 뒤처졌으나 리간드 불가지론적(ligand-agnostic) 모델인 ProteinMPNN(34.0%)과는 유사한 수준을 보였다.
교사 강제 회복(Teacher-Forced Recovery): 검증 세트에서 66.1%를 기록하였다.

구조적 검증 (포켓 고정 설계)

결합 포켓은 고정하고 나머지 단백질을 재설계하는 설정에서의 결과이다:

접힘 가능성(Foldability): 설계된 구조는 Boltz-2 공동 접힘(cofolding) 하에서 자신 있게 접히며 리간드 결합 능력을 갖춘다 (ligand ipTM $\approx$ 0.96).
포즈 정확도(Pose Accuracy): UMA-Inverse 설계는 중앙값 리간드 포즈 RMSD 1.53 Å를 나타내며, 이는 네이티브 서열의 하한선인 0.90 Å에 근접하지만 LigandMPNN(1.27 Å)보다는 약간 높다.
원거리 회복(Distal Recovery): LigandMPNN이 원거리(비-포켓) 위치를 더 잘 회복한다 (53.7% vs. 48.3%).

원거리 신호 분석

리간드 조건화 신호와 거리 간의 KL-발산 분석은 극명한 차이를 보여준다:

LigandMPNN: 신호가 10 Å 너머에서 거의 제로로 붕괴된다.
UMA-Inverse: 25 Å를 지나서도 상당한 신호(0.09–0.16 KL)를 유지하며, 리간드 정체성을 희소 그래프 베이스라인보다 몇 배 더 강력하게 원거리 잔기로 전파한다.

의의 및 주장

본 논문은 UMA-Inverse를 LigandMPNN보다 정확도 면에서 뛰어난 최첨단 설계 도구가 아니라, 컴팩트한 베이스라인이자 특정 아키텍처 통찰을 위한 매개체로 포지셔닝한다.

밀집 인코더의 타당성: 디스토그램에 의해 감독되는 밀집 전방향 인코더가 단일 패스 모델임에도 불구하고 소분자 및 금속 분할에서 경쟁력 있는 결과를 달성함으로써, 리간드 조건부 역폴딩에 대한 유효한 아키텍처임을 입증하였다.
표현의 차이: 밀집 인코더가 정보를 어떻게 분배하는지에 대한 특성 규명이 주요 기여이다. 리간드 신호를 국소 이웃에 가두는 희소 그래프와 달리, UMA-Inverse는 리간드 정체성을 폴드 전체에 걸쳐 전역적으로 전파한다.
한계 및 향 향후 방향: 저자들은 현재의 밀집 아키텍처가 "글로벌 원자 예산(global atom budget)" 제약(삼각형 곱셈의 $O(L^3)$ 복잡성을 관리하기 위해 리간드 원자를 50개로 제한)으로 인해 뉴클레오타이드 파트너 설계에서 실패했음을 명시적으로 인정한다. 그들은 뉴클레오타이드 설계를 해결하고 리간드 커버리지를 세제곱 계산 비용과 분리하기 위해서는, 기하학을 위한 밀집 잔기-잔기 텐서를 유지하면서 별도의 잔기별 원자-컨텍스트 모듈을 사용하는 하이브리드 아키텍처가 필수적인 경로라고 주장한다.
재현성: 논문은 기존 분할에서의 LigimentMPNN 재실행 결과와 발표된 수치 사이의 불일치(특히 금속의 경우)를 강조하며, 정확한 벤치마킹을 위해 통제된 프로토콜 비교가 필수적임을 시사한다. 또한 기존 테스트 세트에 비생리적 금속 이온이 존재한다는 점도 언급하였다.

요약하자면, UMA-Inverse는 밀집 기하학적 추론이 높은 효율성으로 역폴딩에 적용될 수 있음을 보여주는 개념 증명(proof-of-concept)이며, 비록 현재는 전문화된 희소 그래프 베이스라인보다 원시적인 서열 회복 정확도는 낮을지라도, 리간드 정보가 단백질 구조를 통해 어떻게 전파되는지에 대한 새로운 관점을 제공한다.