기술 요약: PPI2Text

문제 정의

단백질-단백질 상호작용 (PPI) 모델링은 전통적으로 이진 분류 또는 다중 레이블 회귀 작업으로 프레임되었습니다. emerging multimodal large language models (LLMs) 은 단일 단백질에 대한 자유 텍스트 설명을 생성할 수 있지만, 단백질 쌍 간의 상호작용이 가진 복잡성, 조건부 성격, 그리고 기전적 본질을 설명하는 능력은 부족합니다. 기존 계산적 접근법은 종종 경직된 스키마에 의존하여 생물학적 맥락을 이산적 레이블이나 고정된 관계 구조로 축소합니다. 이는 특히 고차원 의존성, 비선형 관계, 그리고 복잡한 생물학적 사건 연쇄를 통해서만 나타나는 조건별 기전에 관한 단백질 상호작용의 '어떻게'나 '왜'를 포착하는 능력을 제한합니다. 더 나아가, 생물학적 PPI 데이터는 이질적인 소스 (예: IntAct, UniProt, STRING) 에 걸쳐 분산되어 있어 구조가 불일치하고 통일된 해석 가능한 서사가 부재합니다.

방법론

1. 데이터셋 구축: 증거 계층화 합성

자유 텍스트 PPI 주석의 부족을 해결하기 위해, 저자들은 351,000 개의 단백질 쌍과 자유 형식 설명을 포함하는 PPI2Text-Dataset이라는 코퍼스를 구축했습니다.

• 소스 집계: 원시 증거는 10 개의 큐레이션된 생물학 데이터베이스 (IntAct, PubMed, UniProt, 3did, Pfam, STRING, SIGNOR, Reactome, CORUM, ComplexPortal) 에서 집계되었습니다.
• 증거 계층화 필터링: 각 쌍에 대해 상호작용 수준 신호 (직접 실험적 지원) 와 맥락 신호 (생물학적 일관성) 를 통합한 통합 증거 점수 $E(r)$가 계산되었습니다. 쌍은 K-means 를 사용하여 세 계층 (T1–T3) 으로 클러스터링되었습니다. T1 (약하게 지원됨) 은 폐기되었고, T3 (강하게 큐레이션됨) 은 유지되었으며, T2 는 중복 없이 다양성을 보장하기 위해 동종성 인식 전략 (MMSeq2) 을 사용하여 하위 표본 추출되었습니다.
• 제어된 합성: 설명을 합성하기 위해 라벨러 LLM(Gemini) 이 사용되었습니다. 특히, 증거 강도에 따라 출력을 제한하는 계층 제어 생성 프레임워크가 도입되었습니다. 프롬프트에는 네 가지 직교 제약이 적용되었습니다:
  • 기술적 세분성: 신뢰도에 기반한 길이 제약.
  • 인식적 강도: 증거에 기반한 동사 선택 (단정적 vs. 유보적).
  • 기전 귀속: 구조적/큐레이션 증거가 부재할 때 기전적 주장 제한.
  • 침묵 정책: 주석이 부족한 엔터티에 대한 기능적 설명 방지.

2. 모델 아키텍처: PPI2Text

PPI2Text 는 아미노산 서열로부터 자유 텍스트 PPI 캡션을 생성하도록 설계된 멀티모달 LLM 입니다.

• 단일 단백질 인코딩: 이 모델은 각 단백질 ($P_A, P_B$) 에 대한 잔기별 임베딩을 생성하기 위해 고정된 ESM3 인코더를 사용합니다. 이러한 임베딩은 국소 정보를 보존하면서 시퀀스 길이를 줄이기 위해 4 배 간격의 1D 컨볼루션을 통해 압축됩니다.
• 쌍 맵 (Pair-Map) 구축: 잔기 수준 상호작용을 포착하기 위해, 모델은 2D 쌍 맵을 구축합니다.
  • 양방향 교차 어텐션 블록이 두 단백질 표현 간에 정보를 교환합니다.
  • 압축된 잔기 쌍 $(i, j)$마다, 임베딩과 그 하마르드 곱을 연결하여 특징 벡터를 형성합니다: $M_{ij} = \phi_{pair}([H^A_i \| H^B_j \| H^A_i \odot H^B_j])$.
  • 이 3D 텐서는 1024 토큰 (고정된 $32 \times 32$ 그리드) 으로 적응형 풀링되어 디코더의 은닉 공간에 투사됩니다.
• 좌표 정렬 디코딩 (PaCo-RoPE): 핵심 혁신은 PaCo-RoPE(Pair-Coordinated Rotary Positional Encoding) 입니다. 표준 1D 위치 인코딩은 2D 쌍 맵을 평탄화하여 원래 잔기 인덱스와의 연결을 끊습니다. PaCo-RoPE 는 표준 RoPE 를 3D 좌표계 $(p_T, p_\theta, p_\phi)$로 확장합니다:
  • 텍스트 토큰은 $(n, n, n)$을 사용합니다.
  • 단백질 A 토큰은 $(n, \lfloor i/4 \rfloor, 0)$을 사용합니다.
  • 단백질 B 토큰은 $(n, 0, \lfloor j/4 \rfloor)$를 사용합니다.
  • 쌍 맵 토큰은 두 단백질의 잔기 축과 정렬된 그리드 위치 $(m, n)$에서 유도된 좌표를 사용합니다.
  • 이 설계는 추가 파라미터 없이 디코더가 2D 상호작용 구조에 주의를 기울이면서도 두 파트너의 특정 잔기 위치와의 정렬을 유지할 수 있게 합니다.
• 학습: 모델은 Qwen3 를 디코더 (고정된 베이스, LoRA 어댑터) 로, ESM3 를 인코더 (고정) 로 사용하여 미세 조정됩니다. 학습은 교사 강제 프로토콜을 사용하여 응답 토큰에 대한 교차 엔트로피 손실을 사용합니다.

주요 기여

1. 자유 텍스트 PPI 모델링 프레임워크: 구조화된 레이블에서 인간이 읽을 수 있는 자유 형식 설명으로 PPI 모델링을 전환하는 새로운 작업 정의로, 더 풍부한 의미 해석을 가능하게 합니다.
2. 대규모 데이터셋: 10 개의 주요 생물학 데이터베이스에서 합성된 고품질, 증거 계층화 설명을 갖춘 PPI2Text-Dataset(351k 쌍) 의 공개.
3. 상호작용 인식 아키텍처: 2D 쌍 맵 표현과 PaCo-RoPE를 활용하여 멀티모달 구성 요소 (단일 단백질 시퀀스 및 상호작용 맵) 를 언어 디코더 내에서 정렬하는 PPI2Text 모델.
4. 실증적 검증: 원시 생물학적 증거에 대해 평가된 언어 지표와 사실성 지표 모두에서 베이스라인을 능가하는 우수한 성능 입증.

결과

모델은 두 가지 테스트 세트에서 평가되었습니다: 시간적 홀드아웃(2025 년 5 월 이후 주석된 PPI) 과 C3-hard 분할(훈련/테스트에 동종 단백질이 없도록 보장하는 엄격한 단백질 수준 오염 제거).

• 언어 지표: PPI2Text 는 BLEU, ROUGE, BERTScore 에서 베이스라인 (Seq+Qwen3, MINT+Qwen3, 및 제거 변형 포함) 을 능가했습니다.
• 사실성 지표: 원시 증거에 대해 평가하기 위해 LLM-as-a-judge(Claude-Opus-4.7) 를 사용하여 PPI2Text 는 엔터티 그라운딩, 상호작용 토폴로지, 기전 충실도에서 최고 점수를 달성했습니다.
• 제거 연구:
  • 단백질 인코더 제거 (Seq+Qwen3) 는 낮은 성능을 초래하여 진화적/구조적 신호의 필요성을 강조했습니다.
  • 단일 단백질 표현 또는 쌍 맵 토큰 중 하나를 제거하면 성능이 저하되어 둘 다 필요함을 나타냈습니다.
  • PaCo-RoPE 를 표준 1D RoPE 로 대체하면 성능이 크게 감소하여 2D 상호작용 맵을 위한 좌표 정렬 인코딩의 필요성을 확인했습니다.
  • 양방향 교차 어텐션 제거 (No-Cross) 는 성능을 낮추어 쌍 맵 구축에서의 역할을 보여주었습니다.
• 일반화: PPI2Text 는 완전히 새로운 단백질 가족으로 일반화될 때조차 C3-hard 분할에서 견고한 성능을 유지하며 베이스라인을 능가했습니다.

의의

이 논문은 단백질 - 단백질 상호작용에 대한 자유 형식, 인간이 읽을 수 있는 설명을 생성하는 최초의 프레임워크를 제시한다고 주장합니다. 경직된 주석 스키마를 넘어선 이 접근법은 자연어에서 상호작용 의미를 모델링하여 더 풍부하고 해석 가능한 표현을 제공합니다. 이 작업은 지식 추출 및 추론에 대한 미래 연구의 기반을 마련하며, 상호작용 인식 인코딩이 세밀한 잔기 수준 관계를 포착할 수 있음을 보여줍니다. 저자들은 원시 증거에 대해 검증된 모델의 생물학적 엔터티와 기전을 보존하는 능력이 이전 분류 기반 방법보다 더 신뢰할 수 있고 생물학적으로 의미 있는 예측을 산출함을 시사한다고 강조합니다. 데이터셋과 모델 코드 공개는 이 분야에서 더 표현력 있고 해석 가능한 모델 개발을 장려하는 것을 목표로 합니다.