Tokenizing Loops of Antibodies

기술 요약: IGLOO – ImmunoGlobulin LOOp Tokenizer

문제 정의

항체의 상보성 결정 부위(CDR)는 항원 인식 및 결합에 핵심적인 루프 구조입니다. 역사적으로 이러한 루프의 다양성은 백본(backbone) 이면각(dihedral angles)을 기반으로 한 "정형 클러스터(canonical clusters)"로 분류되어 왔습니다(Chothia & Lesk, 1987; North et al., 2011). 그러나 기존의 정형 클러스터링 방식은 세 가지 주요한 한계를 가집니다:

1. 제한된 커버리지: 매우 다양한 H3 루프(76.3%)를 포함하여, 상당수의 항체 루프가 알려진 매칭 정형 클러스터를 갖지 못합니다.
2. 서열 통합의 부재: 기존 클러스터는 서열 정보를 무시하고 오직 백본 좌표 또는 이면각에만 의존합니다.
3. 파운데이션 모델과의 불일치: 현재의 클러스터링 방법은 단백질 언어 모델(PLM)이나 멀티모달 파운데이션 모델에 용이하게 통합될 수 없습니다. 이러한 모델들은 일반적으로 구조적 루프 단위가 아닌 아미노산 단위로 토큰화하기 때문입니다.

최근의 멀티모달 PLM들이 구조 토큰을 도입했으나, 이들은 일반적으로 아미노산 수준의 재구성에 집중하며 단백질 도메인의 고차원적 모듈성을 고려하지 않습니다. 따라서 효과적인 표현 학습을 위해 구조적 및 서열적 다양성을 모두 포착할 수 있는 면역글로불린 루프 토큰화에 대한 과제가 남아 있습니다.

방법론: IGLOO

저자들은 서열과 백본 이면각을 결부터 결합하여 항체 루프를 인코딩하도록 설계된 멀티모달 토크나이저인 IGLOO(ImmunoGlobulin LOOp Tokenizer)를 소개합니다.

아키텍처 및 입력

IGLOO는 서브구조 루프 수준에서 작동합니다. 길이 $n$인 루프에 대해 입력은 다음과 같이 구성됩니다:

• 서열(Sequence): 아미노산 시퀀스 $a = (a_1, \dots, a_n)$.
• 구조(Structure): 백본 이면각 $\phi, \psi, \omega \in (-\pi, \pi]^n$.

이면각은 단위 원 $(\cos \theta, \sin \theta)$ 위로 투영되어 선형 레이어를 통과합니다. 서열은 20개의 표준 아미노산을 위한 학습 가능한 임베딩을 사용하여 인코딩됩니다. 이 두 양상(modality)은 합산되어 멀티모달 임베딩 $X$를 생성합니다. Transformer 아키텍처(ESM-2 기반)가 이 잔기(residue)들을 처리하여, 전체 루프를 나타내는 연속적인 분류 토큰 $t$와 잔기 수준의 멀티모달 토큰 $x_i$를 출력합니다.

학습 목표

IGLOO는 네 가지 목표를 가진 자기 지도 학습 기반의 대조 학습(self-supervised contrastive learning) 프레임워크를 사용하여 학습됩니다:

1. 마스크 재구성(Masked Reconstruction): 마스킹된 이면각과 마스킹된 아미노산 정체성을 예측합니다.
2. 백본의 대조 학습(Contrastive Learning of Backbones): IGLOO의 핵심 혁신입니다. IGLOO는 백본 이면각이 유사한 루프들을 잠재 공간(latent space)에서 더 가깝게 매핑하도록 학습합니다. 유사도는 단백질의 카이랄(chiral) 특성과 측쇄(side-chain) 배치를 RMSD보다 더 잘 설명하는 이면각 거리 $D$(North et al., 2011)에 의해 정의됩니다.
   • 양의 쌍(Positive Pairs): 길이가 같고 $D < 0.1$인 루프들.
   • 음의 쌍(Negative Pairs): 길이가 다르거나, 길이가 같더라도 $D > 0.47$인 루프들.
   • 정형 클러스터 정의에 사용된 특정 임계값에 과적합되는 것을 방지하기 위해 마진(margin)이 적용됩니다.
3. 코드북 학습(Codebook Learning): 벡터 양자화 손실(vector quantization loss)을 통해 루프를 코드북으로부터 이산적인 토큰($\hat{t}$)에 할당하며, 이는 빠른 검색과 비교를 용이하게 합니다.

언어 모델로의 통합

저자들은 항체 기본 모델인 IgBert로부터 미세 조정된 단백질 언어 모델에 IGLOO 토큰을 통합하는 두 가지 방법을 제시합니다:

• IGLOOLM: 각 CDR 루프의 시작 부분에 연속적인 분류 토큰 $t$를 삽입합니다. 이는 전체 루프 형태의 문맥을 포착합니다.
• IGLOOALM: 분류 토큰 $t$와 각 아미노산에 대한 멀티모달 잔기 토큰 $x_i$를 모두 삽로합니다. 이는 잔기 수준의 구조적 문맥을 제공합니다.

주요 결과

1. 파라토프(Paratope) 검색

IGLOO는 SAbDab 데이터베이스에서 유사한 루프 구조를 검색하는 성능을 평가받았습니다.

• 성능: IGLOO는 유사한 백본 구조(정의: $D < 0.47$ 및 $\text{RMSD} < 1$ Å)를 가진 루프를 검색하는 데 있어 최첨단(SOTA) 성능을 달성했습니다.
• H3 루프 특이성: 매우 다양한 H3 루프에 대해, IGLOO는 이면각 거리 검색의 rank 20 정밀도(precision) 측면에서 기존 최고의 구조 토크나이저인 Amino Aseed보다 5.9%, 최고의 단백질 언어 모델인 ESM-2보다 69.8% 더 우수한 성능을 보였습니다.
• 효율성: IGLOO는 훨씬 더 큰 모델(예: ESM-2 3B)에도 불구하고 더 뛰어난 성능을 보여주었으며, 이는 루프 수준 토큰화의 효율성을 입증합니다.

2. 정형 클러스터의 회복

IGLOO는 Kelow 등이 (2022) 정의한 알려진 정형 클러스터를 회복하는 능력을 테스트받았습니다.

• 순도(Purity): 양자화된 토큰은 높은 클러스터 순도를 달성했습니다 (예: Heavy CDR4의 경우 0.983, Heavy CDR2의 경우 0.900).
• 커버리지: 기존 방식과 달리, IGLOO는 모든 루프에 토큰을 할당하여, 기존에 정형 매칭이 없었던 20.3%의 루프 문제를 해결했습니다. 또한 SAbDab의 루프 중 90.6%에 대해 알려진 정형 형태를 성공적으로 재현했습니다.

3. 결합 친화도 예측

IGLOOLM은 10개의 항체-항원 타겟(AbBiBench)에 걸쳐 중쇄 변이체의 결합 친화도를 예측하는 데 평가되었습니다.

• 성능: IGLOOLM은 10개 타겟 중 8개에서 기본 IgBert 모델보다 우수한 성능을 보였습니다.
• 비교: IGLOOLM은 7배 더 많은 파라미터를 가진 모델(예: ESM-2 3B)과 대등하거나 더 나은 성능을 보였습니다.
• 관찰 사항: 분류 토큰만을 사용하는 모델(IGLOOLM)이 잔기 수준의 구조 토큰을 사용하는 모델(IGLOOALM)보다 이 특정 작업에서 더 우수한 성능을 보였습니다. 이는 서열이 몇 개의 돌연변이로 차이가 나는 심층 돌연변이 스캐닝(deep mutational scanning)의 경우, 루프 형태의 요약 정보가 잠재적으로 노이즈가 섞일 수 있는 잔기 수준의 구조적 예측보다 더 견고함을 시사합니다.

4. 제어 가능한 루프 샘플링

IGLOOALM은 마스킹된 서열을 가진 항체 루프를 샘플링하는 데 사용되었습니다.

• 다양성 vs 일관성: 샘플링된 루프는 원래의 루프와 구조적 일관성을 유지하면서도 높은 서열 다양성을 나타냈습니다.
• 사례 연구: SARS-CoV-2 항체의 H3 루프를 재설계할 때, IGLOOALM은 원래의 루프와 평균 편집 거리(edit distance)가 6.6인 서열들을 생성했으나, 예측된 구조는 평균 RMSD 0.79 Å로 원래의 베타-헤어핀 폴드(beta-hairpin fold)를 유지했습니다. 이는 최첨단 항체 역폴딩(inverse folding) 모델(AbMPNN, AntiFold)보다 우수한 결과입니다.

의의 및 주장

본 논문은 항체 루프를 위해 멀티모달 토큰을 도입하는 것이 주는 이점을 IGLOO가 입증한다고 주장합니다. 서열과 이면각의 조합을 통해 루프 형태의 다양한 경관을 인코딩함으로써, IGLOO는 다음과 같은 성과를 거둡니다:

• 파운데이션 모델 개선: 단백질 언어 모델의 표현력을 높여, 서열 전용 모델이 놓칠 수 있는 구조적 모티프를 포착할 수 있게 합니다.
• 커버리지 문제 해결: 기존의 정형 방식으로는 분류할 수 없었던 영역을 포함하여, 항체 루프의 전체 경관을 포괄하는 토큰화 체계를 제공합니다.
• 합리적 설계 진전: 결합 친화도 예측 및 구조적으로 일관되면서도 다양한 항체 루프를 제어 가능하게 생성하는 것을 용이하게 하며, 이는 항체 공학 및 리드 최적화(lead optimization)에 매우 중요합니다.

저자들은 IGLOOALM이 강력한 in silico 결과를 보여주었으나, 재설계된 항체가 실제 항원 결합을 유지하는지 확인하기 위해서는 종합적인 실험실 검증(wet-lab validation)이 필요하다고 언급했습니다. 그들은 향후 모든 원자(all-atom) 구조, 에피토프 정보, 그리고 결합 친화도를 직접적인 양상(modality)으로 포함하는 확장을 구상하고 있습니다.