기술 요약: LOGICA (Logit-space Contrastive Alignment)

문제 정의

사전 학습된 생물학적 언어 모델(BioFMs)은 서열 설계, 변이 점수 산출 및 메커니즘 해석에 필수적인 정규화된 토큰 확률 분포를 제공한다. 그러나 이러한 분포는 광범로한 미라벨링 코퍼스로부터 학습되었기 때문에, 특정 상호작용 파트너(예: 리간드, 펩타이드), 세포 환경 또는 치료적 개입과 같은 구체적인 생물학적 맥락에 대한 조건부 정보가 결여되어 있다.

기존의 맥락 매칭 방법들은 일반적으로 두 가지 범주로 나뉘며, 두 방식 모두 BioFM의 고유한 유용성을 저해한다:

1. 잠재 공간(Latent-space) 접근법: 이 방법들은 풀링된 임베딩이나 대조적 잠재 공간으로부터 스칼라 호환성 점수를 학습함으로써 토큰 수준의 인터페이스를 폐기한다. 이는 검색(retrieval)에는 효과적일 수 있으나, 돌연변이 국소 분석 및 가능도 기반 생성에 필요한 위치별 가능도(position-specific likelihoods)를 상실하게 만든다.
2. 조건부 마스크 언어 모델링(Conditional Masked Language Modeling, MLM): 이 방법들은 조건부 목적 함수를 통해 미세 조정을 수행함으로써 토کن 인터페이스를 보존한다. 그러나 표준 재구성 손실(reconstruction loss)은 토큰 복구에는 집중하지만, 특히 쌍을 이룬 생물학적 데이터가 희소하거나 노이즈가 많은 경우 매치된(호환 가능한) 맥락과 매치되지 않은(호환 불가능한) 맥락을 명시적으로 분리하는 데 실패한다.

핵심 과제는 서로 다른 어휘를 가진 별개의 생물학적 양상(예: 단백질과 약물, TCR과 펩타이드)을, 로컬 변이 랭킹 및 생성에 유용한 고유의 토큰 수준 확률 인터페이스를 파괴하지 않으면서 정렬하는 것이다.

방법론: LOGICA

저자들은 로그-임베딩 공간이 아닌, 사전 학습된 모델의 출력 로짓(output-logit) 공간에서 직접 대조 학습을 수행하는 프레임워크인 LOGICA(Logit-space Contrastive Alignment)를 소개한다.

핵심 아키텍처

• Native-Head-Preserving Adapters: LOGICA는 게이트형 교차 모달 어댑터(gated cross-modal adapters)를 사용하여 두 개의 사전 학습된 생물학적 언어 모델(예: 단백질을 위한 ESM-2, 리간드를 위한 SELFormer)을 결합한다. 이 어댑터들은 각 모델의 은닉 상태(hidden states)에 맥락 정보를 주입하도록 설계되었으나, 각 모델의 **고유 토큰 헤드(native token head)**와 호환되는 업데이트를 반환하도록 설계되었다.
• Logit-Space Scoring: LOGICA는 은닉 상태를 풀링하는 대신, 결과적으로 도출된 맥락화된 토큰 로그 가능도(log-likelihoods)를 호환성 점수로 사용한다. 시퀀스 $x$와 맥락 $y$에 대하여, 점수는 다음과 같이 사이트 평균 조건부 로그 가능도로 정의된다:
  $$s_{\text{LOGICA}}(x, y; A) = \frac{1}{|A|} \sum_{i \in A} \log \pi_\theta(x_i | x_{\setminus i}, y)$$
  여기서 $A$는 평가된 위치들의 집합(예: 돌연변이 사이트)이다.
• 양방향 정렬(Bidirectional Alignment): 이 프레임워크는 시퀀스 길이와 어휘 엔트로피의 차이를 처리하기 위해 학습된 볼록 혼합(convex mixture)을 통해 양방향($x|y$ 및 $y|x$)으로부터의 가능도를 결합하는 양방향 스코어링을 지원한다.
• 대조 학습(Contrastive Training): 모델은 매치된 생물학적 쌍을 "포지티브"로, 한쪽 양상을 고정하고 다른 쪽을 오염시킨(예: 무작위 점 돌연변이 또는 파트너 교체) 경우를 "네거티브"로 구성하여 InfoNCE 스타일의 목적 함수(또는 Bradley-Terry 손실)를 사용하여 학습된다.

이론적 이점: 돌연변이 국소 상쇄(Mutation-Local Cancellation)

본 연구의 주요 이론적 기여는 돌연변이 국소 상쇄 특성이다. 동일한 야생형 시퀀스($x_{wt}$)의 두 변이($x_A, x_B$)를 동일한 맥락 하에서 비교할 때, 이들이 동일한 돌연변이 위치 세트 $M$을 공유한다면, 야생형 앵커 항(anchor terms)은 가능도 비율에서 정확히 상쇄된다:
$$s_M(x_A, y; x_{wt}) - s_M(x_B, y; x_{wt}) = \frac{1}{|M|} \sum_{i \in M} \left( \log \pi_\theta(x^A_i | \dots) - \log \pi_\theta(x^B_i | \dots) \right)$$
이는 랭킹 목적 함수를 맥락이 부여된 돌연변이 토큰의 가능도에 대한 직접적인 비교로 축소시킨다. 이러한 정확한 축소는 전역 시퀀스 표현을 비교하여 공유 항이 대수적으로 상쇄되지 않는 잠재 공간 모델에서는 일반적으로 불가능하다.

주요 기여

1. 로짓 공간 대조 정렬: 서로 다른 양상을 고유의 토큰 확률 인터페이스를 보존하면서 출력 로짓 공간에서 직접 정렬하는 새로운 프레임워크를 제시한다.
2. 게이트형 교차 모달 어댑터: 공통의 토크나이저나 디코더 없이도 희소한 쌍 데이터를 사용하여 사전 학습된 인코더를 맥락화할 수 있도록, 고유 헤드를 대체하지 않고 맥락 정보를 주입하는 메커니즘을 제공한다.
3. 돌연변이 국소 변이 랭킹: 토큰 수준의 인터페이스를 보존함으로써 야생형 항의 정확한 상쇄를 가능하게 하여, 생물학적 맥락 내에서 돌연변이된 토큰의 가능도만을 기반으로 변이를 정밀하게 랭킹할 수 있음을 입증하였다.
4. 해석 가능성 및 생성: 고유 토큰 헤드를 유지함으로써, LOGICA는 토큰 수준의 의존성 매핑(어떤 맥락 잔기가 특정 시퀀스 위치에 영향을 미치는지 식별)과 깁스 샘플링(Gibbs sampling)을 통한 맥락 조건부 생성을 지원한다.

실험 결과

저자들은 세 가지 서로 다른 생물학적 작업에 대해 LOGICA를 평가하였다.

1. 단백질-리간드 결합 및 저항성

• 설정: BindingDB 데이터를 사용하여 ESM-2(단백질)와 SELFormer(리간드)를 결합함.
• 성능: LOGICA는 표준 약물-타겟 상호작용 벤치마크(DAVIS, BindingDB, BioSNAP)에서 잠재-대조(LatentCA) 및 조건부-MLM(LOGIMLM) 베이스라인보다 우수한 성능을 보였다.
• 약물 저항성: 약물 조건부 변이 랭킹(KRAS, BRAF, EGFR과 같은 종양 유전자의 저항성 돌연변이 예측)에서 LOGICA는 AUC(잠재 베이스라인의 ~0.55에서 ~0.65로 증가)와 Spearman 상관계수를 크게 개선했다. 잠재 공간 방법들은 미세 조정을 거쳤음에도 불구하고 무작위 수준을 넘어서지 못했으며, 이는 돌연변이 국소 가능도 인터페이스의 필요성을 강조한다.
• 확장성: 성능은 백본 크기(최대 650M 파라미터)에 따라 확장되었으며, 퓨샷(few-shot) 환경(라벨링된 데이터 10~15%)에서도 견고함을 보여주었다.

2. TCR-펩타이드 인식

• 설정: IEDB 데이터를 사용하여 TCRLang(TCR)과 ESM-2(펩타이드)를 결합함.
• 제로샷 랭킹: LOGICA는 실험적 심층 돌연변이 스캐닝(DMS) 데이터(ePytope, BATCAVE, ATLAS)에 대한 펩타이드 및 TCR 변이 랭킹에서 최첨단(SOTA) 제로샷 성능을 달립했다.
• 비교: 잠재-대조 및 분류기 기반 베이스라인보다 성능이 현저히 높았다. 특히, 조건부 MLM(LOGIMLM)이 무작위 수준에 가까운 성능을 보인 반면, LOGICA의 대조 정렬은 기능적인 근접 이웃(near-neighbors)과 파괴된 쌍을 효과적으로 분리해냈다.
• 의존성 매핑: 모델은 구조적 접촉(peptide–CDR3$\beta$ contacts에 대한 AUC ~0.74)과 겹치는 교차 모달 잔기 의존성을 성공적으로 식별하였으며, 이는 학습된 로짓이 생물학적으로 의미 있는 구조적 신호를 인코딩하고 있음을 입증한다.

3. 사례 연구: 펩타이드 최적화

• NLVPMVATV 펩타이드의 TCR 인식을 최적화하는 사례 연구에서, LOGICA는 실험적으로 검증된 활성 강화 변이(예: L2I, L2V)를 높게 랭킹하여(171개 중 3위 및 8위) 생성적 설계에 대한 유용성을 입증했다.

의의 및 주장

본 논문은 LOGICA가 생물학적 파운데이션 모델을 위한 원칙적인 잠재 공간 정렬의 대안을 제공한다고 주장한다. 주요 의의는 사전 학습된 모델의 확률적 의미론(probabilistic semantics)을 보존하면서 이를 맥락에 민감하게 만든다는 점에 있다.

• 모듈성: 이 프레임박스는 외부 생물학적 맥락이 모델의 학습된 어휘나 구조를 교체하지 않고도 토큰 확률을 재형성할 수 있도록 하여, 다양한 백본(단백질, 면역 수용체, 소분자, DNA/RNA)에 적용 가능하게 한다.
• 국소 vs 전역: 저자들은 많은 생물학적 질문이 본질적으로 토큰 국소적(예: 리간드가 특정 잔기 치환의 타당성을 어떻게 변화시키는가)이라는 점을 강조한다. LOGICA는 이러한 국소적 의미론이 인코딩되는 출력 공간에서 스코어링을 유지함으로써 이 문제를 해결하며, 잠재 방법은 이러한 신호를 전역 임베딩으로 희석시킨다.
• 트레이드오프: 논문은 LOGICA가 대규모 규모의 검색을 위한 듀얼 인코더 모델보다 계산 효율성이 낮다는 점을 겸허히 인정한다($O(N+M)$ 대 $O(NM)$의 쌍별 평가 필요). 따라서 이 모델은 1단계 검색 엔진보다는 재순위화(reranking), 변이 스코어링 또는 생성적 상호작용 모델로서 포지셔닝된다.

요약하자면, LOGICA는 로짓 공간에서 모델을 정렬함으로써 대조적 감독(contrastive supervision)이 어떻게 희소한 교차 모달 생물학적 데이터에 효과적으로 적용될 수 있는지 보여주며, 이를 통해 원래의 사전 학습된 언어 모델이 가진 해석 가능성과 생성 능력을 유지한다.