Residue-Level Attributions in Protein Language Models Do Not Recover Allergen Epitopes

기술 요약: 단백질 언어 모델의 잔기 수준 어트리뷰션은 알레르겐 에피토프를 복구하지 못한다

문제 정의
딥러닝 모델, 특히 단백질 언어 모델(PLM)은 단백질 수준의 알레르기 유발성 예측 정확도를 크게 향상시켜 새로운 식품의 안전성 스크리닝을 돕고 있다. 그러나 모델이 생성하는 '설명'(잔기 수준의 어트리뷰션)이 생물학적으로 의미 있는 정보를 포착하고 있는지에 대한 중요한 간극이 남아 있다. 구체적으로, 높은 어트리뷰션 점수가 실험적으로 검증된 면역 인식 부위(에피토프)와 일치하는지 여부는 불분명하다. 모델들은 종종 알려진 모티프와 질적으로 일치하는 것처럼 보이는 히트맵을 생성하지만, 이들의 정량적 정렬 상태는 알려져 있지 않다. 본 논문은 모델 충실도(model faithfulness)(설명이 모델의 출력에 인과적으로 영향을 미치는 잔기를 강조하는지 여부)와 면역학적 충실도(immunological faithfulness)(해당 잔기가 실험적으로 관찰된 면역 인식 부위와 일치하는지 여부)를 구분한다.

방법론
저자들은 알레르기 유발성 분류기의 잔기 수준 어트리뷰션 신호를 정량적으로 평가하기 위해 에피토프 기반 벤치마크를 구축하였다.

• 데이터 큐레이션: 면역 에피토프 데이터베이스(IEDB)에서 추출한 데이터를 바탕으로, 실험적으로 검증된 알레르기 관련 MHC class II 에피토프(B세포 및 T세포 모두 포함)를 중심으로 데이터를 구성하였다. 양성 서열은 UniProt 및 NCBI의 전체 길이 모체 단백질로 매핑되었다. 음성 서열은 검토된 Uni록KB/Swiss-Prot 항목에서 가져왔으며, 바이러스/인간 단백질 및 알레르겐은 제외하였다. 데이터 누출을 방지하기 위해 상동성 인식 클러스터링(homology-aware clustering)을 사용하여 데이터셋을 훈련 및 평가 세트로 분할하였다.
• 평가 대상 모델: 세 가지 분류기를 테스트하였다:
  1. Frozen ESM-2: 고정된 백본과 훈련된 분류 헤드를 가진 표준 PLM.
  2. MTL ESM-2: 고정된 ESM-2 백본을 공유하면서 명시적인 에피토프 감독이 정렬을 개선하는지 테스트하기 위해 보조적인 잔기 수준 에피토프 예측 헤드를 추가한 멀티태스크 학습 변형 모델.
  3. DeepPlantAllergy: 통제된 비교를 위해 큐레이션된 데이터셋으로 재학습된 기존 구조.
• 어트리뷰션 방법: Integrated Gradients (IG), occlusion, attention weights, Gradient×Input, 그리고 보조 MTL 잔기 헤드를 평가하였다.
• 평가 지표: 잔기 수준의 성능은 어트리뷰션 점수를 주석 처리된 에피토프의 이진 마스크와 비교하여 AUROC, AUPRC, Precision@k를 사용하여 평가하였다. 통계적 유의성을 확립하기 위해 무작위 베이스라인을 생성하였다.
• 기능적 검증:
  • 마스킹(Masking): 모델 충실도를 테스트하기 위해, IG에 의해 순위가 매겨진 잔기들을 마스킹하여 예측된 알레르기 유발성의 감소를 측정하였다.
  • 포화 돌연변이(Saturation Mutagenesis): 체계적인 단일 잔기 치환 실험을 수행하여, 모델의 민감도가 특정 에피토프 정체성에 의해 구동되는지 또는 더 넓은 물리화학적 특성에 의해 구동되는지 결정하였다.

주요 결과

1. 강력한 분류, 약한 어트리뷰션: 세 모델 모두 높은 단백질 수준 분류 성능(AUROC > 0.96)을 달-성하였다. 그러나 잔기 수준의 어트리뷰션 신호(IG, occlusion 등) 중 어느 것도 주석 처리된 에피토프와 정렬되는 데 있어 무작위 베이스라인을 유의미하게 초과하지 못했다(AUROC, AUPRC, Precision@k 기준). 일부 신호는 무작위보다 유의미하게 낮은 성능을 보였다.
2. 멀티태스크 학습의 실패: 에피토프 마스크를 직접 사용하여 훈련된 보조 헤드를 포함한 MTL ESM-2 모델조차 기본 분류 헤드의 어트리뷰션과 에피토프 간의 정렬을 개선하는 데 실패하였다. 이는 단백질 수준의 알레르기 유발성 분류가 국소적인 에피토프 특징에 의존하지 않고도 달성될 수 있음을 시사한다.
3. 충실도의 해리(Dissociation of Faithfulness):
   • 모델 충실도: Integrated Gradients는 모델 충실한(model-faithful) 것으로 나타났다. IG에 의해 식별된 잔기를 마스킹했을 때 무작위 마스킹보다 모델의 예측 알레르기 유발성을 유의미하게 감소시켰으며, 이는 IG가 모델의 결정에 인과적으로 중요한 잔기를 식별함을 확인해 준다.
   • 면역학적 불일치: 모델 충실함에도 불구하고, 이 잔기들은 주석 처리된 에피토프와 겹치지 않았다.
4. 물리화학적 특성 대 에피토프 특이성: 포화 돌연변이 결과, 모델은 특정 에피토프 서열보다는 전역적인 물리화학적 및 조성적 특징(예: 전하, 소수성, 방향족성)에 민감하게 반응했다. 돌연변이 효과는 에피토프 영역 내부보다 외부에서 더 크게 나타났다.

기여

1. 에피토프 기반 벤치마크: 저자들은 알레르기 유발 모델 설명의 면역학적 충실도를 평가하기 위해 AUROC, AUPRC, Precision@k를 사용하는 정량적 벤치마크를 제공한다.
2. 불일치의 증거: 본 연구는 강력한 알레르기 유발 분류기가 실험적 에피토프와 무작위 확률보다 더 잘 정렬되는 잔기 수준의 어트리뷰션 신호를 생성하는 데 지속적으로 실패함을 입증한다.
3. 충실도 기준의 해리: 본 연구는 모델 충실도(IG가 인과적 잔기를 식별함)와 면역학적 충실도(해당 잔기가 에피토프가 아님) 사이의 명확한 해리를 확립하였으며, 이는 모델이 에피토프 특이적 메커니즘보다는 전역적인 물리화학적 특징에 의존함을 시사한다.

의의 및 주장
본 논문은 현재의 단백질 언어 모델로부터 얻은 잔기 수준의 중요도 신호가 정량적 검증 없이 안전성 스크래닝이나 저알레르기 설계(hypoallergen design)를 위한 면역학적 설명으로 해석되어서는 안 된다고 결론짓는다. 연구 결과의 함의는 다음과 같다:

• 어트리뷰션 방법에 의해 강조된 잔기를 수정하더라도, 해당 신호가 에피토프와 정렬되지 않았다면 알레르기 유발성을 낮추지 못할 수 있다.
• 어트리뷰션 시각화는 모델 감사를 위한 용도로는 쓰일 수 있으나, 에피토프 수준의 이해를 입증하는 근거가 될 수는 없다.
• 향후 연구는 구조적 및 면역학적 사전 지식(priors)을 통합한 생물학적 제약 기반의 예측기에 집중해야 하며, 커뮤니티는 모델의 설명이 생물학적으로 의미 있는 메커니즘을 포착하는지 평가하기 위해 에피토프 기반의 표준화된 벤치마크를 필요로 한다.

저자들은 IEDB 주석의 불완전성과 편향성, 선형 MHC-II 잔기 마스크로 제한된 점, 그리고 실험적 면역 인식의 대리물로서 in silico 섭동(perturbation)을 사용한 점 등의 한계를 인정한다.