🧬 biology

Preference-based Antibody Expression Ranking: Scaling with Large-scale Weak Supervision

본 논문은 직접 선호 최적화(Direct Preference Optimization)를 적응시켜 희소한 정량적 발현 데이터와 대규모의 약한 면역 형성 감독(weak immunization supervision)을 통합함으로써, 데이터가 제한된 환경에서 단백질 언어 모델이 항체의 발현성을 효과적으로 순위 매길 수 있도록 하는 통합 선호 기반 학습 프레임워크를 제안한다.

원저자: Josh Qixuan Sun, Morteza Babaie, Wenyang Hou, Mark Crowley, David Young

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Josh Qixuan Sun, Morteza Babaie, Wenyang Hou, Mark Crowley, David Young

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신이 모두가 사랑하는 완벽한 새로운 요리 레시피를 만들려는 마스터 셰프라고 상상해 보세요. 의학의 세계에서 이 "요리"는 항체(antibody)입니다. 항체는 우리 면역 체계를 위한 슈퍼히어로처럼 작동하며 바이러스와 박테리아를 추적하는 Y자 모양의 작은 단백질입니다. 과학자들은 질병과 싸우기 위해 맞춤형 항체를 설계하려고 끊임없이 노력하고 있습니다. 하지만 큰 문제가 하나 있습니다. 레시피가 종이 위에서는 아주 그럴싸해 보일지라도, 실제로 주방에서 요리했을 때 제대로 만들어지지 않을 수도 있다는 점입니다. 어떤 디자인은 맛있는 고수율의 식사가 되지만, 어떤 것은 완전히 실패하여 아무것도 만들어내지 못하기도 합니다.

문제는 어떤 레시피가 작동하는지 알아내는 것이 매우 비용이 많이 들고 느리다는 것입니다. 이는 마치 재료가 잘 섞이는지 확인하기 위해 매번 케이크를 구워야 하는데, 일 년에 케이크를 몇 개밖에 구울 여유가 없는 것과 같습니다. 과학자들에게는 수백만 개의 "아마도 괜찮을 것 같은" 레시피는 산더미처럼 쌓여 있지만, "확실히 작동하는" 레시피는 아주 소수에 불과합니다. 이 논문은 바로 이 병목 현상을 다룹니다. 이 논문은 컴퓨터가 모든 레시피를 직접 요리해보지 않고도, 소수의 알려진 승리자와 방대한 양의 "아마도 괜찮을 것 같은" 추측들을 학습하여 이 레시피들의 순위를 매기는 영리한 방법을 소개합니다. 목표는 과학자들이 가장 유망한 것들에만 집중할 수 있도록 좋은 레시피와 나쁜 레시之一를 분류하는 것이며, 이를 통해 질병 치료를 향한 경주에서 시간과 비용을 절약하는 것입니다.

더 나은 항체를 위한 레시피

항체를 설계하는 것은 마치 당신이 완전히 익숙하지 않은 언어로 문장을 쓰려고 노력하는 것과 같습니다. 당신에게는 20개의 아미노산(글자)이라는 사전이 있고, 당신은 실제로 유용한 기능을 수행할 수 있는 문장(단백질)을 만들기 위해 이 글자들을 엮어야 합니다. 문제는, 당신이 쓰는 대부분의 문장이 횡설수설이거나, 더 심하게는 문장처럼 보일지라도 실제로 입 밖으로 내뱉으려 할 때 아무런 의미가 통하지 않을 수도 있다는 점입니다. 실험실에서 이 "의미가 통하는 부분"을 **발현(expression)**이라고 부릅니다. 만약 항체가 잘 발현되지 않는다면, 그것은 마치 레시피에 "한 꼬집의 마법 가루"를 넣으라고 되어 있는 것과 같습니다. 현실 세계에서는 작동하지 않을 것입니다.

오랫동안 과학자들은 아주 작은 요리책에 갇혀 있었습니다. 그들에게는 항체가 얼마나 많은 "음식"(수율)을 생산했는지 정확히 알고 있는 레시 Recipe가 몇 백 개 정도뿐입니다. 하지만 그들은 수천 개의 새로운 아이디어를 테스트해야 합니다. 이 논문은 멋진 해결책을 제안합니다. 왜 거대한 "아마도 괜찮을 것 같은" 레시피 라이브러리를 사용하여 컴퓨터를 가르칠 수 없을까요?

두 단계의 마법 기술

저자들인 조쉬 퀴셤 선(Josh Qixuan Sun)과 그의 팀은 컴퓨터가 더 나은 레시피 판별사가 되도록 가르치는 두 단계 전략을 고안했습니다.

1단계: "몰입" 단계
먼저, 그들은 이미 단백질이 일반적으로 어떻게 작동하는지에 대해 많은 것을 알고 있는 똑똑한 컴퓨터 모델("단백질 언어 모델")을 가져왔습니다. 그런 다음, 자연계(구체적으로 낙타와 라마)에서 발견된 420만 개의 항체 서열로 이루어진 거대한 라이브러리를 모델에 입력했습니다. 이 서열들은 마치 "아마도 괜찮을 것 같은" 레시피의 거대한 더미와 같습니다. 우리는 이것들이 정확히 얼마나 잘 만들어지는지는 모르지만, 자연계에 존재한다는 것을 알기에 아마도 안정적이고 안전할 것이라는 점은 알고 있습니다. 컴퓨터는 이 4.2 밀리언 개의 서열을 읽으며, 정확한 수율을 알 필요 없이 좋은 항체의 "분위기(vibe)"를 학습합니다. 이는 마치 학생이 자신의 글을 쓰기 전에 장르의 느낌을 익히기 위해 백만 권의 미스터리 소설을 읽는 것과 같습니다.

2단계: "맛 테스트" 단계
다음으로, 팀은 Exp-1K라고 불리는 작지만 고품질인 요리책을 도입했습니다. 이 책에는 1,254개의 레시피가 있으며, 각 레시피에 대해 단백질이 얼마나 생성되었는지에 대한 정확한 점수가 기록되어 있습니다. 어떤 것은 많이 생산했고(고수율), 어떤 것은 적게 생산했으며, 약 27%는 전혀 생산하지 못했습니다(제로 수율).

여기서 마법이 일어납니다. 단순히 컴퓨터에게 "이 레시피는 얼마나 좋은가요?"라고 묻는 대신(데이터가 너무 적어 맞히기 어렵습니다), 그들은 다른 질문을 던졌습니다: "만약 당신이 레시피 A와 레시피 B 중 하나를 골라야 한다면, 어느 것이 더 나은가요?"

그들은 **직접 선호도 최적화(Direct Preference Optimization, DPO)**라는 기술을 사용했습니다. 강아지를 훈련시킨다고 상상해 보세요. 당신은 단순히 "착하다" 또는 "나쁘다"라고 말하지 않습니다. 두 개의 간식을 들고 "나는 이것이 저것보다 더 좋아"라고 말합니다. 컴퓨터는 항체의 순위를 매드는 법을 배웁니다.

강한 감독(Strong Supervision): 만약 레시피 A가 100mg의 단백질을 만들고 레시피 B가 10mg를 만들었다면, 컴퓨터는 "A가 B보다 낫다"라고 배웁니다.
약한 감독(Weak Supervision): 만약 레시피 C가 거대한 더미(정확한 점수는 모르지만 자연계에 존재하는 것)에서 왔고 레시피 D가 단백질을 전혀 만들지 못했다면, 컴퓨터는 "C가 아마도 D보다 나을 것이다"라고 배웁니다.

이 두 가지 유형의 레슨을 혼합함으로써, 컴퓨터는 수천 개의 새로운 디자인들의 순위를 매기는 법을 배웁니다.

그들이 발견한 것

팀은 다양한 데이터 세트를 사용하여 그들의 방법을 테스트했습니다. 그들은 자신들의 새로운 "선호도" 방식과 단순 회귀(숫자를 추측하는 방식)나 데이터를 특별한 훈련 없이 그냥 살펴보는 방식 같은 기존의 컴퓨터 학습 방식들을 비교했습니다.

결과는 명확했습니다:

두 단계 팀의 승리: 거대한 "아마도" 라이브러리(1단계)와 "맛 테스트" 순위 매기기(2단계)를 모두 사용한 방법이 다른 모든 방식보다 일관되게 우수한 성능을 보였습니다. 이 방법은 어떤 항체가 실제로 작동할지 예측하는 데 더 뛰어났고, 좋은 것부터 나쁜 것까지 순위를 매기는 데에도 더 뛰어났습니다.
제로샷(Zero-Shot)의 한계: 만약 이 특별한 훈련 없이 컴퓨터를 그냥 사용했다면(제로샷), 성능은 형편없었습니다. 컴퓨터는 좋은 레시피와 나쁜 레시피를 구분하지 못했습니다. 이는 단지 단백질의 "알파벳"을 아는 것만으로는 부족하며, 항체 발현이라는 특정한 "방언"을 배워야 한다는 것을 시사합니다.
데이터가 많을수록 좋다: 그들은 420만 개의 "아마도" 레시피를 더 많이 제공했을 때 어떤 일이 일어나는지 테스트했습니다. 더 많은 데이터를 추가할수록 컴퓨터는 더 똑똑해졌습니다. 컴퓨터는 혼란을 느끼지 않았고 오히려 더 영리해졌습니다. 이는 거대한 라이브库의 "약한" 데이터가 안전망 역할을 하여, 컴퓨터가 아주 적은 양의 완벽한 데이터에만 기반해 터무니없는 추측을 하지 않도록 잡아준다는 것을 의미합니다.

그들이 제외한 것들

논문은 결론적으로 실패로 판명된 아이디어들도 테스트했습니다:

거대한 라이브러리를 읽는 것만으로는 부족함: 만약 그들이 1단계(420만 개의 서열 읽기)만 수행하고 나서 작은 요리책에 대해 표준적인 "숫자 추측" 방식을 사용했다면, 결과는 좋지 않았습니다. 컴퓨터는 언어는 배웠지만 레시피의 순위를 매기는 법은 배우지 못했습니다.
너무 많은 "약한" 데이터는 "강한" 데이터를 압도할 수 있음: 그들은 훈련을 세심하게 조절하지 않으면, 거대한 "아마도" 레시피 더미가 아주 적은 양의 "확실한" 레시피를 압도할 수 있다는 것을 발견했습니다. 그들은 컴퓨터가 거대한 라이브러리로부터 배우면서도 동시에 고품질 데이터에도 충분히 주목할 수 있도록 $\alpha$ 라는 변수(조절 다이얼)를 조정해야 했습니다.

핵심 요약

이 논문은 더 나은 항체를 설계하기 위해 수백만 번의 완벽한 실험을 기다릴 필요가 없다는 것을 시사합니다. 대신, 소수의 고품질 실험과 산더미 같은 "아마도 괜찮을 것 같은" 자연 데이터를 결잡하여 컴퓨터가 디자인의 순위를 매기도록 가르칠 수 있습니다.

저자들은 이 접근 방식이 희소한 데이터를 해결하는 실용적이고 견고한 방법임을 보여줍니다. 이것이 모든 것을 즉각 해결하는 마법 지팡이는 아니지만, 컴퓨터에게 배우는 방식(단순히 숫자를 맞히는 것이 아니라 선호도에 집중하는 것)을 바꿈으로써 항체 설계를 더 빠르고, 저렴하며, 신뢰할 수 있게 만들 수 있음을 시사합니다. 호기-심 많은 십 대를 위해 설명하자면, 이는 모든 요리를 일일이 맛보는 셰프에서, 수천 가지의 요리를 한꺼번에 맛보고 어떤 것을 내놓아야 할지 정확히 말해줄 수 있는 초지능적인 수셰프를 둔 셰프로 업그레이드하는 것과 같습니다.

기술 요약: 선호도 기반 항체 발현 순위 지정

문제 정의
항체 발현 순위 지정은 치료제 개발의 핵심적인 병목 구간이지만, 라벨링된 실험 데이터의 부족으로 인해 계산 모델링이 심각하게 저해되고 있다. 기존의 공개 벤치마크는 일반적으로 수백 개의 서열만을 포함하며 길이와 수율 분포의 다양성이 제한적이어서, 실제 설계의 복잡성을 반영하지 못한다. 또한, 표준 지도 학습 방식은 라벨링된 데이터가 희소할 때 일반화에 어려움을 겪는다. 반면, 산업적 발견 워크플로우는 면역 형성(예: 낙타과 동물로부터 유래)을 통해 수백만 개의 항체 서열을 생성하지만, 이들은 정량적인 발현 측정값은 결여되어 있다. 그러나 경험적 증거에 따르면 이러한 서열들은 AI 생성 또는 형질전환 마우스 유래 후보군에 비해 높은 발현 가능성을 보이므로 "약한 양성 감독(weak positive supervision)"의 원천으로서 가치가 있다. 핵심 과제는 희소하고 고품질인 정량적 데이터와 대규모의 라벨 없는 약한 감독 데이터를 효과적으로 통합하여 항체 발현성을 최적화할 수 있는 프레임워크를 설계하는 것이다.

방법론
저자들은 직접 선호도 최적화(Direct Preference Optimization, DPO)를 단백질 언어 모델(pLM)에 적응시킨 통합 선호도 기반 학습 프레임[]를 제안한다. 이 접근 방식은 두 가지 주요 단계로 구성된다:

도메인 정렬 (지속적 사전 학습): 모델은 대규모 면역 유래 낙타과 서열 데이터셋(Camel-4M, 4.2M 개 서열)에 대해 마스크드 언어 모델링(MLM)을 사용하여 지속적 사전 학습을 수행한다. "evo-tuning"이라 불리는 이 단계는 일반적인 pLM을 항체의 특정 서열 분포에 적응시켜, 발현 특이적 감독이 적용되기 전에 견고한 표현 공간을 구축한다.
선호도 최적화 (DPO): 이 프레임워크는 두 가지 이질적인 감독 소스로부터 공동 학습을 수행하도록 DPO를 활용한다:
- 강한 감독 (Strong Supervision): 독점 데이터셋(Exp-1K, 1,254개 서열)에서 얻은 정량적 수율 데이터를 쌍 선호도로 변환한다. 수율 차이가 마진 $\delta$ (30 mg/L로 설정)를 초과하는 경우 쌍 $(y_w, y_l)$ 이 형성된다.
- 약한 감독 (Weak Supervision): 면역 유래 서열(발현 가능한 것으로 간주)을 강한 감독 세트에서 측정된 수율이 0인 서열(비발현)과 쌍을 이룬다.
- 합집합 마스킹 로그-가능도 근사 (Union-Masked Log-Likelihood Approximation): pLM은 자기회귀적 가능도(autoregressive likelihood)가 아닌 의사-로그-가능도(pseudo-log-likelihood, PLL)에 의존하므로, 모든 위치에 대해 정확한 로그-확률을 계산하는 것은 계산 비용이 많이 든다. 저자들은 서로 다른 두 서열 사이의 차이가 나는 위치들을 공동으로 마스킹하고 단일 순방향 패스(forward pass)로 평가하는 합집합 마스킹 근사법을 도입하였다. 이는 선호도 최적화 중 계산 비용을 크게 줄여준다.
- IMGT 정렬: 가변 길이 항체 서열을 처리하기 위해, ANARCI 소프트웨어를 통한 IMGT 넘버링을 사용하여 서열 공간 전체에서 일관된 선호도 쌍 구축을 보장한다.

학습 목표는 참조 모델(도메인 정렬된 pLM)로부터의 편차에 대해 KL-발산 페널티를 사용하여 규제하면서, 덜 선호되는 서열에 비해 선호되는 서열의 가능도를 최대화하는 것이다.

주요 기여

통합 프레임워크: 별도의 태스크 특화 헤드나 보상 모델을 필요로 하지 않고, 희소한 정량적 수율과 대규모 약한 양성 감독을 통합하는 단일 학습 목표를 개발하였다.
pLM을 위한 효율적인 DPO: 합집합 마스킹 로그-가능도 근사와 IMGT 기반 정렬을 도입하여 마스크드 언어 모델에 DPO를 적응시킴으로써, 가변 길이 서열에 대한 효율적인 학습을 가능하게 하였다.
경험적 검증: 제안된 방법은 다양한 단백질 언어 백본(AntiBERTa2, IgBERT, ProtBERT)에 대해 내부 데이터셋(Exp-1K)과 대규모 약한 감독 코퍼스(Camel-4M)에서 표준 회귀 및 분류 베이스라인을 일관되게 능가함을 입증하였다.
스케일링 분석: 본 연구는 약한 감독의 양이 증가함에 따라 프레임워크가 효과적으로 확장됨을 보여주며, 라벨링된 데이터의 희소성을 완화하기 위해 라벨 없는 산업 데이터를 활용하는 능력을 입증하였다.

결과
Exp-1K 테스트 세트에서 평가했을 때, 제안된 2단계 방법(지속적 사전 학습 + 선호도 최적화)은 제로샷 모델, 지도 회귀, 지도 분류를 포함한 베이스라인들을 일관되게 능가하였다:

성능 지표: 제안된 방법은 이진 발현성 예측(MCC 및 Recall으로 측정)과 수율 순위 지정(Kendall's $\tau$ 및 Spearman 상관계수로 측정) 모두에서 우수한 결과를 달-성하였다. 예를 들어, AntiBERTa2 백본의 경우, 전체 프레임워크는 MCC 43.7 및 Kendall's $\tau$ 46.3을 달성하여 지도 베이스라인(MCC ~29.1, $\tau$ ~37.6)을 크게 앞질렀다.
스케일링 동작: 1단계 지속적 사전 학습이 활용되었을 때, 약한 감독 데이터셋의 크기가 1K에서 4.2M 개 서열으로 증가함에 따라 성능이 꾸준히 향상되었다. 1단계를 거치지 않을 경우 성능 이득이 덜 안정적이었다.
일반화 및 안정성: 전체 프레임워크는 약한 데이터를 사용하지 않거나 표준 회귀를 사용하는 모델에 비해 검증 세트와 테스트 세트 사이의 일반화 격차가 더 작았다. 최적화 궤적은 더 매끄럽고 진동이 적었는데, 이는 대규모 약한 감독이 모델을 생물학적으로 타당한 서열 공간에 고정시키는 규제 역할을 함을 시사한다.
절제 연구(Ablation) 결과: 작은 라벨 데이터셋에 대해서는 선호도 학습 단독이 직접 회귀보다 약간 성능이 낮게 나타났으며, 이는 충분한 그래디언트 신호를 제공하기 위해 대규모 약한 감독이 필수적임을 강조한다. 또한, 서열 유사성에 따라 선호도 쌍을 필터링하면 성능이 감소했는데, 이는 모델이 서열 공간의 전체 분포를 통해 학습할 때 이득을 얻음을 나타낸다.

의의
본 논문은 선호도 기반 최적화가 데이터가 제한된 시나리오에서 항체 설계를 위한 실용적이고 견고한 솔루션을 제공한다고 주장한다. 약한 감독으로부터 효과적으로 학습함으로써, 이 프레임워크는 라벨링된 데이터가 부족할 때 발생하는 전통적인 지도 학습의 한계를 해결한다. 결과는 선호도 학습이 "견고한 생물물리학적 규제자(robust biophysical regularizer)"로서 작용하여, 방대한 라벨 없는 산업 데이터로부터 유용한 신호를 추출할 수 있음을 보여준다. 이 접근 방식은 명시적인 보상 모델을 요구하지 않고도 진화적 확률 분포와 특정 생물물리학적 공학 목표 사이의 간극을 메우며, 미세한 항체 개발 가능성 예측을 위한 확장 가능한 경로를 제공한다.

더 나은 항체를 위한 레시피

두 단계의 마법 기술

그들이 발견한 것

그들이 제외한 것들

핵심 요약

유사한 논문