💻 bioinformatics

Tox21mer, A transformer foundation model for Tox21 high-throughput concentration-response curves data

이 논문은 마스크된 반응 재구성(masked-response reconstruction)을 통해 250만 개의 Tox21 농도-반응 곡선을 사전 학습하여, 어세이 결과 및 AC50 값을 예측하는 데 있어 최첨단 성능을 달est하고 미테스트 화합물로의 외삽을 가능하게 하는 고품질의 768차원 임베딩을 생성하는 4,350만 개의 파라미터를 가진 트랜스포머 파운데이션 모델인 Tox21mer를 소개한다.

원저자: Li, L., Hwang, J., Shockley, K., Li, Y., Motsinger-Reif, A., Hsieh, J.-H., Auerbach, S. S., Reif, D.

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Li, L., Hwang, J., Shockley, K., Li, Y., Motsinger-Reif, A., Hsieh, J.-H., Auerbach, S. S., Reif, D.

원본 논문은 CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

미국의 Tox21 프로젝트를 다양한 화학 물질이 여러 생물학적 테스트에 어떻게 반응하는지에 대한 수백만 개의 "이야기"를 수집한 거대한 도서관이라고 상상해 보십시오. 여기서 각 이야기는 하나의 농도-반응 곡선(concentration-response curve), 즉 화학 물질을 아주 조금 투여했을 때부터 조금 더, 그리고 아주 많이 투여했을 때 세포에 어떤 일이 일어나는지를 보여주는 그래프입니다. 이 그래프들을 하나하나 읽는 것은 인간에게 매우 느리고 어려운 작업입니다.

여기에 등장한 것이 바로 Tox21mer입니다. 이는 이 이야기들을 즉각적으로 읽고 이해하도록 설계된 새로운 컴퓨터 두뇌(AI 모델)입니다.

이 모델이 어떻게 작동하는지 일상적인 비유를 통해 설명하겠습니다.

1. "슈퍼 독자"

Tox21mer를 약 250만 개의 화학적 이야기를 읽은 초고성능 사서라고 생각하십시오. 이 모델은 단순히 사실을 암기하는 것이 아니라, 화학 물질이 어떻게 행동하는지의 패턴을 학습합니다. 모델은 복잡한 그래프와 테스트 세부 정보(메타데이터)를 받아 이를 하나의 압축된 "ID 카드"(76로 차원 표현)로 응축합니다. 이 ID 카드는 컴퓨터가 쉽게 처리할 수 있는 방식으로 화학적 행동의 본질을 포착합니다.

2. 학습 방법 ("빈칸 채우기" 게임)

이토록 똑똑해지기 위해, 모델은 거대한 "빈칸 채우기(Mad Libs)" 게임을 수행했습니다.

연구진은 모델에게 수백만 개의 곡선을 보여주되, 데이터의 일부를 숨겼습니다(마스크된 반응 재구성).
모델은 나머지 곡선과 테스트 맥락을 바탕으로 누락된 숫자를 추측해야 했습니다.
또한, 모델이 화학 물질의 "활성(active)" 또는 "비활성(inactive)" 여부와 같은 특정 결과를 학습할 수 있도록 약간의 추가 도움(저중량 감독 학습)을 주었지만, 주요 스승은 바로 이 게임 자체였습니다.

3. 결과: 얼마나 뛰어난가?

연구진이 이 모델을 한 번도 본 적 없는 화학 물질들로 테스트했을 때, 모델은 챔피언처럼 활약했습니다:

"신호등" 테스트: 모델은 곡선을 보고 화학 물질이 "효능제(Agonist, 진행)"인지, "길항제(Antagonist, 정지)"인지, 아니면 "비활성(Inactive, 중립)"인지를 98.5%의 정확도로 판별할 수 있었습니다.
"온/오프" 스위치: 모델은 단순히 "활성" 또는 "비활성"을 99.4%의 정확도로 말할 수 있었습니다.
"강도" 측정기: 모델은 화학 물질의 강도(특히 AC50 값)를 0.87의 결정계수(R2)로 추정할 수 있었습니다.

4. 실제로 중요한 것은 무엇인가?

연구진은 알고 싶었습니다. 모델이 정답을 암기해서 똑똑한 것일까, 아니면 곡선의 모양을 학습했기 때문일까?

연구진은 추가적인 "정답지(보조 레이블)" 없이 모델을 훈련시켜 보았습니다. 결과는 거의 비슷하게 잘 작동했습니다. 이는 모델이 단순히 레이블을 외운 것이 아니라 데이터의 모양과 패턴을 학습했다는 것을 증명합니다.
또한, 모델이 모든 점의 엄격한 순서보다는 데이터 포인트의 **전반적인 분포(곡선의 일반적인 추세)**에 주로 관심을 갖는다는 것을 발견했습니다. 이는 마치 모든 음표를 하나하나 세는 것이 아니라 멜로디를 통해 노래를 인식하는 것과 같습니다.

5. 이것이 왜 유용한가

논문은 결론적으로 Tox21mer가 이러한 화학적 곡선들을 위한 **보편적인 "언어"**를 만든다고 설명합니다. 이 모델은 이 언어를 매우 잘 이해하기 때문에, 다음과 같은 기초 도구로 사용될 수 있습니다:

화학적 데이터를 이 모델과 결합하여 새롭고 테스트되지 않은 화학 물질이 어떻게 행동할지 예측하는 것.
더 작고 단순한 모델(소형 모델)에게 동일한 작업을 수행하도록 가르쳐서, 원래의 라이브러리 외부에서도 대규모의 화학 물질 스크리닝을 가능하게 하는 것.

요약하자면, Tox21mer는 무질서하고 복잡한 화학적 그래프를 명확하고 이해 가능한 데이터로 변환하여, 과학자들이 높은 속도와 정확도로 화학적 행동을 예측할 수 있게 해주는 도구입니다.

기술 요약: Tox21mer

문제 정의
미국 Tox21 협력단은 고처리량 농도-반응(concentration-response, CR) 분석에 대한 방대한 참조 라이브러리를 구축했습니다. 그러나 이 데이터를 효과적으로 활용하려면 관련 어세이 메타데이터와 함께 복잡한 CR 곡선을 통합된 표현으로 인코딩하는 견고한 방법이 필요합니다. 전통적인 방식은 광범위한 재학습 없이 곡선 내의 미묘한 패턴을 포착하거나 테스트되지 않은 화합물로 일반화하는 데 어려움을 겪는 경우가 많습니다.

방법론
저자들은 Tox21 데이터를 위해 특별히 설계된 4,350만 개의 파라미터를 가진 트랜스포머 기반 파운데이션 모델인 Tox21mer를 소개합니다.

아키텍처 및 입력: 이 모델은 개별 농도-반응 곡선을 어세이 메타데이터와 결격하여 고정된 768차원 벡터 표현으로 인코딩합니다.
사전 학습 전략: Tox21mer는 102개의 서로 다른 어세이 프로토콜과 6,727개의 화합물에서 유래된 약 250만 개의 곡선을 바탕으로 사전 학습되었습니다. 주요 학습 목표는 **마스크된 반응 재구성(masked-response reconstruction)**으로, 이는 모델이 곡선 내의 누락된 값을 예측하도록 학습하는 자기 지도 학습(self-supervised) 과제입니다.
보조 감독(Auxiliary Supervision): 학습을 강화하기 위해, 모델은 어세이 결과(예: 활성/비활성)와 $\text{AC}_{50}$ 값을 예측하는 저가중치 보조 감독 과제를 활용했으나, 이는 자기 지도 목적에 비해 부차적인 것이었습니다.
평가 프로토콜: 학습된 표현의 품질은 동결된 임베딩(frozen embeddings) 상에서 경량 "프로브(probe)" 모델을 학습시켜 평가되었습니다. 이 프로브들은 사전 학습 시 제외되었던 화합물의 농도-반응 곡선을 대상으로 테스트되었습니다.

주요 결과
평가는 학습된 임베딩이 다운스트림 작업에 매우 효과적임을 입증했습니다:

분류 성능: 모델은 3클래스 결과 예측(작용제, 길항제, 비활성)에서 0.985의 macro-F1 점수를, 이진 활성/비활성 분류에서 0.994의 F1 점수를 달성했습니다.
회귀 성능: 효능 지표 예측을 위해, 모델은 $\log_{10}(\text{AC}_{50})$ 에 대해 0.87의 $R^2$ 값을 기록했습니다.
표현 품질: 임베딩은 곡선-클래스 범주에 따라 일관된 그룹을 형성하였으며, 이는 모델이 용량-반응 행동의 구조적 유사성을 성공적으로 포착했음을 나타냅니다.
어블레이션(Ablation) 통찰:
- 오직 마스크된 반응 목적 함수만을 사용하여 학습된 변형 모델(보조 레이블 없이)은 베이스라인에 근접한 성능을 유지했으며, 이는 표현이 보조 레이블보다는 자기 지도 학습 목적을 통해 주로 학습되었음을 시사합니다.
- 추가 분석 결과, 예측 성능은 특정 곡선 내의 상세한 점들의 순서에 대한 의존도는 낮지만, 어세이 컨텍스트에 조건화된 곡선 수준에서의 반응 값 분포에 주로 의존한다는 것을 밝혀냈습니다.

의의 및 주장
본 논문은 Tox21mer를 Tox21 농도-반응 데이터에 대한 재사용 가능한 파운데이션 표현으로 위치시킵니다. 이 연구의 주요 의의는 테스트되지 않은 화합물로의 외삽(extrapolation)을 지원할 수 있는 능력에 있습니다. 저자들은 다음 두 가지 주요 경로를 통해 이것이 가능하다고 주장합니다:

화학적 특징과의 통합: 곡선 임베딩을 분자 기술자(molecular descriptors)와 결합합니다.
지식 증류(Distillation): 대규모 외부 스크리닝을 용이하게 하기 위해 학습된 지식을 화학 전용 학생 모델(student models)로 전달합니다.

이 연구는 모델의 역량이 주로 곡선 패턴의 자기 지도 학습에서 기인하며, 모든 새로운 작업에 대해 레이블이 지정된 결과에 크게 의존하지 않고도 고처리량 독성학 데이터를 분석할 수 있는 확장 가능한 솔루션을 제공한다고 강조합니다.