Benchmarking Artificial Intelligence Models for Predicting Nuclear Receptor Activity from Tox21 Assays

이 논문은 Tox21 어레이의 18 가지 핵 수용체 데이터셋을 활용하여 다양한 머신러닝 및 딥러닝 모델의 성능을 체계적으로 벤치마크하고, 클래스 불균형과 화학적 구조적 고립이 예측 정확도에 미치는 영향을 규명함으로써 핵 수용체 활성 예측을 위한 보다 신뢰할 수 있는 컴퓨터 기반 방법론 개발에 기여했습니다.

핵심

🧪 1. 연구의 배경: 거대한 화학 도서관과 '나쁜' 손님들

상상해 보세요. 우리 주변에는 수만 가지의 화학 물질 (약물, 플라스틱, 농약 등) 이 있습니다. 이 중 일부는 우리 몸의 **'핵 수용체 (Nuclear Receptor)'**라는 문지기와 같은 단백질과 엉뚱하게 섞여 들어와서 호르몬 시스템을 혼란스럽게 만들 수 있습니다. 이를 '내분비 교란 물질'이라고 부릅니다.

과거에는 이 물질들이 나쁜지 좋은지 확인하기 위해 쥐나 토끼 같은 동물 실험을 많이 했습니다. 하지만 시간도 많이 걸리고 비용도 비싸며 윤리적 문제도 있습니다. 그래서 과학자들은 **"컴퓨터 안에서만 (in silico) 이 물질들이 나쁜지 미리 예측할 수 있는 AI 모델을 만들자!"**라고 생각했습니다.

이 연구는 미국 환경보호청 (EPA) 등에서 만든 **'Tox21'**이라는 거대한 화학 데이터베이스를 활용했습니다. 마치 수만 권의 책이 있는 거대한 도서관처럼, 이 데이터베이스에는 수많은 화학 물질의 실험 결과가 쌓여 있습니다.

🤖 2. 연구 방법: 다양한 AI 선수들의 '경쟁 대회'

연구팀은 이 거대한 데이터베이스에서 18 가지 종류의 핵 수용체와 관련된 43 개의 데이터를 뽑아냈습니다. 그리고 이 데이터를 가지고 다양한 AI 모델들이 누가 가장 잘 예측하는지 **'벤치마크 (경쟁)'**를 시켰습니다.

비유하자면, 다음과 같은 선수들이 경기에 나섰습니다:

• 전통적인 ML 선수들 (랜덤 포레스트, XGBoost 등): 오래전부터 쓰여 온 검증된 전략을 가진 베테랑 선수들입니다.
• 딥러닝 선수들 (DGCL 등): 복잡한 패턴을 스스로 찾아내는 젊은 천재들입니다.
• 트랜스포머 선수들 (ChemBERTa, MolRAG 등): 최신 기술을 쓴 초고성능 AI 들로, 마치 언어를 배우듯 화학 구조를 읽습니다.

이 선수들은 화학 물질을 어떻게 이해할지도 달랐습니다. 어떤 이는 물질을 **지문 (Fingerprint)**처럼 단순한 패턴으로 보고, 어떤 이는 **분자 구조도 (Descriptor)**처럼 복잡한 설명서로 보았습니다.

📊 3. 주요 발견: 상황에 맞는 선수가 다르다!

연구 결과는 매우 흥미로웠습니다. **"무조건 최신 AI 가 최고인 것은 아니다"**라는 점입니다.

• 나쁜 물질 (Active) 이 꽤 많은 경우 (>10%):
  • 승자: 전통적인 베테랑 선수들 (랜덤 포레스트, XGBoost) 이 이겼습니다.
  • 이유: 데이터가 충분히 풍부할 때는 복잡한 딥러닝보다, 잘 정리된 규칙 (지문 + 설명서) 을 기반으로 한 전통적인 모델이 더 빠르고 정확하게 판단했습니다.
• 나쁜 물질이 드문 경우 (5~10%):
  • 승자: 딥러닝 선수들이 조금 더 잘했습니다.
  • 이유: 나쁜 물질이 드물어서 데이터가 부족할 때, 복잡한 패턴을 학습하는 딥러닝이 더 유연하게 대처했습니다.
• 나쁜 물질이 극도로 드문 경우 (<5%):
  • 결과: 어떤 모델이 이길지 예측하기 어려웠습니다. 데이터 자체가 너무 희귀해서 모델의 성능보다 데이터의 특성이 더 중요해졌습니다.

🔍 4. 왜 틀렸을까? '외톨이' 분자들의 문제

AI 가 틀린 이유를 분석하니 재미있는 사실이 드러났습니다.
약 40% 의 틀린 예측은 **'화학 구조상 외톨이'**인 물질들이었습니다.

• 비유: 만약 친구들이 모두 '축구'를 잘하는 팀에서 '농구'를 잘하는 친구를 찾으라면, 축구만 본 AI 는 농구 선수를 못 찾을 겁니다.
• 현실: 훈련 데이터에 비슷한 구조를 가진 '친구'가 전혀 없는 외톨이 분자들은, AI 가 그 구조를 이해할 수 있는 맥락이 없어서 틀리게 예측했습니다. 즉, 데이터에 비슷한 예시가 없으면 AI 는 추측을 할 수밖에 없습니다.

🌍 5. 실전 테스트: 실제 동물 실험 데이터와 비교

만들어진 AI 모델들을 실제 동물 실험 (생쥐 등) 데이터로 검증했습니다.

• 성공: 안드로겐 수용체 (남성 호르몬) 나 에스트로겐 수용체 (여성 호르몬) 의 '활성화'를 예측할 때는 AI 가 실제 실험 결과와 매우 잘 맞았습니다.
• 한계: 하지만 '억제' 작용이나 실제 생체 내 (in vivo) 복잡한 과정을 예측할 때는 오차가 있었습니다. 이는 실험실 (in vitro) 데이터만으로는 생체 내의 복잡한 대사 과정을 모두 이해하기 어렵기 때문입니다.

💡 6. 결론: 무엇을 배웠을까?

이 연구는 우리에게 다음과 같은 교훈을 줍니다:

1. 상황에 맞는 도구를 쓰자: 모든 문제에 최신 AI 를 쓰는 게 답이 아닙니다. 데이터의 양과 특성에 따라 전통적인 모델이 더 나을 수도 있습니다.
2. 데이터의 다양성이 중요하다: 화학 구조가 너무 독특한 '외톨이' 물질들이 많으면 AI 가 예측하기 어렵습니다. 따라서 더 다양한 화학 물질 데이터를 모아야 합니다.
3. 동물 실험을 줄일 수 있는 희망: 이 연구로 개발된 AI 모델들은 새로운 화학 물질의 위험성을 미리 예측하는 데 큰 도움을 줄 수 있습니다. 이는 동물 실험을 줄이고, 더 빠르고 안전한 화학 물질을 개발하는 데 기여할 것입니다.

한 줄 요약:

"수만 개의 화학 물질을 분석한 AI 대회에서, 데이터의 양과 특성에 따라 '전통적인 베테랑'과 '최신 천재'가 번갈아 이겼다는 것을 확인했고, 비슷한 친구가 없는 '외톨이' 분자들을 예측하는 것이 여전히 어렵다는 것을 깨달았습니다."

기술 요약

논문 요약: Tox21 분석을 통한 핵 수용체 활성 예측을 위한 인공지능 모델 벤치마킹

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 핵 수용체 (Nuclear Receptors, NRs) 는 호르몬, 스테로이드, 비타민과 상호작용하여 발달, 생식, 대사 등을 조절하는 전사 인자입니다. 환경 내분비 교란 물질 (EDCs) 은 주로 이들을 표적으로 하여 독성을 유발하므로, 새로운 화학물질의 위험성을 평가하기 위해 핵 수용체 활성 예측이 필수적입니다.
• 문제점:
  • 기존 연구들은 주로 Tox21 데이터 챌린지 (Tox21 Data Challenge) 데이터를 사용했으나, 이는 수용체 수가 제한적이고 작용제 (agonist) 와 길항제 (antagonist) 활동을 구분하지 않아 메커니즘 기반 모델 개발에 한계가 있었습니다.
  • 대부분의 기존 연구는 특정 모델 아키텍처와 화학적 표현 (feature representation) 에만 집중하여, 다양한 데이터 특성 (예: 클래스 불균형) 하에서 다양한 AI 모델의 상대적 강점과 약점을 종합적으로 비교한 연구가 부족했습니다.
  • 최근 등장한 트랜스포머 (Transformer) 기반 화학 언어 모델의 성능이 기존 머신러닝 (ML) 및 딥러닝 (DL) 모델 대비 핵 수용체 예측에서 어떻게 작용하는지 체계적으로 평가되지 않았습니다.

2. 방법론 (Methodology)

이 연구는 ToxCast invitrodb v4.3 데이터베이스를 기반으로 한 포괄적인 벤치마킹 프레임워크를 구축했습니다.

• 데이터 수집 및 전처리:
  • 18 가지 핵 수용체 (THRA, THRB, AHR, PXR 등) 와 관련된 30 개의 Tox21 어레이 (assay) 를 식별하고, 아고니스트/안타고니스트 데이터를 결합하여 총 43 개의 데이터셋을 구성했습니다.
  • 총 8,430 개의 화합물을 필터링 (염 제거, 유효성 확인, 중복 제거) 하고, 2D/3D 구조를 생성하여 화학적 특징을 추출했습니다.
  • 특징 표현 (Feature Representation): 분자 기술자 (Descriptors, PaDEL/RDKit), 지문 (Fingerprints, MACCS, ECFP4, FCFP4, Layered), 그리고 SMILES 문자열을 활용했습니다.
• 모델 아키텍처:
  • 전통적 머신러닝 (ML): 로지스틱 회귀, 결정 트리, 랜덤 포레스트 (RF), 그래디언트 부스팅 (GBT), XGBoost, SVM, MLP 등 7 가지 알고리즘.
  • 딥러닝 (DL): 이중 그래프 신경망 대비 학습 (DGCL, Dual-graph Neural Networks Contrastive Learning).
  • 트랜스포머 기반 모델: ChemBERTa, MoLFORMER, MolRAG (Retrieval-Augmented Generation 활용).
• 학습 및 평가 전략:
  • 불균형 데이터 처리: 활성 화합물 비율이 낮은 (0.3% ~ 28.3%) 데이터셋의 특성을 고려하여 SMOTE(과소표본 오버샘플링) 를 적용하고, 정확도 대신 F1 점수를 주요 평가 지표로 선정했습니다.
  • 적용 영역 (Applicability Domain, AD) 분석: k-NN 기반 DA 지수를 사용하여 모델의 예측 신뢰도를 평가하고, 훈련 데이터와 거리가 먼 화합물의 예측을 필터링했습니다.
  • 외부 검증: NTP ICE 데이터베이스의 체외 (in vitro) 및 체내 (in vivo) 안드로겐 수용체 (AR) 및 에스트로겐 수용체 (ERα, ERβ) 데이터를 사용하여 모델의 일반화 능력을 검증했습니다.

3. 주요 기여 (Key Contributions)

• 포괄적인 벤치마킹: 18 가지 핵 수용체에 대한 43 개의 데이터셋에서 ML, DL, 트랜스포머 모델 및 다양한 특징 조합을 체계적으로 비교한 최초의 연구 중 하나입니다.
• 클래스 불균형에 따른 성능 패턴 규명: 데이터 내 활성 화합물의 비율 (Active Ratio) 에 따라 최적의 모델 유형이 달라진다는 사실을 발견했습니다.
• 화학적 공간 (Chemical Space) 분석: 오분류된 활성 화합물의 구조적 위치를 화학적 유사성 네트워크 (CSN) 상에서 분석하여, 구조적으로 고립된 (isolated) 화합물이 모델 성능 저하의 주요 원인임을 규명했습니다.
• 최신 데이터 활용: 구식 데이터 챌린지 데이터가 아닌, 최신 버전인 ToxCast invitrodb v4.3 을 사용하여 더 정확하고 포괄적인 결과를 도출했습니다.

4. 주요 결과 (Results)

• 모델 성능과 클래스 불균형의 상관관계:
  • 활성 비율 > 10%: 트리 기반 ML 모델 (RF, XGBoost) 이 기술자 (Descriptors) 또는 기술자 + 지문 조합을 사용할 때 가장 높은 F1 점수를 기록했습니다.
  • 활성 비율 5% ~ 10%: 딥러닝 모델 (특히 DGCL) 이 상대적으로 더 강건한 (robust) 성능을 보였습니다.
  • 활성 비율 < 5%: 모델 간 성능 차이가 뚜렷하지 않았으며, 데이터셋 고유의 특성에 크게 의존했습니다.
• 트랜스포머 모델의 성능: MoLFORMER 가 ChemBERTa 및 MolRAG 보다 전반적으로 우수한 성능을 보였으나, 기술자 기반의 전통적 ML/DL 모델을 완전히 대체하지는 못했습니다. MolRAG 는 구조적으로 고립된 화합물에 대한 검색 기반 추론의 한계로 인해 성능이 낮았습니다.
• 오분류 원인 분석: 오분류된 활성 화합물의 약 40% 가 화학적 유사성 네트워크 (CSN) 상에서 고립된 노드 (Isolated Nodes) 로 존재했습니다. 이는 훈련 데이터에 유사한 구조의 화합물이 없어 모델이 학습하지 못했기 때문으로 해석됩니다.
• 외부 검증 결과:
  • AR 아고니스트 및 ERα 아고니스트 (체외/체내) 에서는 높은 일관성 (F1 점수 0.73~0.74) 을 보였습니다.
  • AR 길항제 (체내) 및 ERβ 아고니스트 (체내) 에서는 성능이 저하되었는데, 이는 체내 대사 과정 등 체외 데이터로 포착되지 않는 복잡한 생물학적 메커니즘 때문입니다.
• 기존 연구와의 비교: 본 연구에서 도출된 모델들은 기존 문헌에 보고된 모델들과 비교했을 때 동등하거나 더 나은 성능을 보였으며, 특히 더 넓은 범위의 아키텍처와 어레이 엔드포인트를 평가했다는 점에서 의미가 있습니다.

5. 의의 및 결론 (Significance)

• 새로운 접근 방법론 (NAMs) 발전: 이 연구는 핵 수용체 활성 예측을 위한 신뢰할 수 있는 in silico 도구 개발을 위한 지침을 제공합니다. 특히 클래스 불균형 정도에 따라 적합한 모델 (ML vs DL) 을 선택하는 전략을 제시합니다.
• 구조적 다양성의 중요성: 단순히 데이터 양이나 불균형 비율뿐만 아니라, 활성 화합물이 화학적 공간에서 얼마나 고립되어 있는지가 모델의 일반화 능력에 결정적인 영향을 미친다는 점을 강조했습니다.
• 실용적 적용: 기술자 (Descriptors) 기반의 ML 모델이 여전히 높은 성능을 보이지만, 트랜스포머 모델의 잠재력과 한계를 명확히 함으로써 향후 모델 개발 방향성을 제시했습니다.
• 환경 독성학 기여: 환경 내분비 교란 물질 (EDCs) 의 스크리닝 및 위험 평가에 활용될 수 있는 견고한 예측 모델을 제공함으로써, 동물 실험을 대체하는 새로운 방법론의 발전에 기여합니다.

이 논문은 다양한 AI 모델과 화학적 표현 방식을 체계적으로 비교 분석함으로써, 핵 수용체 기반 독성 예측 모델의 최적화 전략을 제시하고, 향후 in silico 독성학 연구의 방향성을 설정했다는 점에서 중요한 의의를 가집니다.