Do Larger Models Really Win in Drug Discovery?A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

본 벤치마크 연구는 약물 발견 분야에서 더 큰 AI 모델이 항상 더 작은 모델보다 우수하다는 가정에 도전하여, 다양한 분자 특성 및 활성 작업에서 대형 파운데이션 모델에 비해 컴팩트하고 전문화된 모델이 종종 더 뛰어나거나 동등한 예측 정확도를 달성함을 보여줍니다.

핵심

새로운 화학 성분이 조리법에서 어떻게 작용할지 예측하려고 한다고 상상해 보세요. 오랫동안 AI 업계의 큰 아이디어는 "크면 클수록 좋다"는 것이었습니다. 모든 것을 학습한 거대하고 전지전능한 AI 뇌 (Large Model) 를 구축하면, 오직 한 가지 특정 작업만을 위해 만들어진 작고 전문화된 도구보다 자동으로 더 똑똑하고 정확할 것이라는 가정이었습니다.

이 논문은 그 가정을 신약 개발 분야에서 시험해 보기로 결정했습니다. 그들은 단순히 추측한 것이 아니라, 분자가 신체와 어떻게 상호작용하는지, 독성이 있는지, 아니면 결핵과 말라리아와 같은 질병을 퇴치할 수 있는지 예측하는 등 167,056 개의 다양한 도전 과제를 포함한 거대한 경주를 진행했습니다.

다음은 그들이 발견한 바를 몇 가지 간단한 비유를 통해 설명한 것입니다:

경주: 거인 대 전문가들

경주 참가자들을 세 가지 유형의 주자로 생각해 보세요:

1. "전통적인" 주자들: 이들은 전문 기계공과 같습니다. 작고 빠르며, 특정 문제를 해결하기 위해 렌치나 드라이버와 같은 간단하고 검증된 도구 (전통적인 기계 학습 모델이 사용하는 표준 화학 지문) 를 사용합니다.
2. "그래프" 주자들: 이들은 건물의 부품들이 어떻게 연결되는지 살펴보는 건축가와 같습니다. 분자의 모양과 구조를 살펴보기 때문에 조금 더 복잡합니다.
3. "거인" 주자들: 이들은 슈퍼히어로 (대형 언어 모델) 입니다. 거의 도서관의 모든 책을 읽었습니다. 그들은 거대하고 강력하며 거의 모든 것에 대해 이야기할 수 있습니다. 그들의 거대한 크기가 화학적 행동을 예측하는 데 가장 뛰어나게 만들 것이라는 기대가 있었습니다.

결과: 작은 주자들이 더 자주 이겼습니다

경주가 시작되자 "거인" 주자들은 압도적인 승리를 거두지 못했습니다. 사실, 결과는 매우 놀라웠습니다:

• 전문 기계공들이 22 개 경기 중 10 개를 이겼습니다. 그들은 결과를 예측하는 데 가장 정확했습니다.
• 건축가들이 9 개 경기를 이겼습니다. 그들은 매우 근소한 차이로 뒤졌습니다.
• 슈퍼히어로 거인들은 3 개 경기만 이겼습니다. 거대한 크기와 방대한 학습 데이터에도 불구하고, 그들은 작고 집중된 모델들을 자동으로 이기지 못했습니다.

"매직 8 볼" 기준선

연구자들은 또한 "규칙 기반" 접근 방식을 테스트했는데, 이는 매우 똑똑하지만 경직된 규칙서 (또는 특정 AI 프롬프트) 에게 이전에 본 패턴을 바탕으로 추측하라고 요청하는 것과 같습니다. 이들은 주요 경주에서 이기지는 못했지만, 예측이 왜 이루어졌는지 설명하는 데는 도움이 되었습니다. 마치 경기 후 분석을 제공하는 코치와 같은 역할이었습니다.

큰 교훈

이 논문에서 얻은 주요 교훈은 크기가 전부가 아니다는 것입니다.

• 보편적인 승자는 없다: 모델이 거대하고 범용적이라고 해서 모든 특정 작업에서 더 나은 것은 아닙니다.
• 매치에 달려 있다: 모델이 이기는지는 그 "뇌"가 특정 문제 유형, 사용 가능한 데이터의 양, 그리고 제기된 특정 생물학적 질문에 얼마나 잘 맞는지 여부에 달려 있습니다.
• 거인들이 빛나는 곳: 이 논문은 거대 모델이 정확한 수치를 예측하는 데는 최선이 아닐지라도, 제로샷 추론(학습 없이 본 적 없는 문제를 해결하는 것), 결과 해석, 그리고 **새로운 아이디어 **(가설)에는 여전히 가치가 있다고 제안합니다.

요약하자면: 약물 분자가 어떻게 작용할지 정확히 예측해야 한다면, 작고 전문화된 도구가 종종 거대하고 범용적인 AI 보다 더 잘 수행합니다. "크면 클수록 좋다"는 규칙은 여기에 적용되지 않습니다; 오히려 특정 작업에 맞는 올바른 도구를 갖는 것이 더 중요합니다.

기술 요약

"약물 발견에서 더 큰 모델이 정말로 승리하는가? AI 기반 분자 특성 및 활성 예측에서의 모델 확장성 벤치마크 평가"라는 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

현재 약물 발견 분야는 대규모 언어 모델 (LLM) 과 분자 기초 모델의 성공에 힘입어 '규모 중심' 패러다임이 지배하고 있습니다. 더 크고 범용적인 사전 훈련된 모델이 전통적인 소형 화학정보학 모델과 작업 특화형 그래프 신경망 (GNN) 을 예측 작업에서 필연적으로 대체할 것이라는 보편적인 가정이 존재합니다.

그러나 이 가정은 다양한 분자 엔드포인트에 걸쳐 엄격한 실증적 검증을 받지 못했습니다. 본 연구가 다루는 핵심 문제는 모델의 크기와 일반화 능력이 실제로 특정 약물 발견 맥락 (ADMET, 독성, 항감염 활성) 에서 우수한 예측 성능으로 이어지는지, 아니면 전문화된 소형 모델이 여전히 더 효과적인지 여부입니다.

2. 방법론

저자들은 데이터 누출을 배제하고 서로 다른 모델 아키텍처 간 공정한 비교를 보장하도록 설계된 포괄적인 벤치마크 평가를 수행했습니다.

• 데이터셋 및 범위:
  • 엔드포인트: 22 개의 서로 다른 분자 특성 및 활성 엔드포인트.
  • 출처: 공개 벤치마크 (ADMET, Tox21) 와 두 가지 내부 항감염 활성 데이터셋 (결핵 및 말라리아).
  • 평가 규모: 총 167,056 개의 홀드아웃 작업 - 분자 평가.
• 검증 프로토콜:
  • 구조 유사성 분리 5 교차 검증: 이는 방법론적으로 중요한 선택입니다. 무작위 분할과 달리, 이 접근법은 테스트 세트의 분자가 훈련 세트의 분자와 구조적으로 상이하도록 보장하여, 모델이 유사한 구조를 단순히 암기하는 것이 아니라 새로운 화학 공간으로 일반화할 수 있는 능력을 엄격하게 테스트합니다.
• 평가된 모델:
  • 전통적 머신러닝 (ML): ECFP4 지문 기반의 랜덤 포레스트 (RF) 와 RDKit 기술자 기반의 엑스트라 트리 (ExtraTrees).
  • 그래프 신경망 (GNN): GIN(그래프 동형 네트워크) 과 Ligandformer.
  • 사전 훈련된 분자 시퀀스 모델: MoLFormer 와 ChemBERTa2(대규모 모델 범주 대표).
  • 규칙 기반 SAR 추론 베이스라인: GPT5.5-SAR 와 Opus4.7-SAR(LLM 기반 추론 대표).
• 지표: 각 엔드포인트에 특화된 주요 지표를 사용하여 예측 정확도와 일반화에 중점을 둔 성능을 측정했습니다.

3. 주요 기여

• 체계적 벤치마킹: 본 연구는 다양한 화학 공간에 걸쳐 16 만 건 이상의 평가를 포함하는 약물 발견 분야에서 모델 확장성에 대한 가장 엄격하고 포괄적인 비교 분석 중 하나를 제공합니다.
• '규모 가설'에 대한 도전: 업계의 '크기가 더 좋다'는 트렌드를 경험적으로 검증하여, 모델 크기와 사전 훈련의 영향을 전문 아키텍처와 분리하여 구체적으로 규명했습니다.
• 사용 사례 구분: 본 논문은 예측 성능(정량적 정확도) 과 해석/추론 능력(정성적 통찰력) 을 구분하여 대규모 모델이 실제로 가치를 더하는 영역에 대한 세밀한 관점을 제시합니다.

4. 주요 결과

결과들은 더 큰 모델이 보편적으로 우세하다는 관념에 도전합니다:

• 승리 분포:
  • 전통적 ML(RF, ExtraTrees): 주요 지표 작업 중 10 개를 승리했습니다.
  • GNN(GIN, Ligandformer): 9 개의 작업을 승리했습니다.
  • 사전 훈련된 시퀀스 모델 (MoLFormer, ChemBERTa2): 단 3 개의 작업만 승리했습니다.
  • 규칙 기반 SAR(GPT5.5, Opus4.7): 사전 지정된 주요 지표 하에서는 어떤 작업도 승리하지 못했습니다.
• 성능 특성:
  • 전통적 ML, GNN, 사전 훈련된 시퀀스 모델 간의 성능 차이는 종종 미미했으며, 엔드포인트에 크게 의존했습니다.
  • 더 크거나 더 일반적인 모델은 보편적인 예측 우위를 제공하지 않았습니다.
  • SAR 추론: 규칙 기반 SAR 베이스라인이 주요 예측 지표에서는 승리하지 못했지만, 훈련 폴드에서 도출된 SAR 지식을 통합하면 추론 및 해석 작업에서 측정 가능하지만 편차가 있는 개선을 제공했습니다.

5. 중요성 및 함의

• 모델 선택 재평가: 분자 특성 및 활성 예측이라는 특정 작업에 대해 소형 전문 모델이 여전히 매우 효과적임을 시사합니다. 약물 발견 실무자는 특정 데이터 체제와 엔드포인트 생물학을 고려하지 않고 거대 기초 모델을 자동으로 기본값으로 선택해서는 안 됩니다.
• 맥락 의존적 성능: 예측 성공은 모델 크기만의 함수가 아닙니다. 다음 요소 간의 정렬에 달려 있습니다:
  • 분자 표현 (예: 지문 vs 그래프 vs 시퀀스).
  • 모델의 귀납적 편향.
  • 데이터 체제 (크기와 다양성).
  • 엔드포인트의 특정 생물학.
  • 검증 프로토콜 (예: 구조 분리 분할).
• 대규모 모델의 역할: 대규모 모델이 현재 원시 예측 정확도에서 전문 모델을 능가하지는 않지만, 제로샷 추론, 구조 - 활성 관계 (SAR) 해석, 그리고 가설 생성에서 잠재적 가치를 유지합니다.
• 미래 방향: 본 논문은 모델 파라미터 수에만 의존하는 '규모 중심' 관점에서, 약물 발견 작업의 특정 제약과 목표에 따라 모델 아키텍처를 선택하는 '목적에 부합하는' 접근법으로의 전환을 옹호합니다.