🤖 machine learning

A Large Scale Investigation of Scaling Limits in Chemical Language Models

3만 개 이상의 실험을 대상으로 한 이 대규모 연구는 화학 언어 모델의 스케일링이 사전 학습 손실과 화학적 구문 이해도를 개선함에도 불구하고, 이러한 이득이 목표 지향적 분자 설계의 비례적인 개선으로 이어지지는 않는다는 점을 밝혀냈으며, 이는 최첨단 NovoMolGen 제품군의 도입에도 불구하고 표현 학습과 다운스트림 유용성 사이의 결정적인 단절을 강조한다.

원저자: Roshan Balaji, Kamran Chitsaz, Quentin Fournier, Nirav Pravinbhai Bhatt, Sarath Chandar

게시일 2026-10-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roshan Balaji, Kamran Chitsaz, Quentin Fournier, Nirav Pravinbhai Bhatt, Sarath Chandar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 과학의 광활한 풍경 속에서, 단순히 컴퓨터 모델을 더 크게 만들고 더 많은 데이터를 입력하기만 하면 모델이 필연적으로 더 똑똑해질 것이라는 믿음이 커지고 있습니다. '스케일링(scaling)'이라 알려진 이 개념은 기계가 방대한 인류의 저술로부터 학습함으로써 에세이를 쓰고, 텍els를 번역하며, 대화를 나눌 수 있게 함으로써 언어를 이해하는 방식에 혁신을 가져왔습니다. 과학자들은 최근 이와 동일한 논리를 화학에 적용하여 '화학 언어 모델'을 만들어냈습니다. 이는 컴퓨터가 문장을 읽는 법을 배우는 것과 마찬가지로, 분자를 나타내는 문자열을 읽고 쓰는 법을 학습하도록 훈련된 인공지능 시스템입니다. 이러한 화학 모델을 더 크게 만들고 더 많은 분자로 훈련시킨다면, 이들이 자연스럽게 새로운 약물을 설계하고 질병을 치료하거나 완화할 수 있는 새로운 화합물을 찾아낼 수 있을 것이라는 희망이 있었습니다.

그러나 최근의 대규모 조사 결과는 이러한 단순한 가정을 반박합니다. 연구진은 언어 학습을 지배하는 규칙이 화학적 설계라는 복잡한 세계에도 적용되는지 테스트하기 위해 실험을 진행했습니다. 그들은 매우 작은 모델부터 극도로 큰 모델까지 일련의 모델군을 구축하고, 수십억 개의 분자를 학습시켜 성능이 어떻게 변화하는지 관찰했습니다. IIT 마드라스와 밀라(Mila) - 퀘벡 AI 연구소를 포함한 기관들의 연구진이 수행한 이 연구는 놀라운 괴리를 드러냈습니다. 모델이 성장함에 따라 화학의 기초적인 문법을 이해하는 능력은 실제로 향상되었지만, 이러한 개선이 특정하고 유용한 약물을 설계하는 결과로 이어지지는 않았습니다. 사실, 연구진은 새로운 의약품을 찾는 까다로운 과업을 수행할 때 상대적으로 작은 모델이 거대한 모델만큼이나 잘 수행할 수 있다는 것을 발견했으며, 이는 단순히 컴퓨터를 크게 만드는 것이 신약 개발의 비밀을 푸는 열쇠가 아님을 시사합니다.

연구진은 3만 개 이상의 서로 다른 버전의 화학 모델을 훈련하는 것으로 시작했습니다. 그들은 모델의 크기를 50만 개에서 10억 개의 파라미터까지 다양하게 조절했고, 다양한 유형의 분자 데이터를 입력했으며, 화학 구조를 표현하는 다양한 방법들을 사용하여 테스트했습니다. 한 가지 핵심적인 발견은 모델이 커지고 더 많은 데이터를 접할수록 다음 화학 문자열을 예측하는 정확도가 높아졌다는 점입니다. 이는 아이가 언어를 배울 때 문장에서 다음 단어를 추측하는 능력이 점차 향ло지는 것과 유사합니다. 모델들은 화학적 구문론(syntax)의 규칙을 이해하는 데 탁월해졌으며, 어떤 원자 조합이 유효한 분자를 형성하고 어떤 조합이 그렇지 않은지를 알게 되었습니다. 이러한 화학적 구조에 대한 내부적 이해는 가장 큰 모델에서도 계속해서 개선되었으며, 이는 컴퓨터가 성공적으로 화학의 '어휘'와 '문법'을 암기하고 있음을 시사합니다.

하지만 연구진이 실제 약물 설계라는 목표로 모델을 테스트했을 때, 이야기는 극적으로 변했습니다. 연구진은 모델에게 특정 질병 표적에 결합하거나 바람직한 화학적 특성을 충족하는 새로운 분자를 생성하도록 요청했는데, 이는 복잡한 시행착오의 과정을 수반하는 작업입니다. 여기서 모델 크기에 따른 이점은 사라졌습니다. 목표 지향적인 분자를 설계하는 데 있어 모델의 성능은 모델 크기가 약 500만 개의 파라미터에 도달했을 때 정체되거나 평탄해졌습니다. 모델 크기를 200배 더 큰 10억 개의 파라미터로 늘려도, 그들이 설계할 수 있는 약물의 품질 면에서 거의 추가적인 개선이 나타나지 않았습니다. 500만 개의 파라미터를 가진 모델은 신약 후보 물질을 찾는 데 있어 10억 개의 파라미터를 가진 거대 모델만큼이나 잘 수행했습니다.

이 결과는 다음 문자의 예측에 초점을 맞춘 현재의 모델 훈련 방식이 컴퓨터에게 화학의 규칙은 가르칠 수 있지만, 그 분자들이 생물학적 시스템과 어떻게 상호작용하는지에 대한 더 깊은 의미까지는 가르치지 못한다는 것을 시사합니다. 모델들은 화학의 언어를 유창하게 말하는 법은 배웠지만, 그 언어를 사용하여 특정 문제를 해결하는 법은 배우지 못했습니다. 연구진은 큰 모델들이 유효한 분자를 생성할 수는 있었지만, 의학에 필요한 특정 고품질 분자를 찾는 데 있어서는 유의미하게 더 나아지지 않았음을 발견했습니다. 이 연구는 병목 현상이 모델의 크기나 데이터의 양이 아니라, 모델을 훈련하는 방식과 최적화하도록 요구되는 목표에 있음을 보여줍니다.

이 발견이 주는 시사점은 인공지능 과학의 미래에 있어 매우 중요합니다. 이는 신약 개발을 향한 길이 단순히 더 큰 컴퓨터 모델을 구축하는 것이 아니라, 우리가 이미 보유한 모델을 더 똑똑하게 훈련시키는 방법을 개발하는 데 있을 수 있음을 시사합니다. 연구진은 단순히 컴퓨터에게 다음 화학 기호를 예측하도록 가르치는 대신, 단백질과 어떻게 상호작용하는지 또는 인체 내에서 어떻게 행동하는지와 같은 분자의 기능적 특성을 이해하도록 가르쳐야 한다고 제안합니다. 표면적인 패턴보다는 이러한 더 깊은 화학적 의미에 집중함으로써, 과학자들은 차세대 생명을 구하는 의약품을 설계하기 위한 더 효율적이고 효과적인 도구를 만들 수 있을 것입니다. 이 연구는 화학이라는 복잡한 세계에서는 '큰 것이 항상 더 좋은 것은 아니며', 진정한 지능은 방대한 패턴의 기억 그 이상을 필요로 한다는 점을 상기시켜 줍니다.

기술 요약: 화학 언어 모델의 스케일링 한계에 관한 대규모 조사

문제 정의

화학 언어 모델(CLM)은 자연어 처리(NLP)의 스케일링 패러다임을 점점 더 많이 채택하고 있으며, 다음 토큰의 크로스 엔트로피를 최소화하는 것이 직접적으로 개선된 분자 설계로 이어진다는 암묵적인 가정하에 방대한 분자 코퍼스에서 자기회귀 트랜스포머를 사전 학습시킨다. 그러나 설계 선택, 훈련 역학, 그리고 다운스트림 목표 지향적 생성 품질 사이의 관계는 여전히 잘 이해되지 않고 있다. 최근 연구들이 CLM에서의 스케일링을 탐구해 왔으나, 이들은 사전 학습의 이득이 어떻게 실질적인 분자 최적화로 전환되는지를 설명하지 못하거나, 다운스트림 최적화 비용을 고려하지 못하는 경우가 많다. 본 논문은 지속적인 사전 학습 손실(pretraining loss) 및 내부 화학 표현의 개선이 반드시 그에 상응하는 목표 지향적 분자 설계 이득으로 이어지는지 조사한다.

방법론

저자들은 다음과 같은 광범위한 변수를 포함하여 30,000개 이상의 실험을 포함하는 계산 제어 스케일링 연구를 제시한다:

모델 규모: 0.5M에서 1B 파라미터에 이르는 모델들.
표현 및 토큰화: 세 가지 분자 문자열 표현(SMIS, SELFIES, SAFE)과 두 가지 토큰화 전략(원자 수준 및 바이트 페어 인코딩).
아키텍처: 디코더 전용(Qwen3 백본) 및 인코더-디코더(T5Gemma 백본) 모델.
데이터셋: 누출(leakage)이 통제된 네 가지 규모 및 다양성의 코퍼스: MOSES, ChEMBL, PubChem, ZINC-22. 데이터 누출을 방지하기 위해, 알려진 활성 물질 및 벤치마크 타겟과 높은 Tanimoto 유사성을 가진 분자들을 모든 훈련 코퍼스에서 제거하였다.
평가 지표:
- 사전 학습: 검증 세트의 음의 로그 가능도(negative log-likelihood)를 **분자당 비트(bits per molecule)**로 측정(시퀀스 길이 차이를 정규화하여 표현 간 비교 가능하도록 함).
- 스케일링 분석: 고정된 계산 예산( $C \approx 6ND$ ) 하에서 계산 최적 모델 크기( $N_{opt}$ )와 데이터 크기( $D_{opt}$ )를 결정하기 위한 IsoFLOP 프로파일링.
- 내부 표현: 36가지 분자 특성(물리화학적, PMO 목적 함수, 도킹 점수) 및 유효성(validity)에 대한 층별 선형 프로빙(layer-wise linear probing). 희소 오토인코더(Sparse Autoencoder, SAE) 분석을 통한 특징의 단일 의미성(monosemanticity) 및 특성 상관관계 측정.
- 다운스트림 성능: 실용적 분자 최적화(PMO) 벤치마크(22개 태스크, 10k 오라클 호출) 및 구조 기반 도킹(5개 타겟, 3k 호출)에서의 목표 지향적 생성 평가. 미세 조정(fine-tuning)은 고정된 오라클 예산 하에서 증강 힐 클라이밍(Augmented Hill-Climb) 강화 학습을 사용하는 REINVENT 프레임워크를 사용하여 수행되었다.

주요 기여

NovoMolGen 스위트: 처음부터 사전 학습된 42개의 CLM 제품군을 출시하여 화학 언어 모델링의 새로운 기준을 수립하였다.
화학을 위한 IsoFLOP 프로파일: 화학 언어 모델에 IsoFLOP 프로파일링을 최초로 적용하여, 화학 시퀀스 모델링에 대한 멱법칙(power-law) 스케일링 관계를 확립하였다.
사전 학습과 설계의 분리: 사전 학습 손실과 내부 화학 표현은 규모에 따라 개선되지만, 목표 지향적 분자 생성 성능은 조기에 포화된다는 것을 포괄적인 경험적 데모를 통해 입증하였다.
표현 및 코퍼스 분석: 분자 표현(SMILES vs. SELFIES vs. SAFE)과 코퍼스의 다양성이 토큰화나 아키텍처보다 손실에 더 큰 영향을 미친다는 체계적인 비교를 보여주었다.
해석 가능성 통찰: 화학적 구문(syntax)은 훈련 초기에 학습되는 반면, 의미적 특성(작용기, 도킹 점수)은 나중에 나타나며 규모와 함께 더 잘 드러난다는 것을 보여주었으나, 이것이 다운스트림 최적화 이득으로 선형적으로 연결되지는 않는다는 것을 입증하였다.

결과

1. 사전 학습 스케일링 법칙

화학 시퀀스 모델링은 자연어와 유사한 계산 최적 스케일링 트렌드를 따른다. 연구 결과, 최적 모델 크기는 $N_{opt} \propto C^{0.69}$ 로, 최적 데이터 크기는 $D_{opt} \propto C^{0.31}$ 로 스케일링됨을 발견하였다. 검증 세트 손실(분자당 비트)은 모든 모델 크기(0.5M ~ 1B)에 대해 증가하는 계산량에 따라 매끄럽게 감소한다.

2. 설계 선택의 영향

표현: SMILES는 모든 규모에서 가장 낮은 분자당 비트를 달로하며, SELFIES와 SAFE보다 우수한 성능을 보였다. SELFIES 토큰은 개별적으로 예측하기는 더 쉬웠으나, 분자를 인코딩하는 데 필요한 더 긴 시퀀스 길이로 인해 더 높은 분자당 손실이 발생했다.
코퍼스: 사전 학습 코퍼스가 손실에 가장 큰 영향을 미쳤다. MOSES(좁고 약물과 유사함)는 가장 낮은 손실을 기록한 반면, ZINC-22(넓고 주문 제작 가능함)는 가장 높은 손실을 기록했는데, 이는 다양한 화학 공간을 모델링하는 것의 어려움을 반영한다.
토큰화 및 아키텍처: 이러한 요소들은 표현 및 코퍼스에 비해 규모에 따라 손실에 미치는 영향이 미미했다.

3. 내부 표현

구문 vs. 의미: 선형 프로빙은 뚜렷한 학습 궤적을 보여주었다. 화학적 구문(유효성)은 조기에 포화된다(최종 이득의 90%에 0.1 tokens per parameter 도달). 반면, 의미적 특성(도킹 점수, PMO 목적 함수, 물리화학적 기술자)은 더 느리게 나타나며 규모와 훈련 토큰에 따라 계속 개선된다.
SAE 분석: 희소 오토인코더는 훈련이 진행됨에 따라 특징의 단일 의미성과 특성 간의 상관관계가 증가함을 보여주었으며, 이는 화학적 특징이 잠재 공간(latent space)에서 더 선형적으로 접근 가능해짐을 나타낸다.

4. 다운스트림 목표 지향적 생성

내부 표현과 사전 학습 손실의 지속적인 개선에도 불구하고, 목표 지향적 생성 성능은 약 5M 파라미터에서 포화된다.

PMO 벤치마크: 5M 파라미터의 NovoMolGen 모델은 REINVENT와 f-RAG보다 뛰어난 성능을 보였다. 1B 파라미터로 스케일링해도 이득은 미미했다 (총 PMO 점수가 16.45에서 16.68로 증가).
도킹: 마찬가지로, 새로운 히트(hits)에 대한 도킹 점수 역시 5M 파라미터를 넘어서면 정체되었다 (총 도킹 점수가 -65.8에서 -66.2 kcal/mol로 개선되는 데 그침).
비제약 생성: 스케일링은 무제약 샘플링에서의 일반화 능력을 개선하지 못했다. 프레셰 화학 네트워크 거리(FCD)는 낮은 손실과 일관되게 감소하지 않았으며, 샘플링된 분자들은 여전히 훈련 분포에 묶여 있었다.

의의 및 주장

본 논문은 현재의 자기 지도 학습 문자열 목적 함수 하에서 화학적 표현 학습과 다운스트림 분자 설계 사이의 근본적인 단절이 존재한다고 주장한다. 저자들은 다음과 같이 주장한다:

수익 체감: 현재의 사전 학습 목적 함수 하에서 단순히 파라미터 수를 늘리는 것은 실질적인 신약 개발 과제에 있어 수익 체감을 초래한다.
효율성: 컴팩트한 CLM(~5M 파라미터)은 생성 및 정책 업데이트의 계산 비용을 획기적으로 줄이면서도(1B 모델 대비 정책 업데이트당 약 200배 저렴) 경쟁력 있는 다운스트림 성능을 유지한다.
현재 벤치마크의 한계: 현재의 벤치마크와 사전 학습 목적 함수(화학적 유효성 및 구문에 집중됨)는 기능적 설계를 위해 필요한 화학의 복잡성을 포착하지 못한다. 거대 화학 라이브러리(PubChem, ZINC-22)의 지배적인 신호는 기능적 의미론보다는 구문을 가르친다.
미래 방향: 저자들은 단백질-리간드 상호작용 신호, 물리화학적 특성 또는 강화 학습을 훈련 초기 단계에 "적합도(fitness)" 신호로 포함하는 것과 같이, 화학적 의미론을 더 직접적으로 학습하는 사전 학습 패러다임의 개발을 촉구한다. 미래의 발전은 단순히 더 큰 모델이 아니라, 화학적 유효성을 넘어선 목적 함수를 필요로 한다고 제안한다.

저자들은 NLP에서 영감을 받은 스케일링 법칙이 사전 학습 손실과 내부 표현에는 적용될 수 있지만, 목표 지향적 분자 생성에는 적용되지 않는다고 결론지으며, 이는 분야의 초점이 모델 크기를 키우는 것에서 샘플 효율성과 학습 목적 함수를 개선하는 것으로 전환되어야 함을 시사한다.