기술 요약: Speak-to-Structure (S2-Bench)

문제 제기

현재의 대규모 언어 모델 (LLM) 은 자연어 기반 분자 발견에서 가능성을 보여주고 있으나, 기존 평가 벤치마크는 텍스트 설명과 단일 사전 정의된 목표 분자 간의 1 대 1 매핑에 의존한다는 치명적인 한계를 안고 있습니다 (예: ChEBI-20, PubChem324K). 이 패러다임은 모든 프롬프트에 대해 유일한 해답이 존재한다고 가정하는데, 이는 동일한 생물학적 또는 물리적 특성을 만족할 수 있는 여러 개의 서로 다른 분자가 존재하는 분자 발견의 현실과 부합하지 않습니다. 결과적으로 현재 벤치마크는 모델이 특정 패턴을 암기하고 회상하는 능력을 주로 테스트할 뿐, 창의적이고 개방적인 분자 설계 및 진정한 구조적 추론 능력은 평가하지 못합니다. 텍스트에서 분자로 생성되는 '1 대 다' 관계에 대한 표준화된 평가가 부재합니다.

방법론

1. Speak-to-Structure (S2-Bench)

저자들은 개방형 도메인 자연어 기반 분자 생성을 평가하기 위해 고안된 첫 번째 벤치마크인 S2-Bench 를 제안합니다. 이전 데이터셋과 달리 S2-Bench 는 단일 지시문이 여러 개의 유효한 분자 구조로 충족될 수 있는 1 대 다 패러다임을 채택합니다. 이 벤치마크는 약물 발견 과정의 서로 다른 단계를 대상으로 하는 세 가지 주요 작업으로 구성됩니다:

• 분자 편집 (MolEdit): 핵심 골격을 유지하면서 기능기를 추가, 삭제 또는 치환하는 정밀한 국소적 구조 수정 능력을 테스트합니다. 이는 리드 최적화를 모방합니다.
• 분자 최적화 (MolOpt): 모델이 불필요하게 핵심 구조를 변경하지 않고 특정 특성 (LogP, MR, QED) 을 최적화하기 위해 리드 화합물을 수정해야 하는 목표 지향적 화학적 추론을 평가합니다.
• 맞춤형 분자 생성 (MolCustom): 원자 수, 결합 유형 또는 기능기에 관한 자연어 제약 조건을 기반으로 제로에서 새로운 분자를 합성하도록 모델을 도전시킵니다. 이는 초기 설계 단계를 모방합니다.

평가 지표:
'1 대 다' 특성을 해결하기 위해 저자들은 정확한 문자열 매칭을 넘어섭니다. 그들은 화학정보학 툴킷 (RDKit) 을 사용하여 자동화된 평가 시스템을 도입하여 다음을 계산합니다:

• 유효성 (Validity): 생성된 SMILES 문자열이 화학적으로 유효한지 여부.
• 성공률 (SR, Success Rate): 분자가 특정 제약 조건 (예: 올바른 특성 방향 또는 기능기) 을 충족하는지 여부.
• 유사도 (MolEdit/MolOpt 용): Morgan Fingerprints 를 사용한 Tanimoto 유사도로, 출력이 임의의 유효한 분자가 아닌 입력에 대한 합리적인 수정인지 확인합니다.
• 신규성 (MolCustom 용): 생성된 분자가 참조 데이터베이스 (Zinc-250K) 와 얼마나 구별되는지 측정합니다.
• 가중 성공률 (WSR, Weighted Success Rate): 성공률에 유사도 (편집/최적화용) 또는 신규성 (맞춤형용) 을 결합한 종합 지표로, 전체적인 성능 점수를 제공합니다.

2. OpenMolIns 데이터셋

이러한 개방형 작업을 위한 훈련을 촉진하기 위해 저자들은 PubChem 데이터베이스에서 프로그래밍 방식으로 구축된 대규모 지시 튜닝 데이터셋인 OpenMolIns를 소개합니다.

• 규모: 최대 120 만 개의 지시 - 분자 쌍을 포함합니다.
• 구성: 자동화된 화학 툴킷을 사용하여 다양한 프롬프트와 해당 유효 분자를 생성하여 1 대 다 관계를 보장합니다.
• 구조: 세 가지 S2-Bench 작업을 반영하며 데이터 확장 법칙을 연구하기 위해 다섯 가지 데이터 규모 (light 에서 xlarge 까지) 를 포함합니다.
• 무결성: 데이터 유출을 방지하기 위해 S2-Bench 테스트 세트 (Zinc-250K) 와 중첩이 전혀 없도록 설계되었습니다.

3. 실험 설정

저자들은 31 개의 LLM을 벤치마크하여 다음 범주로 분류했습니다:

• 독점 모델 (예: GPT-4o, Claude-3.5).
• 오픈소스 일반 LLM (예: Llama3, Mistral, Qwen).
• 도메인 특화 LLM (예: ChemLLM, BioT5).
• OpenMolIns 로 파인튜닝된 모델.

평가는 자동화된 파이프라인을 통해 수행되었으며, 자동화된 지표와 인간의 판단을 상관시키기 위해 결과의 일부는 인간 전문가에 의해 검증되었습니다.

주요 결과

1. 구조적 제약에서의 성능 격차: 최상위 독점 모델 (예: Claude-3.5, Gemini-1.5-Pro) 도 평균 가중 성공률 (~35%) 에서 중간 수준의 성과를 거두었지만, MolCustom 작업에서는 크게 어려움을 겪었으며 개별 하위 작업에서 25% 미만의 가중 성공률에 그쳤습니다. 이는 일반적인 추론 능력에도 불구하고 정밀한 구조적 제약 (정확한 원자/결합 수) 을 충족시키는 데 어려움이 있음을 시사합니다.
2. 지시 튜닝의 우위: 사전 훈련된 화학 LLM (예: BioT5-base) 은 일반 LLM 에 비해 낮은 성능 (4.21% WSR) 을 보였으나, OpenMolIns 에 대한 지시 튜닝은 극적인 개선을 가져왔습니다.
   • 가장 큰 OpenMolIns 규모 (xlarge) 로 파인튜닝된 Llama3.1-8B-Instruct는 **39.33%**의 WSR 을 달성하여 더 큰 독점 모델을 포함한 모든 다른 모델을 능가했습니다.
   • 놀랍게도 작은 Galactica-125M 모델은 OpenMolIns 로 파인튜닝되었을 때 **25.73%**의 WSR 을 달성하여 두 배 크기 (예: Llama3-70B) 보다 큰 모델을 능가했습니다.
3. 1 대 1 벤치마크의 한계: 전통적인 1 대 1 데이터셋 (ChEBI-20) 으로 파인튜닝된 모델은 S2-Bench 에서 일반 LLM 보다 더 낮은 성능을 보였습니다. 이러한 모델은 제약 조건을 충족시키기 위해 화학적으로 유효하지만 구조적으로 관련 없는 분자를 생성하는 경향이 있어, 구조적 추론보다는 패턴 회상에 의존함을 드러냈습니다.
4. 데이터 확장 법칙: 데이터 양과 성능 간의 관계는 작업에 따라 다릅니다.
   • MolCustom(de novo 합성) 은 'large'에서 'xlarge' 데이터로 확장할 때 상당한 증가 (286%) 를 보였습니다.
   • MolEdit와 MolOpt는 작은 모델의 경우 데이터 증가에 따라 체감하거나 부정적인 수익을 보였는데, 이는 이러한 작업이 데이터 양보다 모델 용량에 더 제약을 받음을 시사합니다.
5. WSR 검증: 인간 전문가 평가는 **가중 성공률 (WSR)**이 원시 성공률 (SR) 보다 전문가 판단과 훨씬 더 높은 상관관계 (Spearman $\rho \approx 0.90$) 를 가지며, 구조적으로 관련 없는 출력을 패널티로 부과하는 필요성을 검증했습니다.

중요성과 주장

이 논문은 패턴 회상에서 현실적인 분자 설계로 초점을 이동시킴으로써 분자 발견 분야에서 LLM 을 평가하는 새로운 패러다임을 확립했다고 주장합니다.

• 격차 해소: S2-Bench 는 현재 평가 지표와 현실 세계 분자 발견의 개방형 특성 간의 불일치를 해결합니다.
• 잠재력 입증: 결과는 대규모 다양성 데이터에 대한 적절한 지시 튜닝을 통해 작은 LLM 이 개방형 도메인 분자 생성에서 최첨단 성능을 달성할 수 있음을 보여주며, 거대 모델이나 특수 아키텍처만이 실행 가능하다는 관념에 도전합니다.
• 진단 도구: 이 벤치마크는 이산적이고 전역적으로 결합된 구조적 제약과 관련된 현재 LLM 의 체계적 약점을 드러내는 진단 도구로서, 강화 학습 및 지시 튜닝에 대한 향후 연구를 안내합니다.

저자들은 이 작업이 자연어 기반 분자 발견을 위한 더 유능하고 설명 가능하며 신뢰할 수 있는 LLM 개발을 위한 견고한 기반을 제공하며, 단순한 텍스트 - 구조 번역을 넘어 이 분야를 발전시킨다고 강조합니다.