SciCore-Mol: Augmenting Large Language Models with Pluggable Molecular Cognition Modules

기술 요약: SciCore-Mol

문제 제기
대규모 언어 모델 (LLM) 은 뛰어난 추론 능력을 입증해 왔으나, 화학과 같은 과학 분야에 적용될 때는 근본적인 불일치를 겪습니다. 분자 구조나 반응 조건과 같은 과학 데이터는 본질적으로 위상적, 기하학적, 연속적입니다. 반면, LLM 은 이산적인 기호 시퀀스를 위해 설계되었습니다. 현재의 접근법은 분자 그래프를 텍스트 문자열 (예: SMILES 또는 SELFIES) 로 선형화하여 이러한 간극을 메우려 시도합니다. 그러나 이러한 선형화는 화학적 추론의 핵심인 위상적 및 기하학적 불변성을 명시적으로 드러내지 못해 정보 손실, 의미적 노이즈, 그리고 구조 민감성 작업에서의 신뢰성 없는 예측으로 이어집니다. 더 나아가, 기존 도구 증강 시스템은 종종 과학적 모듈을 외부의 블랙박스로 취급하여, 중간 데이터가 LLM 에 의해 처리되기 전에 다시 텍스트로 압축되어야 합니다. 이러한 "텍스트 수준 인터페이스"는 추론 병목 현상을 초래하고 LLM 이 밀집된 연속적인 분자 정보에 접근하는 것을 방해합니다.

방법론: SciCore-Mol 프레임워크
저자들은 LLM 백본을 세 개의 깊이 통합되고 플러그 가능한 인지 모듈로 증강하는 SciCore-Mol을 제안합니다. 텍스트 기반 피드백에만 의존하는 이전 접근법과 달리, SciCore-Mol 은 이러한 모듈을 숨겨진 상태 (hidden-state) 수준에서 학습된 표현 인터페이스를 통해 LLM 에 결합합니다.

1. 위상적 지각 모듈: 기하학적 벡터 퍼셉트론 (GVP) 네트워크를 기반으로 구축된 이 모듈은 RDKit 을 통해 생성된 3D 분자 기하학을 SE(3)-공변 표현으로 인코딩합니다. 메시지 패싱을 통해 스칼라 원자 수준 속성과 3D 좌표 벡터를 통합합니다. 결과적으로 생성된 기하학적 임베딩은 LLM 의 숨겨진 공간으로 투영되어 "가상 구조 토큰"으로 주입되며, 이를 통해 LLM 은 텍스트 토큰과 함께 3D 구조 정보에 주의를 기울일 수 있습니다.
2. 분자 생성 모듈: 자기회귀적 SMILES 생성의 낮은 유효성 문제를 해결하기 위해, 이 모듈은 잠재 확산 변환기 (DiT) 를 사용합니다. 이는 LLM 의 숨겨진 상태에 조건부로 작동하는 연속적인 분자 잠재 공간에서 작동합니다. 사전 훈련된 SMILES 오토인코더가 분자를 잠재 벡터로 매핑하고, 확산 과정은 이러한 벡터를 반복적으로 노이즈 제거하여 구조적으로 일관된 분자를 생성한 후, 이를 다시 SMILES 로 디코딩합니다.
3. 반응 감지 모듈: 수치에 민감한 변환기를 기반으로 구축된 이 모듈은 분자 간 추론을 처리합니다. GVP 에서 파생된 기하학적 임베딩, 화학량론적 양 (몰, 질량), 그리고 기능적 역할 (반응물, 촉매 등) 을 결합하는 다중 채널 복합 인코딩을 사용하여 반응 데이터를 계층적으로 처리합니다. 이를 통해 반응 생성물, 수율, 그리고 누락된 반응물의 공동 예측이 가능합니다.

훈련 전략
이 시스템은 이질적인 모듈을 LLM 백본과 정렬하기 위해 점진적 훈련 전략을 활용합니다:

• 1 단계 (구성 요소 사전 훈련): 모듈은 독립적으로 사전 훈련됩니다. LLM 백본은 고정된 베이스 모델에 대한 KL-발산 정규화와 함께 화학이 강화된 코퍼스 (~4 억 토큰) 에서 지속적 사전 훈련을 거치며, 이는 치명적인 망각을 방지합니다.
• 2 단계 (교차 모달 정렬): LLM 백본은 고정된 채로 GVP 인코더와 어댑터가 대비적 목적 함수를 사용하여 기하학적 표현을 자연어 설명과 정렬하도록 훈련됩니다.
• 3 단계 (공동 다중 작업 훈련): 전체 시스템은 합성, 속성 예측, 생성 등 다양한 작업을 다루는 30 만 개의 지시 - 응답 코퍼스에서 공동 최적화됩니다.
• 4 단계 (작업별 미세 조정): 선택적 모듈 고정 또는 고정 해제를 통해 특정 하위 작업에 대한 전문화를 가능하게 하는 선택적 미세 조정이 가능합니다.

주요 기여

• 아키텍처 혁신: 위상 인식 지각, 잠재 확산 생성, 반응 인식 추론을 LLM 의 숨겨진 상태에 직접 통합하는 통합 시스템으로, 텍스트 기반 도구 인터페이스의 정보 병목 현상을 제거합니다.
• 모듈성: "플러그 가능한" 설계는 전체 시스템을 재훈련하지 않고도 모듈을 독립적으로 활성화, 비활성화, 또는 업그레이드 (예: GVP 인코더를 더 강력한 3D 아키텍처로 교체) 할 수 있게 합니다.
• 성능: 저자들은 80 억 파라미터 규모의 SciCore-Mol 시스템이 훨씬 더 큰 독점 모델 (예: GPT-4o, GPT-5) 및 기타 오픈 소스 화학 모델과 비교하여 경쟁력 있으며, 일부 차원에서는 더 우수한 성능을 달성함을 입증했습니다.

실험 결과
SMolInstruct, MMLU-Chemistry, ChemBench4K, ORD, MoleculeNet 등의 벤치마크를 사용하여 지식 코어, Mol-텍스트 번역, 분자 생성, 정량적 예측, 합성 추론이라는 다섯 가지 능력 차원에서 평가되었습니다:

• 균형 잡힌 성능: SciCore-Mol 은 유사 규모의 모델 중 가장 균형 잡힌 능력 프로파일을 보여주며, 분자 생성, 정량적 예측, 합성 추론에서 베이스라인을 능가하면서도 강력한 일반 지식을 유지합니다.
• 구조 민감성 작업: 제거 실험 (Ablation studies) 은 GVP 인코더가 3D 정보가 필요한 작업 (예: Tox21, HIV 분류, QM9 회귀) 에서 성능을 크게 향상시킨다는 것을 확인시켜 주며, 텍스트 기반 모델은 이러한 작업에서 어려움을 겪습니다.
• 반응 추론: 반응 감지 모듈을 제거하면 생성물 및 수율 예측의 유효성이 심각하게 저하되어, 반응 수준 추론을 위한 구조화된 모델링의 필요성이 확인됩니다.
• 일반화: 사전 훈련 후 공개된 DrugR 벤치마크에서 모델은 강력한 분포 외 (out-of-distribution) 일반화를 보여주며, 이는 단순 암기가 아닌 전이 가능한 구조적 사전 지식을 학습했음을 시사합니다.

의의 및 주장
이 논문은 SciCore-Mol 이 분리되고 플러그 가능하며 유연하게 조율된 모듈을 통해 LLM 에 과학적 전문성을 부여하는 체계적인 청사진을 제공한다고 주장합니다. 저자들은 전문화된 모듈의 심층적이고 임베딩 수준의 통합이 텍스트 기반 분자 표현이나 느슨한 도구 증강 추론에만 의존하는 것보다 더 효과적이라고 논합니다. 이 프레임워크는 이질적인 데이터 통합이 필요한 과학적 기초 모델에 대한 일반적인 템플릿으로 제시되며, 신약 설계, 화학 합성, 그리고 더 넓은 과학적 발견에 직접적인 함의를 가집니다. 이 연구는 현재 시스템이 소분자를 위해 설계되었지만, 모듈식 아키텍처가 향후 반복에서 단백질 및 고분자와 같은 더 큰 개체를 지원할 수 있는 길을 제시한다고 강조합니다.