Beyond Learning on Molecules by Weakly Supervising on Molecules

이 논문은 프로그래밍 방식으로 도출된 모티프와 자연어 기술어로부터 얻은 저렴하고 확장 가능한 약지도 학습을 활용하여, 작업 적응적이고 해석 가능한 화학적 표현을 생성함으로써 분자 특성 예측에서 최첨단 성능을 달성하는 모델인 ACE-Mol을 소개한다.

핵심

당신이 로봇에게 화학을 이해하는 법을 가르치려 한다고 상상해 보십시오. 현재 대부분의 로봇은 일반 백과사전처럼 학습됩니다. 즉, 수백만 개의 화학식을 읽고 패턴을 인식하는 법을 배우지만, 당신이 특정 문제를 해결하라고 구체적으로 요청하기 전까지는 왜 어떤 분자가 독성이 있는지 또는 용해도가 높은지에 대해 진정으로 이해하지 못합니다. 이는 마치 학생에게 방대한 도서관의 책들을 주고 나서 특정한 에세이를 써보라고 하는 것과 같습니다. 학생은 매번 적절한 사실을 찾기 위해 도서관 전체를 뒤져야 합니다.

이 논문은 다르게 학습하는 새로운 로봇인 ACE-Mol을 소개합니다. 이 로봇은 단순히 책을 읽는 대신, 간단하고 무료인 단서들을 이용해 "특성을 맞히는" 게임을 하며 학습합니다.

다음은 일상적인 비유를 사용한 작동 방식의 세부 내용입니다.

1. 문제점: "일률적인(One-Size-Fits-All)" 실수

현재의 화학용 AI 모델은 스위스 아미 나이프(맥가이버 칼)와 같습니다. 칼날, 드라이버, 코르크 따개가 있지만, 그것은 그저 하나의 단단한 도구일 뿐입니다. 줄을 자르고 싶을 때는 칼날을 사용하고, 병을 열고 싶을 때는 코르크 따개를 사용합니다. 도구 자체가 변하는 것이 아니라, 그저 다른 부분을 사용하는 것입니다.

화학에서 이는 AI가 모든 분자에 대한 단일한 "지도"를 만든다는 것을 의미합니다. 하지만 논문은 "독성"을 위한 지도는 "용해도"를 위한 지도와 완전히 달라야 한다고 주장합니다. 어떤 분자가 "악당"(독성)처럼 보일 수도 있지만, 무엇을 보고 있느냐에 따라 "착한 녀로"(용해도) 보일 수도 있습니다. 현재의 모델들은 지도를 빠르게 전환하는 데 어려움을 겪습니다.

2. 해결책: "태스크 특화 GPS"

저자들은 ACE-Mol을 목적지에 따라 경로 전체를 바꾸는 스마트 GPS처럼 만들었습니다.

• 기존 방식: AI에게 분자 목록을 주며 "독성이 있는 것을 찾아라"라고 말합니다. 그러면 AI는 무엇이 "독성"인지 알아내기 위해 내부의 전체 지도를 천천히 재구성해야 합니다.
• ACE-Mol 방식: 당신이 AI에게 "나는 독성을 찾고 있다"라고 말하면, AI는 즉시 내부 지도를 "독성 모드"로 고정합니다. AI는 검색할 필요가 없습니다. 이미 올바른 동네에 와 있기 때문입니다.

3. 학습 방법: "값싼 단서"의 기술

보통 로봇에게 "독성 전문가"가 되도록 가르치려면, 과학자들이 "이것은 독성이 있고, 저것은 그렇지 않다"라고 라벨을 붙인 거대하고 비싼 데이터가 필요합니다. 이는 느리고 얻기 어렵습니다.

ACE-Mol은 저자들이 "프로그램으로 유도된 저렴한 단서"라고 설명하는 **약한 감독(weak supervision)**을 사용하여 학습했습니다.

• 비유: 아이에게 과일을 식별하는 법을 가르치고 싶다고 가정해 봅시다. 10,000개의 과일에 라벨을 붙이기 위해 식물학자를 고용하는 대신, 단순히 다음과 같은 간단한 규칙이 담긴 체크리스트를 주는 것입니다. "껍질이 있는가?" "빨간색인가?" "씨가 있는가?"
• 논문에서의 적용: 연구진은 수백만 개의 분자에 대해 이러한 간단한 규칙(모티프)을 생성하는 컴퓨터 코드를 작성했습니다. 예를 들어, "이 분자에 할로겐이 포함되어 있는가?" 또는 "고리가 몇 개인가?"와 같은 것입니다.
• 그들은 이 규칙들을 "이 분자는 할로겐 그룹을 포함하는가?"와 같은 간단한 영어 문장과 결합하여 AI에 입력했습니다. AI는 영어 설명을 화학적 구조와 직접 연결하는 법을 배웠습니다.

4. 결과: 즉각적인 적응

ACE-Mol은 "태스크 설명"(영어 문장)에 귀를 기울이도록 학습했기 때문에, 즉시 기어를 바꿀 수 있습니다.

• 안정성: 기존 모델들이 새로운 태스크를 배우려고 할 때 내부 지도를 흔들어 놓아 무질서하고 불안정해지는 반면, ACE-Mol은 해당 태스크를 위해 설계된 미리 조직된 "서브스페이스"(집 안의 특정 방)로 바로 들어갑니다.
• 성능: 테스트에서 ACE-Mol은 분자의 특성(예: 약물이 효과가 있을지 또는 독성이 있을지)을 예측하는 데 있어 다른 모든 상위 모델들을 능가했습니다. 특히 값비싼 인간의 라벨 없이도 그 성과를 냈다는 점에서 최고의 성능을 보였습니다.

5. 큰 그림

이 논문은 자연어(영어 문장)를 사용하여 화학적 태스크를 설명하고, 값비싼 인간의 라벨 대신 저렴한 컴퓨터 생성 단서를 사용함으로써, ACE-Mol이 이전 방식들보다 화학을 더 잘 이해하는 모델을 만들었다고 주장합니다.

이는 학생에게 단순히 사전을 암기하게 하는 것이 아니라, "날카롭다"라는 단어가 칼에 대해 말할 때와 비평에 대해 말할 때 서로 다른 의미를 가진다는 것을 이해하도록 가르치는 것과 같습니다. ACE-Mol은 질문을 던지는 방식에 따라 분자의 "의미"가 변한다는 것을 배우며, 모든 예시에 대해 인간이 정답을 적어줄 필요 없이 이를 수행합니다.

요약하자면: 이 논문은 똑똑한 화학 AI를 구축하기 위해 비싼 데이터가 필요한 것이 아니라는 점을 보여줍니다. 단지 단순한 지침에 귀를 기울이고 기본적인 화학 규칙을 가이드로 사용하도록 가르치기만 하면 됩니다.

기술 요약

기술 요약: 분자에 대한 약한 지도 학습을 통한 학습 그 이상의 가치

1. 문제 정의

분자 표현(Molecular representations)은 본질적으로 작업 의존적입니다. 용해도에 따라 분자를 클러스터링하도록 최적화된 표현은 독성에 최적화된 표현과 근본적으로 다릅니다. 그러나 현재의 접근 방식들은 이를 효율적으로 해결하지 못하고 있습니다:

• 수작업 기반 디스크립터(예: 분자 지문)는 작업 관련 구조를 직접 인코딩하여 높은 샘플 효율성을 제공하지만, 강력한 귀납적 편향(inductive bias)을 부과하며 유연성이 부족하고 확장성이 떨어집니다.
• 학습된 표현(예: ChemBERTa 또는 MolFormer와 같은 자기 지도 학습 인코더)은 최소한의 귀납적 편향으로 표현력이 풍부하고 범용적인 임베딩을 학습합니다. 그러나 이들은 작업 불가지론적(task-agnostic)입니다. 이를 특정 작업에 적응시키려면 전체 임베딩 공간을 재구성하는 감독 미세 조정(supervised fine-tuning)이 필요한데, 이 과정은 느리고 비효율적이며 값비싸고 정제된 라벨 데이터에 의존합니다.

핵심 과제는 수작업 기반 특징의 경직성과 학습된 표현의 작업 불가지론적 특성 사이의 미결된 트레이드오프입니다. 사전 학습 중에 작업 관련성을 주입하려는 기존 방법들은 희소하고 값비싼 라벨 데이터에 의존합니다.

2. 방법론: ACE-Mol

저자들은 **ACE-Mol(Adaptive Chemical Embedding Model)**을 제안합니다. 이는 프로그램 방식으로 도출된 분자 모티프(molecular motifs)에 대한 **약한 지도 학습(weak supervision)**을 활용하여, 값비싼 라벨 데이터 없이도 작업 의존적 표현을 학습합니다.

2.1. 화학적 모티프를 통한 약한 지도 학습

인간이 라벨링한 속성 데이터 대신, 저자들은 화학 지식(기여 이론, Group Contribution Theory)에 근거하여 프로그램 방식으로 생성된 수백 개의 "의사 작업(pseudo-tasks)"을 사용합니다. 이 작업들은 다음을 포함합니다:

• 부분 구조 지표 (예: "할로겐 그룹 포함 여부").
• 작용기 개수 (예: "방향족 고리의 개수").
• 단순 속성 (예: "분자량").

이러한 모티프들은 자연어 기술어(예: "<속성 이름>을 포함하는가?")와 쌍을 이룹니다. 이 데이터셋은 계산 비용이 저렴하고 확장이 매우 쉬우며, 25만 개의 다양한 분자로부터 약 7,500만 개의 작업-분자 쌍을 생성합니다.

2.2. 모델 아키텍처 및 학습

ACE-Mol은 1억 5천만 개의 파라미터를 가진 ModernBERT 아키텍처를 채택합니다. 이 모델은 분자와 작업을 하나의 텍스트 시퀀스로 인코딩하여 통합합니다:
[작업 설명] [SEP] [속성 값] [SEP] [SMILES]

모델은 두 가지 교차되는 마스크드 언어 모델링(MLM) 목적 함수를 사용하여 학습됩니다:

1. SMILES 목적 함수: 작업 설명과 대상 속성 값에 조건화되어 마스킹된 SMILES 토큰을 예측합니다.
2. 속성 값 목적 함수: SMILES 문자열과 작업 설명에 조건화되어 마스킹된 속성 값을 예측합니다.

이 양방향 학습을 통해 모델은 자연어 프롬프트에 의해 완전히 구동되며, 속성 예측과 생성 사이를 매끄럽게 전환할 수 있습니다.

2.3. 작업 조건화 메커니즘

핵심 혁신은 **작업 조건화(task conditioning)**입니다. 자연어 작업 설명을 모델에 입력함으로써, ACE-Mol은 특정 작업에 따라 표현을 재구성하는 법을 배웁니다.

• 전역 적응(Global Adaptation): 모델은 프롬프트에 의해 정의된 작업 특정 하위 공간(subspace)에 즉각적으로 자신의 표현을 정렬합니다.
• 지역 적응(Local Adaptation): 다운스트림 미세 조정 중에, 모델은 전체 임베딩 공간을 재구성하는 대신 이 사전 정렬된 하위 공간 내에서 표현을 정교화합니다.

3. 주요 기여

1. 약한 지도 학습을 통한 소프트 귀납적 편향: 저자들은 프로그램 방식으로 도출된 분자 모티프를 사용하는 확장 가능한 사전 학습 프레임워크를 도입했습니다. 이는 하드한 제약 없이 학습을 가이드하는 "소프트" 귀납적 편향으로서 작업 관련 구조를 제공합니다.
2. 작업 조건화된 표현: ACE-Mol은 자연어 작업 설명을 바탕으로 동적으로 재구성되는 임베딩을 생성하여, 미세 조정 전 단계에서 전역 적응을 가능하게 합니다.
3. 안정적이고 분리된 적응: ACE-Mol은 작업 특정 하위 공간으로의 신속한 전역 적응을 수행한 뒤 지역적 정교화를 거칩니다. 이는 미세 조정 중에 전체 공간을 지속적으로 재구성하는 베이스라인 모델들에 비해 더 안정적인 임베딩을 제공합니다.
4. 최첨단 성능(SOTA): ACE-Mol은 분자 속성 예측 벤치마크에서 우수한 성능을 달ras합니다.

4. 실험 결과

4.1. 벤치마크 성능

ACE-Mol은 MoleculeNet 벤치마크(분류 및 회귀)와 합성 독성 벤치마크에서 평가되었습니다.

• 선형 프로브(Linear Probes): ACE-Mol은 모든 회귀 작업에서 최고의 평균 성능을 보였으며, 모든 분류 작업에서도 최고의 평균 성능을 기록했습니다. 이는 MolCLR, ChemBERTa, MolFormer, Grover, MolBERT, MolT5, MoleculeSTM을 포함한 경쟁력 있는 베이스라인들을 능가하는 결과입니다.
• 합성 독성: 137개의 독성 SMARTS 패턴으로 구성된 벤치마크에서, ACE-ML은 ClinTox에서 98.3%의 %AUCROC를, BBBP에서 94.5%를 달성하여 ChemBERTaV2를 능가했습니다.

4.2. 임베딩 정렬 및 안정성

• 화학적 특징 정렬: t-SNE 시각화 결과, ACE-Mol의 임베딩은 작용기(예: 알코올, 아민)에 따라 클러스터링되는 반면, 표준 MLM 방식은 이러한 구분을 해내지 못했습니다.
• 전역 중심점 이동: 데이터 양이 증가함에 따라 미세 조정될 때, ACE-Mol은 초기에는 큰 중심점 이동(작업 하위 공간으로의 재구성)을 보였으나 이후 움직임은 최소화되었습니다. 반면, ChemBERTaV2는 느리고 지속적인 움직임을 보여 비효효율적인 재구성을 나타냈습니다.
• 지역 이웃 안정성: ACE-Mol은 초기 적응 후 k-최근접 이웃(k-nearest neighbors)에서의 지역적 안정성이 더 높았으나, 베이스라인들은 지속적인 변화를 보였습니다.
• 시드 안정성: ACE-Mol의 독립적인 미세 조정 실행은 ChemBERTaV2에 비해 더 일관된 임베딩으로 수렴했습니다.

4.3. 절제 연구(Ablation Studies)

• 작업 설명의 중요성: 올바른 작업 설명을 사용하는 것이 성능을 크게 향 향상시켰습니다. 무작위로 샘플링된 설명(심지로 분포 내 데이터일지라도)은 분포 외(out-of-distribution) 문자열과 유사한 성능 저하를 일으켰으며, 이는 모델이 특정 작업 의미론을 이해하는 데 크게 의존함을 확인시켜 줍니다.
• 약한 지도 학습의 필수성: 표준 SMILES 전용 MLM(작업 조건화 없이)으로 학습된 대조 모델은 모든 벤치마크에서 ACE-Mol보다 현저히 낮은 성능을 보였으며, 이는 약한 지도 학습 신호가 성능 향상의 주요 동력임을 입증합니다.

5. 의의 및 주장

본 논문은 과학적 도메인이 언어 도메인과 근본적으로 다르다고 주장합니다. 화학 데이터셋은 작고 다양하며, 실험 데이터는 값비쌉니다. 그러나 화학은 언어 모델링에는 없는 구조화된 이론적 지식(예: 기여 이론)을 보유하고 있습니다.

저자들은 이러한 화학적 사전 지식을 굳이 데이터로부터 재발견할 필요 없이, 약한 지도 학습 신호로 사용할 수 있다고 주장합니다. 자연어 작업 조건화를 통해 이러한 사전 지식을 소프트 귀납적 편향으로 인코딩함으로써, ACE-Mol은 다음을 수행하는 작업 의존적 표현을 학습합니다:

1. 화학적 구조를 존중함.
2. 아키텍처 변경 없이 새로운 작업에 대한 신속한 적응을 가능하게 함.
3. 데이터 스케일링이나 값비싼 라벨 데이터에만 의존하는 현재의 파운데이션 모델들을 능가함.

이 연구는 광범적인 약한 지도 학습 작업에 대한 사전 학습과 이중 마스킹 목적 함수를 사용하는 방식이, 데이터는 부족하지만 약한 지도 학습을 통한 작업 생성이 가능한 다른 과학적 도메인에도 적용 가능한 레시피가 될 수 있음을 시사합니다.