What Does a Chemical Language Model Know About Molecules?

기술 요약: 화학 언어 모델은 분자에 대해 무엇을 알고 있는가?

문제 정의
화학 언어 모델(cLMs)은 분자 특성 예측 및 생성적 약물 설계에서 강력한 성능을 입증해 왔다. 그러나 커뮤니티 내에서는 이러한 모델들이 의미 있는 분자 의미론(semantics)을 학습하는 것인지, 아니면 단순히 분자 문자열 표현(예: SMILES)의 표면적인 구문 패턴을 이용하는 것인지에 대한 상당한 회의론이 존재한다. 분자는 여러 가지 동등한 방식으로 문자열로 표현될 수 있다는 점을 고려할 때, cLM이 화학적 구조를 내재화하는지 아니면 단순히 문자열 문법을 파싱하는 것인지는 불분명하다. 이를 해결하기 위해서는 cLM이 분자를 내부적으로 어떻게 표현하는지에 대한 기계론적 이해가 필요하다.

방법론
저자들은 11억 개의 분자 SMILES 문자열로 사전 학습된 인코더 전용 cLM인 MolFormer-XL(구체적으로 오픈 웨이트 모델인 MolFormer-10 변체)에 기계론적 해석 가능성(mechanistic interpretability) 기법인 희소 오토인코더(Sparse Autoencoders, SAEs)를 적용한다.

• SAE 훈련: 저자들은 모델의 잔차 스트림(residual stream)에 k-SAEs를 훈련하여 활성화 함수를 희소하고 인간이 해석 가능한 특징으로 분해한다.
• 특징 분류: SAE 잠재 변수(latents)를 지배적인 토큰 유형(원자, 고리 인덱스, 브랜치, 결합)을 기준으로 분류하고, SMARTS 표기법을 사용하여 원자 관련 개념(원자, 하위 구조 내 원자, 하위 구조)으로 매핑한다.
• 섭동 분석(Perturbation Analysis): 연구는 (유효한 문자열 파싱의 변이인) 비정형(non-canonical) SMILES와 (구문 또는 원자가 오류인) 부적절한(invalid) SMILES에 의한 표현 변화를 조사하여, 모델의 문자열 표기 불변성을 테스트한다.
• 다운스트림 프로빙: 21개의 ADMET(흡수, 분포, 대사, 배설, 독성) 과업에 선형 프로브를 훈련하여 어떤 SAE 잠재 변수가 약리학적으로 유의미한 특성과 상관관계가 있는지 식별한다.
• 도구: 저자들은 분자 문자열 및 구조에 대한 SAE 활성화를 탐색할 수 있는 대화형 웹 시각화 도구인 InterMol을 개발하였다.

주요 기여 및 결과

1. 계층적 표현 구축:
   분석 결과, 분자 표현이 구축되는 방식에서 계층적 진행 과정이 드러났다:

   • 초기 레이어: 분자 문법을 파싱하기 위해 **위치 추적 잠재 변수(position-tracking latents)**에 크게 의존한다(예: 고리 인덱스, 브랜치 닫기, 토큰 위치 추적). 이 레이어들은 상대적인 토큰 위치와 상관관계가 있는 "위치 잠재 변수"의 높은 밀도를 보인다.
   • 후기 레이어: 하위 구조 내 원자(atom-in-substructure) 및 하위 구조 수준의 특징을 인코딩하는 방향으로 전환된다. 모델은 모든 특정 작용기에 대해 별도의 잠재 변수를 갖기보다는, 공통된 모티프(예: C=O, C-N)에 대해 공유된 원자 쌍 잠재 변수를 학습하여 복잡한 구조 전반에서 재사용할 수 있는 것으로 보인다.

2. 구문 파싱 특징:
   원자 관련 개념 외에도, 저자들은 두 가지 뚜렷한 유형의 구문 파싱 특징을 식별했다:

   • 위치 잠재 변수(Position Latents): 초기 레이어에서 두드러지며, 특정 토큰 위치나 구문적 하위 구조의 완결성(예: 브랜치의 열림부터 닫힘까지 이중 결합된 산소를 추적함)을 추적한다.
   • X 이외의 모든 것(Anything-But-X) 잠재 변수: 특정 유형을 제외한 모든 토큰에서 활성화된다(예: "탄소가 아닌 모든 것"). 이들의 정확한 기능은 불분명하지만, 헤테로 원자(heteroatoms)를 구별하는 데 도움을 줄 수 있다. 다만 저자들은 이것이 SAE 크기에 따른 인위적 결과(artifact)일 수 있다고 언급했다.

3. SMILES 변이의 영향:

   • 비정형(Non-canonical) SMILES: 부적절한(invalid) SMILES보다 더 파괴적인 표현 변화를 일으킨다. 이 파괴는 초기 레이어의 위치 잠재 변수 교란에 의해 발생하며, 이는 더 깊은 레이어로 전파된다. 이는 정형(canonical) SMILES로만 사전 학습된 모델이 위치 추적 메커니즘에 대한 의존성 때문에 문자열 변이에 대한 불변성 확보에 어려움을 겪을 수 있음을 시사한다.
   • 부적절한(Invalid) SMILES: 구문 오류(예: 잘림)는 넓은 유사도 분포를 유발하는 반면, 원자가(valence) 오류는 특정 비위치적 잠재 변수에 큰 영향을 미친다. 특히, 12번째 레이어의 특정 잠재 변수(L12/f/956)는 정형성 및 유효성 검출기로서 작동하며, 입력이 증강되거나 손상되었을 때 강한 활성화를 보인다.

4. 약리학적으로 유의미한 잠재 변수:
   ADMET 과업에 대한 선형 프로빙 결과, SAE 임베딩은 21개 과업 중 16개에서 베이스라인 분자 핑거프린트 및 기술자(descriptors)보다 우수한 성능을 보였다. 저자들은 알려진 약리단(pharmacophoric) 특징에 대응하는 특정 잠재 변수들을 식별했다:

   • 인간 장 흡수(HIA): 할로겐 치환기(Cl, F) 및 이중 결합된 산소에서 활성화되는 잠재 변수.
   • CYP2C9 억제: 헤테로 고리 내의 헤테로 원자에서 활성화되는 잠재 변수.
   • 에임스 돌연변이원성(Ames Mutagenicity): 질소-질소 결합(니트로사민) 및 니트로/아자이드 그룹에서 활성화되는 잠재 변수.
   • 지질 친화성(Lipophilicity): 방향족 탄소(지질 친화성 증가) 및 카르복실산 모티프(지질 친화성 감소)에서 활성화되는 잠재 변수.

의의 및 주장
본 논문은 화학 언어 모델이 분자에 대해 무엇을 알고 있는지에 대한 근거 있는 기계론적 해답을 제공한다고 주장한다. 논문은 cLM이 단순히 표면 패턴을 학습하는 것이 아니라, 구문 파싱에서 화학적으로 유의미한 하위 구조 개념으로 진행되는 계층적 표현을 구축한다는 것을 입증한다. 연구 결과는 cLM이 약리학적으로 유의미한 특징을 인코딩하고 있지만, 위치 추적 잠재 변수에 대한 의존성이 비정형 문자열 변이에 대한 취약성을 만든다는 점을 시사한다.

저자들은 자신의 연구를 미래 cLM 설계를 위한 기초 작업으로 겸허하게 규정하며, SMILES 증강이나 대조 학습(contrastive learning)을 포함하는 훈련 전략이 위치 편향을 완화할 수 있다고 제안한다. 또한 향ó의 인과적 분자 회로를 식별하기 위해 교차 레이어 트랜스코더(cross-layer transcoders)를 활용할 수 있는 후속 연구를 제안한다. 본 논문은 cLM이 인간 수준의 화학적 추론을 달 Achieve 했다고 주장하는 것을 명시적으로 피하며, 대신 알려진 화학 원리와 일치하는 해석 가능한 특징을 식별하는 데 집중한다. InterMol의 도입은 커뮤니티가 이러한 미해석된 잠재 변수를 탐색할 수 있도록 돕는 도구로 제시된다.