Molecules Meet Language: Confound-Aware Representation Learning and Chemical Property Steering in Transformer-VAE Latent Spaces

본 논문은 SELFIES 로 학습된 비지도 Transformer-VAE 잠재 공간이 의미 있는 화학적 특성 조절을 지원할 수 있음을 보여주지만, 이러한 제어는 시퀀스 수준의 인공물과 진정한 화학적 신호를 구별하기 위해 해독된 분자와 교란 요인을 고려한 평가를 통해 엄격하게 검증될 때만 유효함을 입증한다.

핵심

거대한 화학 레시피 도서관이 있다고 상상해 보세요. 하지만 이 레시피들은 표준 언어로 쓰인 것이 아니라 SELFIES라는 비밀 코드로 작성되어 있습니다. 이 코드는 다른 화학 언어들과 달리, 여기에 포함된 문자열 하나하나가 반드시 유효한 분자로 해독된다는 점이 특별합니다. 마치 물리 법칙을 위반하는 마법을 실수로 부릴 수 없는 마법서와 같습니다.

이 논문 연구자들은 컴퓨터 (AI) 에게 이 비밀 코드를 이해시키고, 더 중요한 것은 그 안에 숨겨진 화학을 이해하도록 하려 했습니다. 그들은 정교한 AI 모델 (Transformer-VAE) 을 훈련시켜 이러한 문자열을 읽고 이를"잠재 공간 (latent space)"으로 압축하도록 했습니다.

이 잠재 공간을 거대하고 보이지 않는 3 차원 지도로 생각해 보세요. 이 지도에서 모든 분자는 하나의 점으로 나타납니다. 연구 목표는 이 지도가 논리적으로 조직되어 있는지 확인하는 것이었습니다. 즉, 한 점부터 다른 점까지 직선으로 이동할 때 분자들이 예측 가능하고 화학적인 방식으로 변하는지 확인하는 것이었습니다. 예를 들어, 특정 방향으로 이동하면 분자들이 더 기름기 많거나 (소수성) 무거워질까요?

문제: "단순화"의 함정

연구자들은 AI 가 실제로 화학을 배우는 것이 아니라 **단순화 (shortcuts)**만 배우고 있는 것이 아닐까 의심했습니다.

무거운 물체를 인식하도록 학생을 가르친다고 상상해 보세요. 단어 목록을 보여줄 때, 단어가 길수록 물체가 무거우면 학생은"긴 단어 = 무거운 물체"라는 규칙만 배우고"무겁다"는 개념의 본질을 이해하지 못할 수 있습니다.

이 논문에서"긴 단어"문제는 현실이었습니다. SELFIES 코드의 길이, 특수한"분기"기호의 수, 그리고"고리"기호의 수는 모두 분자량과 같은 화학적 특성과 강한 상관관계를 보였습니다. AI 는 분자의 구조를 이해하기보다는 문자열의 길이를 세어"무거움"을 예측하는 방식을 배웠을 가능성이 있었습니다.

해결책:"교란 요인 인지"필터

이를 해결하기 위해 연구자들은 **교란 요인 인지 평가 (confound-aware evaluation)**라는 영리한 필터를 고안했습니다.

1. 치트 시트: 먼저 AI 에게 지도에서"치트 시트"변수 (문자열 길이와 토큰 수 등) 를 예측하도록 가르쳤습니다.
2. 지우개: 그 다음 수학적으로 치트 시트 변수로 설명 가능한 화학적 특성의 부분을"지워"버렸습니다. 이로 인해 남는 것은"잔여"신호, 즉 단순히 기호를 세는 것으로는 설명할 수 없는 특성의 부분입니다.
3. 실제 테스트: 마지막으로 AI 의 수학 점수만 믿지 않았습니다. 대신 AI 가 제안한 지도상의"이동 방향"을 가져와 실제 분자를 생성하고, 실제 화학적 특성이 예상대로 변하는지 확인했습니다.

결과:성공한 것과 실패한 것

성공 사례 (조향 장치):
연구자들은 몇 가지 중요한 화학적 특성에 대해 AI 가 실제로 유용한 지도 방향을 학습했음을 발견했습니다. AI 의"다이얼"을 특정 방향으로 움직이면 생성된 분자들이 매끄럽고 예측 가능한 방식으로 변했습니다. 이러한 특성은 다음과 같습니다:

• cLogP: 분자가 얼마나 기름기 많거나 물을 좋아하는지.
• TPSA: 극성 상호작용에 이용 가능한 표면적 (약물이 표적에 얼마나 잘 달라붙을 수 있는지와 관련됨).
• HBA/HBD: 분자가 형성할 수 있는 수소 결합의 수.
• FractionCSP3: 탄소 구조가 얼마나 3 차원적이고 포화되어 있는지.
• HeavyAtomCount 및 BertzCT: 이러한 것들은 크기와 (단순화) 밀접하게 연결되어 있지만, AI 는 여전히 문자열 길이만의 문제가 아닌 방식으로 이를 조종하는 방법을 찾았습니다. 이는 실제 화학적 복잡성을 포착한 것입니다.

"지역적"vs"전역적"발견:
일부 특성은 먼 거리를 이동해도 변화가 일관된 직선 고속도로 (전역적 방향) 와 같았습니다. 반면 다른 것들은 구불구불한 산길 (비선형) 과 같았습니다. QED(약물 유사성) 나 HBD(수소 결합 공여체) 와 같은 특성의 경우, AI 는 정답을 알고 있었지만 거기에 도달하는 단일한 직선은 없었습니다. 출발 위치에 따라 달라지는 곡선 경로를 따라야 했습니다.

"가짜"방향:
일부 특성의 경우, AI 의 지도 방향은 오해의 소지가 있었습니다. AI 가 제안한 경로를 따라가면 분자들이 매끄럽게 변하지 않고, 뛰어다니거나 아예 변하지 않았습니다. 이는 AI 가 데이터를 암기했지만 특정 특성에 대해 화학을 유용한 제어 시스템으로 조직하지 못했음을 증명했습니다.

핵심 교훈

이 논문은 화학 텍스트로 훈련된 AI 모델이 의미 있는 화학을 학습할 수는 있지만, 테스트에서 높은 점수를 얻었다고 해서 무조건 신뢰해서는 안 된다고 결론 내립니다.

다음과 같은 조치를 취해야 합니다:

1. 문자열 길이를 세는 것과 같은 단순화 (shortcuts) 만 사용하고 있는지 확인하세요.
2. 실제로 분자를 생성하여 예상대로 변하는지 확인하세요.

이러한 신중한 검사를 수행했을 때, AI 는 특정 특성에 대해서만, 그리고 먼저"치트 코드"를 필터링했을 때만 분자를 도로 위의 자동차처럼 조종할 수 있음을 발견했습니다. 이는 AI 화학 세계에서는 보는 것이 믿는 것이며, 해독하는 것이 유일한 실제 테스트라는 교훈을 줍니다.

기술 요약

기술 요약: 분자와 언어의 만남: 혼란 요인 인식 표현 학습 및 트랜스포머-VAE 잠재 공간에서의 화학적 특성 제어

문제 제기

분자 생성 모델, 특히 언어 모델링 기반 모델 (SELFIES 문자열로 훈련된 트랜스포머 등) 은 종종 화학적으로 의미 있는 기하학을 가진 잠재 공간 (latent space) 을 학습한다고 가정됩니다. 그러나 중요한 모호성이 존재합니다. 잠재 표현으로부터 분자 특성을 예측할 수 있는 것처럼 보이는 현상이 진정한 화학적 조직을 반영하는 것이 아니라 "시퀀스 수준의 단서 (shortcuts)"를 반영할 수 있다는 것입니다. 구체적으로 SELFIES 표현에서 토큰 길이, 분기 수, 고리 수, 토큰 엔트로피는 분자 크기와 위상과 강하게 상관관계가 있을 수 있습니다. 만약 모델이 토큰 수를 세는 것만으로 분자량과 같은 특성을 예측하도록 학습한다면, 이는 제어 가능한 화학적 방향을 학습한 것이 아닙니다.

본 논문은 다음과 같은 질문에 답합니다: 비지도 분자 언어 모델이 화학적 특성을 위한 단순하고 전역적으로 제어 가능한 방향을 포함하는 연속적인 잠재 공간을 학습하는지, 아니면 이러한 방향이 단순히 문자열 표현의 인위적 산물인지?

방법론

저자들은 SELFIES 시퀀스로 훈련된 고정된 비지도 트랜스포머-VAE 에 적용되는 혼란 요인 인식 평가 프레임워크를 제안합니다. 방법론은 네 가지 주요 단계로 진행됩니다:

1. 모델 훈련 및 고정

• 아키텍처: 794,403 개의 RDKit 유효 SELFIES 분자로 슬롯 기반 자기회귀 트랜스포머-VAE 를 훈련합니다. 모델은 멀티 슬롯 풀링 (multi-slot pooling) 을 사용하여 토큰 상태를 가우시안 잠재 분포로 집계합니다.
• 훈련 목적: 모델은 재구성 손실과 잠재 정규화 (KL 발산) 만으로 훈련됩니다. 훈련 중에는 특성 레이블이 사용되지 않습니다.
• 고정: 훈련 후 인코더와 디코더를 고정합니다. 특성 레이블은 잠재 공간을 조사하기 위해 사후 (post hoc) 에만 도입됩니다.

2. 혼란 요인 인식 프로빙

화학적 신호를 표현 인위적 산물과 구별하기 위해, 저자들은 토큰 길이, 분기 토큰 수, 고리 토큰 수, 토큰 엔트로피로 구성된 **혼란 요인 패널 (confound panel)**을 도입합니다.

• 선형 프로빙: 선형 프로브를 적합시켜 고정된 잠재 공간으로부터 분자 기술자 (예: cLogP, TPSA) 와 혼란 요인 변수를 모두 예측합니다.
• 잔차화: 화학적 신호를 분리하기 위해 혼란 요인 패널로부터 예측 가능한 각 특성의 성분을 제거합니다. 잔차화된 목표 $y_{res} = y - \hat{y}(C)$를 생성하며, 여기서 $\hat{y}(C)$는 혼란 요인으로부터의 예측입니다. 그런 다음 프로브를 이러한 잔차화된 목표에 대해 재평가합니다.

3. 전역 제어 및 탐색

• 제어 방향: 선형 프로브의 가중치는 잠재 공간 내의 전역 제어 방향으로 해석됩니다.
• 디코딩을 통한 검증: 핵심적으로, 본 논문은 프로브 정확도 ($R^2$) 만을 신뢰하지 않습니다. 대신, 학습된 방향을 따라 잠재 공간을 탐색하고, 결과 지점을 분자로 디코딩한 후 RDKit 을 사용하여 화학적 특성의 실제 변화를 측정함으로써 제어를 검증합니다.
• 단조성 확인: 디코딩된 분자 특성이 단조롭게 변화할 때만 해당 특성을 "제어 가능"한 것으로 간주합니다.

4. 비선형 진단

전역 선형 방향이 부재한 특성이 여전히 인코딩되어 있는지 확인하기 위해, 저자들은 **비선형 프로브 (MLP)**를 사용합니다. 이는 단일 벡터로 제어 가능한 전역 선형 특성과 복잡하고 국소적이거나 비선형인 매니폴드를 통해 인코딩된 특성을 구별하는 데 도움이 됩니다.

주요 기여

1. 혼란 요인 인식 평가 프로토콜: 잔차화와 디코딩된 분자 검증을 사용하여 SELFIES 수준의 단서 (토큰 길이, 엔트로피 등) 로부터 화학적 조직을 분리하는 엄격한 프로토콜을 도입합니다.
2. 비지도 모델의 사후 해석: 분자 특성 제어를 비지도 모델의 해석 작업으로 프레임화하여, 훈련 중 명시적인 특성 감독이 없어도 유용한 방향이 나타날 수 있음을 보여줍니다.
3. 선형 및 비선형 잠재 조직 간 구분: 비선형 프로브를 사용하여 많은 특성이 전역적으로 선형이지만, 다른 특성들 (예: HBD, QED) 은 제어를 위해 국소적 또는 비선형 기울기가 필요하도록 인코딩되어 있음을 진단합니다.
4. 운영적 검증: 방향이 잠재 벡터에서의 높은 예측 점수뿐만 아니라 디코딩된 분자에서 통제된 단조 변화를 생성할 때만 의미가 있음을 강조합니다.

결과

모델 성능

• 자기회귀 멀티슬롯팅 (Autoregressive MultiSlotting) 변형은 원시 및 잔차 특성 예측 모두에서 비자기회귀 베이스라인보다 우수한 성능을 보였으며, 이는 자기회귀 훈련이 화학적 제어를 위해 잠재 공간을 더 잘 조직화함을 시사합니다.
• 모델은 높은 재구성 유효성 (1.0) 과 보간 중 강한 계열 유지 (family retention) 를 달성했습니다.

특성 제어 발견

혼란 요인 인식 평가 하에서 저자들은 몇 가지 주요 기술자에 대해 강력하고 전역적으로 단조로운 제어 방향을 확인했습니다:

• 강력하게 제어 가능: cLogP, FractionCSP3, HeavyAtomCount, TPSA, BertzCT, HBA.
  • 참고: 크기 (HeavyAtomCount, BertzCT) 와 강하게 상관관계가 있는 특성조차도 잔차화 후에도 탐색 가능하여, 잠재 공간이 토큰 수 인위적 산물 이상을 포착함을 나타냅니다.
• 비선형/국소적: HBD, QED, NumRotatableBonds, NumSpiroAtoms, NumBridgeheadAtoms 과 같은 특성은 MLP 를 통해 높은 예측 가능성을 보였으나 선형 프로브에서는 성능이 낮았습니다. 이는 이러한 특성이 잠재 공간에 인코딩되어 있지만 단일 전역 선형 방향이 부재함을 시사합니다.
• 불안정: SA-score (합성 접근성) 는 불안정한 탐색 거동을 보였는데, 먼 거리의 디코딩된 분자가 합성하기 어려워져 단조성이 깨졌습니다.

혼란 요인 분석

• 원시 잠재 공간은 SELFIES 통계를 강력하게 인코딩했습니다 (예: HeavyAtomCount 와 토큰 길이의 상관관계 $\rho \approx 0.97$).
• 잔차화는 혼란 요인 매개 신호를 성공적으로 제거했으나, 자기회귀 모델은 cLogP 및 TPSA 와 같은 특성에 대해 높은 예측 능력을 유지하여 진정한 화학적 조직의 존재를 확인했습니다.

중요성 및 주장

본 논문은 얽힌 분자 잠재 공간에서 화학적으로 의미 있는 제어가 나타날 수 있다고 주장하지만, 이는 표현 수준의 인위적 산물을 통제하는 혼란 요인 인식 프로토콜을 통해 검증될 때만 가능합니다.

• 제한된 범위: 저자들은 명시적으로 결과가 계산된 RDKit 기술자로 제한되며 실험적 생화학, 약동학 또는 독성 결과에 대한 성능을 확립하지 않는다고 밝힙니다.
• 직접적 적용 부재: 이 작업은 배포 가능한 분자 설계 파이프라인을 제안하거나 생물학적 활성을 직접 최적화한다고 주장하지 않습니다. 대신 비지도 모델이 화학 구조를 학습하는지 여부와 방법을 결정하기 위한 진단 프레임워크를 제공합니다.
• 핵심 통찰: 주요 기여는 방법론적입니다: 문자열 수준의 혼란 요인을 통제하고 디코딩된 분자를 통해 검증하지 않으면 "제어 가능한 잠재 공간"에 대한 주장이 오해의 소지가 있을 수 있음을 보여줍니다. 이 연구는 지용성과 극성과 같은 일부 특성이 안정적인 전역 방향을 허용하는 반면, 다른 특성들은 국소적 또는 비선형 접근이 필요하며, 자기회귀 아키텍처가 비자기회귀 대안보다 이러한 전역 방향을 조직화하는 데 더 적합함을 확인합니다.