Benchmarking GNN Models on Molecular Regression Tasks with CKA-Based Representation Analysis

이 논문은 다양한 분자 회귀 작업에서 네 가지 GNN 아키텍처를 체계적으로 벤치마크하고, GNN 임베딩과 분자 지문 임베딩이 높은 독립성을 보임 (CKA ≤ 0.46) 을 확인하여 이를 융합한 계층적 프레임워크가 기존 모델보다 RMSE 를 7% 이상 개선함을 입증했습니다.

핵심

🧪 핵심 주제: "약물 개발을 위한 AI 의 두 가지 눈"

약물 개발자들은 새로운 약이 몸속에서 어떻게 작용할지, 물에 잘 녹는지, 독성이 있는지 등을 예측해야 합니다. 이를 위해 기존에는 **'지문 (Fingerprint)'**이라는 방법을 썼는데, 이는 마치 사람의 지문을 미리 정의된 규칙으로 분석하는 것과 같습니다.

하지만 최근에는 **'그래프 신경망 (GNN)'**이라는 새로운 AI 가 등장했습니다. 이는 분자를 '원자 (노드)'와 '결합 (선)'으로 이루어진 지도처럼 보고, 그 지도의 모양을 직접 학습하는 방식입니다.

이 논문은 **"기존 방식 (지문) 과 새로운 방식 (지도 학습), 그리고 둘을 섞은 방식 중 무엇이 가장 잘하는가?"**를 실험했습니다.

---

🏆 주요 실험 내용과 결과 (비유로 설명)

1. 두 가지 눈의 비교: "기억력 vs 직관력"

• 기존 방식 (지문 + 전통적 머신러닝):
  • 비유: "이 약은 예전에 A 라는 약과 비슷하니까, A 의 성질을 그대로 가져오겠어."
  • 특징: 미리 정해진 규칙 (지문) 을 기반으로 합니다. 데이터가 적을 때는 매우 강력하고 정확합니다. 하지만 새로운 종류의 분자가 나오면 당황할 수 있습니다.
• 새로운 방식 (GNN):
  • 비유: "이 약의 구조를 자세히 살펴보자. 원자들이 어떻게 연결되어 있는지 직접 보고 추론해볼게."
  • 특징: 구조를 직접 학습합니다. 하지만 이 논문에서 사용한 데이터 (약 1,000 개 분자) 는 너무 적어서, AI 가 구조를 완전히 이해하기엔 부족했습니다. 그래서 기존 방식보다 성능이 조금 떨어졌습니다.

2. 승자 결정전: "혼합 팀 (Hibrid) 의 승리"

연구진은 **"왜 둘 중 하나만 고르겠어? 둘 다 쓰자!"**라고 생각했습니다.

• 혼합 모델 (GNN + 지문):
  • 비유: "한 명은 **직관력 (GNN)**이 뛰어나고, 다른 한 명은 **기억력 (지문)**이 뛰어난 팀을 꾸려보자."
  • 결과: 이 두 팀이 합쳐진 '혼합 모델'이 가장 좋은 점수를 받았습니다. 기존 AI 단독 모델보다 예측 오차 (RMSE) 가 7% 이상 줄어든 것입니다. 특히 데이터가 적은 상황에서도 강력한 성능을 발휘했습니다.

3. AI 의 뇌를 분석하다: "CKA 분석 (서로 다른 사고방식)"

연구진은 단순히 점수만 본 게 아니라, AI 들이 **무엇을 생각하고 있는지 (표현 공간)**도 분석했습니다. 이를 위해 CKA라는 도구를 썼는데, 이는 "두 AI 의 사고방식이 얼마나 비슷한가?"를 측정하는 척도입니다.

• GNN vs 지문:
  • 결과: 두 방식의 사고방식은 매우 달랐습니다 (CKA ≤ 0.46).
  • 의미: 서로 다른 정보를 가지고 있어서, 둘을 합치면 서로의 부족한 부분을 채워줄 수 있었습니다. (서로 다른 관점을 가진 팀원들이 협력하는 셈입니다.)
• GNN vs GNN (다른 AI 모델들):
  • 결과: GCN, GraphSAGE, GIN 같은 모델들은 서로의 사고방식이 거의 똑같았습니다 (CKA ≥ 0.88).
  • 의미: 데이터가 적을 때는, 어떤 GNN 모델을 쓰든 거의 같은 결론에 도달한다는 뜻입니다. 즉, "어떤 모델을 고르느냐"보다 "어떻게 정보를 섞느냐"가 더 중요했습니다.
  • 예외: GAT라는 모델만은 조금 다른 사고방식 (CKA 0.55~0.80) 을 가졌습니다. 그래서 GAT 와 지문을 섞은 모델이 가장 좋은 성능을 냈습니다.

---

💡 이 연구가 우리에게 주는 교훈

1. 데이터가 적을 때는 '경험 (지문)'이 중요하다:
   약물 개발 초기처럼 데이터가 1,000 개 정도밖에 없을 때는, 복잡한 AI 가 오히려 헷갈릴 수 있습니다. 이때는 검증된 규칙 (지문) 을 활용하는 게 안전합니다.

2. 혼합이 최강이다:
   "새로운 기술 (GNN)"과 "오래된 경험 (지문)"을 섞으면, 서로의 단점을 보완하고 시너지를 낼 수 있습니다. 마치 **내비게이션 (새로운 길 찾기) 과 지도책 (기존 지식)**을 함께 보는 것과 같습니다.

3. 모델 선택보다 '조합'이 중요:
   작은 데이터셋에서는 어떤 GNN 모델을 쓰든 결과가 비슷합니다. 중요한 건 그 모델을 어떻게 활용하느냐입니다. 특히 GAT라는 모델이 독특한 관점을 제공하므로, 이를 지문과 섞으면 가장 좋은 결과를 얻을 수 있습니다.

📝 한 줄 요약

"약물 개발 AI 는 '새로운 구조 학습 능력 (GNN)'과 '기존 지식 (지문)'을 함께 쓸 때 가장 강력하며, 특히 데이터가 적을 때 이 두 가지가 서로 다른 관점을 제공해 성능을 극대화한다."

기술 요약

논문 요약: CKA 기반 표현 분석을 통한 분자 회귀 작업에서의 GNN 모델 벤치마킹

1. 연구 배경 및 문제 제기 (Problem)

• 기존 접근법의 한계: 분자 속성 예측 (약물 발견, 계산 화학 등) 에서는 전통적으로 SMILES 문자열을 변환한 고정 크기 분자 지문 (Fingerprint, 예: ECFP4) 을 사용하여 기계 학습 (ML) 모델을 훈련시켰습니다. 그러나 이 방법은 전문가의 지식에 의존한 특징 공학 (Feature Engineering) 에 의존하며, 고차원 희소 벡터로 인해 과적합 (Overfitting) 위험이 크고, 분포 외 (OOD) 데이터에 대한 일반화 능력이 낮으며, 설명 가능성 (Explainability) 이 부족합니다.
• GNN 의 잠재력과 한계: 그래프 신경망 (GNN) 은 분자를 원자 (노드) 와 결합 (간선) 으로 구성된 그래프로 표현하여 구조적 관계를 자동으로 학습합니다. 하지만 소규모 데이터셋 (수백~수천 개 분자) 에서의 성능, 다양한 아키텍처 간의 인덕티브 바이어스 (Inductive Bias) 차이, 그리고 기존 지문 기반 모델과의 비교 연구가 부족합니다.
• 핵심 질문: 다양한 GNN 아키텍처 (GCN, GAT, GIN, GraphSAGE) 는 분자 그래프에서 서로 다른 표현을 학습하는가? 그리고 기존 분자 지문 (FP) 과의 융합 (Fusion) 이 성능 향상에 기여하는가?

2. 방법론 (Methodology)

• 데이터셋: 물리화학 (ESOL, Lipophilicity), 생물학 (B3DB), 분석화학 (RT) 분야의 4 가지 분자 회귀 데이터셋을 사용했습니다. 각 데이터셋은 RDKit 을 통해 전처리 (타우토머 표준화, 중성화 등) 후 1,000 개의 분자로 다운샘플링하여 소규모 데이터 환경에서 실험을 수행했습니다.
• 모델 아키텍처:
  1. 기저 모델 (Baselines): 1024 비트 ECFP4 지문을 입력으로 사용하는 선형 회귀 (LR), SVM, 랜덤 포레스트 (RF), XGBoost.
  2. GNN 모델: 단일 그래프 컨볼루션 레이어를 가진 4 가지 아키텍처 (GCN, GAT, GIN, GraphSAGE). 노드 특징은 원자 번호, 차수, 전하 등 6 가지 기본 속성으로 구성되었습니다.
  3. 하이브리드 모델 (Hierarchical Fusion): GNN 에서 추출한 그래프 레벨 임베딩과 ECFP4 지문을 결합한 (GNN+FP) 모델. 두 임베딩을 연결 (Concatenation) 하여 MLP 를 통해 예측합니다.
• 평가 지표: 95% 신뢰구간을 가진 RMSE (Root Mean Square Error) 를 사용하여 성능을 평가했습니다.
• 표현 유사성 분석 (CKA): Centered Kernel Alignment (CKA) 를 사용하여 GNN 임베딩과 지문 임베딩 간의 유사성, 그리고 서로 다른 GNN 아키텍처 간의 표현적 유사성을 정량화했습니다. RBF 커널을 사용했습니다.

3. 주요 결과 (Results)

• 성능 비교:
  • 단일 GNN 모델은 소규모 데이터셋에서 기존 ML 기저 모델 (특히 XGBoost, RF) 보다 낮은 성능을 보였습니다 (RMSE 가 17~27% 높음). 이는 단일 레이어 구조와 최소한의 원자 특징에 의존하기 때문입니다.
  • 하이브리드 모델 (GNN+FP) 의 우위: 모든 데이터셋에서 하이브리드 모델이 단일 GNN 모델보다 일관되게 우수한 성능을 보였습니다. 평균 RMSE 개선률은 7% 이상이었으며, 특히 RT 데이터셋에서 26.13%, ESOL 에서 22.72% 의 큰 향상을 보였습니다.
  • 최고 성능 모델: GAT 기반의 하이브리드 모델 (GAT+FP) 이 ESOL 데이터셋에서 가장 큰 개선 (29.73%) 을 보였으며, 전반적으로 일관된 최상위 성능을 기록했습니다.
• CKA 분석 결과:
  • GNN vs 지문 (FP): GNN 임베딩과 ECFP4 지문은 높은 독립성을 보였습니다 (CKA ≤ 0.46). 특히 B3DB, Lipophilicity, RT 데이터셋에서는 CKA 가 0.29~0.32 로 매우 낮아, 두 표현이 서로 보완적인 정보를 담고 있음을 시사합니다.
  • GNN vs GNN (아키텍처 간):
    • 등방성 (Isotropic) 모델의 수렴: GCN, GraphSAGE, GIN 은 매우 높은 표현적 유사성 (CKA ≥ 0.88, 일부 0.99) 을 보였습니다. 이는 소규모 데이터셋에서 수학적 구조가 다르더라도 유사한 특징 매니폴드로 수렴함을 의미합니다.
    • 이방성 (Anisotropic) 모델의 차별성: GAT 는 다른 모델들과 상대적으로 낮은 유사성 (CKA 0.55~0.80) 을 보였습니다. 어텐션 메커니즘이 표준 집계기들과는 다른 고유한 관계적 특징을 학습함을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 체계적인 벤치마킹: 소규모 분자 데이터셋 환경에서 4 가지 주요 GNN 아키텍처와 전통적인 ML 모델을 체계적으로 비교 평가했습니다.
2. 계층적 융합 프레임워크 제안: GNN 의 구조적 학습 능력과 지문의 강력한 구조적 모티프를 결합한 (GNN+FP) 하이브리드 프레임워크를 제안하고, 이것이 단일 모델보다 우월함을 입증했습니다.
3. CKA 기반 표현 분석: CKA 를 활용하여 GNN 과 지문이 서로 다른 잠재 공간 (Latent Space) 에 위치함을 수학적으로 증명했습니다. 또한, 소규모 데이터에서 등방성 GNN 모델들이 표현적으로 거의 동일하게 수렴한다는 '다양성의 환상 (Illusion of Diversity)'을 규명했습니다.
4. 모델 선택에 대한 통찰: GAT 가 학습하는 독특한 표현이 지문 정보와 결합될 때 가장 큰 시너지를 낸다는 점을 발견하여, 모델 선택과 융합 전략에 대한 새로운 인사이트를 제공했습니다.

5. 의의 및 결론 (Significance)

• 데이터 효율성: 소규모 데이터셋에서는 지문 기반 ML 모델이 강력한 정규화 역할을 하지만, GNN 은 데이터 양이 증가함에 따라 점진적인 성능 향상을 보이는 확장 가능한 모델임을 확인했습니다.
• 융합의 필요성: GNN 만으로는 소규모 데이터에서 한계가 있으나, 지문과 결합하면 서로 보완적인 정보를 활용하여 예측 정확도를 크게 높일 수 있습니다.
• 모델 설계 방향성: 등방성 GNN 모델들 (GCN, GraphSAGE 등) 은 소규모 데이터에서는 표현력이 유사하므로, GAT 와 같은 어텐션 기반 모델이나 지문과의 융합 전략이 모델 성능을 극대화하는 데 더 중요할 수 있음을 시사합니다.

이 연구는 분자 머신러닝 분야에서 모델 선택, 데이터 효율성, 그리고 표현 학습의 본질을 이해하는 데 중요한 기준을 제시합니다.