path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting

당신이 거대한 레고 상자를 가지고 있다고 상상해 보세요. 하지만 단순히 탑을 쌓는 것이 아니라, 브릭들이 어떻게 서로 맞물려 있는지 살펴보며 신비로운 생명체가 어떻게 생겼을지 추측하려고 합니다. 데이터 과학의 세계에서 이 생명체들은 "그래프(graph)"라고 불립니다(노드라고 불리는 점들과 그 점들을 잇는 엣지라고 불리는 선들의 네트워크입니다). 오랫동안 이 생명체의 비밀을 알아내는 가장 좋은 방법은 "그래프 신경망(Graph Neural Network, GNN)"을 사용하는 것이었습니다. GNN을 전체 구조를 보고 훌륭한 답을 내놓는 아주 똑똑하고 복잡한 마법사라고 생각하면 됩니다. 하지만 여기 함정이 있습니다. 마법사는 '블랙박스'입니다. 당신이 "왜 이 생명체는 파란색인가요?"라고 물으면, 마법사는 그저 어깨만 으쓱할 뿐입니다. 어떤 특정한 레고 연결이 이 생명체를 파란색으로 만들었는지 알아내는 것이 불가능하기 때문입니다.

여기에 path boost가 등장합니다. 이는 노르웨이 오슬로 대학교의 Claudio Meggio, Johan Pensar, Riccardo De Bin이 만든 새로운 파이썬 패키지입니다. 그들은 단순히 마법사를 원하는 것이 아니라, 종이 위의 흔적(증거)을 남기는 탐정을 원했습니다.

탐정의 방법: 단서 추적하기

전체 그래프를 한꺼번에 삼키려고 하는 대신, path boost는 PathBoost라고 불리는 방법을 사용합니다. 당신이 발자국 흔적을 따라가며 미스터리를 풀려는 탐정이라고 상상해 보세요.

1. 앵커(The Anchor): 당신은 탐색을 시작할 특정 유형의 발을 고릅니다 (예: 분자 내의 "금속" 발). 이것을 "앵커 노드(anchor node)"라고 부릅니다.
2. 경로(The Path): 당신은 흔적을 살펴봅니다: "금속 발 -> 탄소 발 -> 질소 발." 이 순서는 "레이블이 지정된 경로(labeled path)"입니다.
3. 부스팅(The Boosting): 탐정은 한 번에 전체 답을 추측하지 않습니다. 대신, 작은 단계들을 밟습니다. 가능한 모든 흔적을 살펴보고, 가장 의심스러운(예측력이 높은) 흔적을 골라낸 뒤, "이 흔적이 정답을 맞히는 데 도움이 되는가?"라고 묻습니다. 만약 그렇다면, 그 흔적을 단서 목록에 추가합니다. 그런 다음, 다음에 추가할 데 가장 좋은 다음 흔적을 찾습니다.

이 과정은 **그래디언트 부스팅(gradient boosting)**이라고 불립니다. 이는 약한 탐정들로 강력한 팀을 구성하는 것과 같습니다. 어떤 탐정은 "금속-탄소" 흔적을 찾아내는 데 능숙할 수 있고, 다른 탐정은 "금속-실리콘" 흔적을 찾는 데 능숙할 수 있습니다. 이들을 모두 결합하면, 정확하면서도 결정적으로 해석 가능한(interpretable) 슈퍼 탐정이 탄생합니다. 당신은 최종 목록을 보고 "아! 예측은 백금에서 산소로 이어지는 경로들에 의해 주로 이루어졌구나!"라고 말할 수 있습니다.

거절한 것들 ("아니오" 리스트)

저자들은 자신들이 무엇을 하지 않는지를 매우 명확하게 밝히고 있습니다.

• 블랙박스 거부: 그들은 예측이 왜 이루어졌는지 알아야 하는 작업에서 오로지 그래프 신경망(GNN)에만 의존하는 것에 대해 명시적으로 반대합니다. GNN은 가공되지 않은 정확도는 뛰어나지만, 논문은 과학적 발견을 위한 작업에서 GNN이 일반적으로 해석하기에 너무 어렵다고 제안합니다.
• 전수 조사 거부: 그들은 시작하기 전에 그래프의 모든 가능한 경로를 확인하는 아이디어를 배제합니다. 그것은 영원히 걸릴 일(조합 폭발)이기 때문입니다. 대신, path boost는 실제로 유용하다고 판명된 경로만을 탐색하여 엄청난 시간을 절약합니다.
• 마법 같은 데이터는 없음: 그들은 이 방식이 모든 것에서 GNN보다 더 낫다고 주장하지 않습니다. 실제로 그들의 테스트 결과, 거대하고 단순한 데이터셋(134,000개의 유기 분자가 있는 QM9 데이터셋)에서는 GNN(GINE이라 불림)이 여전히 승리했습니다. path boost는 작은 데이터셋을 다루거나 "왜"를 이해해야 할 때의 챔피언입니다.

증거: 얼마나 확신하는가?

저자들은 단순히 추측한 것이 아니라 숫자를 돌려보았습니다. 그들은 두 가지 기성 방법인 GINE(GNN의 일종)와 "WL + SVR"(그래프 커널과 서포트 벡터 머신의 조합)을 대상으로 테스트를 진행했습니다. 그들은 ESOL, FreeSolv, QM9, 그리고 tmQMg 데이터셋의 세 가지 서로 다른 타겟을 포함한 6개의 서로 다른 분자 데이터셋에서 이 테스트를 수행했습니다.

데이터가 시사하는 바는 다음과 같습니다:

• 작은 데이터셋: ESOL(1,128개 분자) 및 FreeSolv(643개 분자)와 같은 작은 데이터셋에서 path boost는 모든 지표에서 GNN과 커널 방법 모두를 능가했습니다. 예를 들어, ESOL에서 path boost는 R² 점수 0.8759 ± 0.0121을 달성하여 GINE의 0.7941 ± 0.0328을 이겼습니다.
• 전이 금속: tmQMg 데이터셋(전이 금속 화합물)에서 path boost는 세 가지 타겟 중 두 가지에서 압도적인 승자였습니다. path boost는 **편극성(polarizability)**을 R² 0.9284 ± 0.0153으로 예측했고, HOMO 에너지를 0.5841 ± 0.0650으로 예측하며 다른 방법들이 고전하는 동안 앞서 나갔습니다.
• 예외 상황: 거대한 QM9 데이터셋(10,000개 샘플링된 분자)에서는 GNN(GINE)이 가장 좋았습니다(R² 0.8494 ± 0.0208). 반면 path boost는 0.6429 ± 0.0480을 기록했습니다. 이는 거대하고 균질한 데이터셋의 경우, '블랙박스'인 GNN이 여전히 왕일 수 있음을 시사합니다.
• 속도: path boost는 대부분의 작업에서 GINE보다 빠릅니다. tmQMg 작업에서 GINE는 폴드당 최대 1036.3초가 걸린 반면, path boost는 456.7초가 걸렸습니다.

툴킷

이 패키지는 이미 scikit-learn(유명한 파이썬 라이브러리)을 사용하는 데이터 과학자들에게 친숙하도록 설계되었습니다. 기존 워크플로우에 바로 녹아들어, 표준 도구인 GridSearchCV를 사용하여 모델을 튜닝할 수 있습니다. 또한 회귀(숫자 예측, 예: 화학적 성질)와 이진 분류(예/아니오 예측)를 모두 지원합니다.

가장 멋진 기능 중 하나는 변수 중요도(Variable Importance) 도구입니다. 모델이 예측을 마친 후, 어떤 "경로"가 가장 중요했는지 정확히 알려줄 수 있습니다.

• 절대적 중요도(Absolute Importance): 특정 경로가 오류를 얼마나 줄였는지 알려줍니다.
• 상대적 중요도(Relative Importance): 특정 경로가 문제를 해결할 수 있었던 유일한 경로였는지, 아니면 그 일을 대신할 수 있었던 다른 유사한 경로들이 있었는지를 알려줍니다.
• 상관관계 조정(Correlation Adjustment): 긴 경로는 짧은 경로의 확장판이므로, 어떤 부분이 실제로 주인공인지 혼동되지 않도록 도구가 이를 조정해 줍니다.

핵심 요약

결론적으로, path boost는 특히 계산 화학과 같은 분야에서 모델이 왜 그런 예측을 했는지 이해해야 하는 과학자들을 위한 강력한 오픈 소스 도구입니다. 이는 GNN이 강력하긴 하지만, 유일한 길은 아니라는 점을 시사합니다. 특정하고 해석 가능한 경로에 집중함으로써, path boost는 "중간 지점"을 제공합니다. 무거운 GNN보다 빠르면서도, 정답에 이르게 한 단서들의 명확한 지도를 제공합니다.

코드는 GitHub와 PyPI에서 무료로 사용할 수 있으므로 누구나 시도해 볼 수 있습니다. 저자들이 말했듯, 과학에서 예측이 "왜" 이루어졌는지를 이해하는 것은 예측 그 자체만큼이나 중요합니다. path boost는 한 번에 하나의 경로씩, 그 이해를 돕습니다.