🤖 machine learning

Scalable Pairwise Kernel Learning with Stochastic Vec Trick

이 논문은 대규모 약물-표적 결합 친화도 데이터셋에 대한 효율적인 학습을 가능하게 하기 위해 계산 및 메모리 비용을 크게 줄이는 확률적 일반화 vec 트릭(sGVT)을 활용하는 쌍별 설정(pairwise settings)을 위한 확장 가능한 커널 학습 방법인 SPaiK을 소개한다.

원저자: Napsu Karmitsa, Tapio Pahikkala, Antti Airola

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Napsu Karmitsa, Tapio Pahikkala, Antti Airola

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 어떤 **약물(Drugs)**이 어떤 표적(Targets)(예: 체내의 단백질)과 잘 맞을지 예측하려는 중매쟁이라고 상상해 보세요. 머신러닝의 세계에서 이것은 "쌍별 학습(Pairwise Learning)"이라고 불립니다.

보통, 1,000개의 약물과 1,000개의 표적이 있다면, 당신은 1,000,000개의 가능한 조합을 확인해야 합니다. 만약 모든 쌍의 "호환성 점수"를 한꺼번에 계산하려고 시도한다면, 컴퓨터의 두뇌(메모리)는 폭발할 것이고 계산에는 영원한 시간이 걸릴 것입니다. 이는 마치 최고의 이야기를 찾기 위해 백만 페이지짜리 백과사전의 모든 페이지를 동시에 읽으려는 것과 같습니다.

이 논문은 이 문제를 해결하기 위한 새로운 방법인 SPaiK(Scalable Pairwise Kernel learning)를 소개합니다. 이 방법이 어떻게 작동하는지 쉬운 개념으로 나누어 설명해 드리겠습니다.

1. 오래된 문제: "전부 아니면 전무(All-or-Nothing)" 방식

전통적인 방법들은 백과사전 전체를 한꺼번에 보려고 시도합니다. 그들은 전체 백만 페이지의 책을 다 쓰는 것을 피하기 위해 **일반화된 벡터 트릭(Generalized Vec Trick, GVT)**이라는 수학적 지름길을 사용합니다. 모든 페이지를 쓰는 대신, 정답으로 바로 건너뛰는 영리한 공식을 사용하는 것입니다.

함정: 이 지름길을 사용하더라도, 만약 쌍이 수백만 개라면 컴퓨터는 학습 과정의 매 단계마다 엄청난 양의 작업을 수행해야 합니다. 이는 마치 사서가 학생의 질문 하나하나마다 도서관 전체를 계속 돌아다녀야 하는 것과 같습니다.

2. 새로운 해결책: "확률적(Stochastic)" 접근 방식 (SPaiK)

저자들은 sGVT(Stochastic Generalized Vec Trick)라는 새로운 기술을 발명했습니다.

비유: 사서가 질문 하나마다 도서관 전체를 돌아다니는 대신, SPaiK은 이렇게 말합니다. "지금 당장은 작은 무작위 책 더미(이것을 '배치(batch)'라고 부릅니다)만 살펴봅시다."
작동 원리: 컴퓨터는 작은 그룹의 약물-표적 쌍을 골라 학습하고, 자신의 "직감"(모델)을 업데이트합니다. 그다음, 다른 작은 그룹을 골라 다시 학습합니다.
마법의 재료: 컴퓨터가 이전의 책 더미에서 배운 내용을 잊지 않도록 하기 위해, SPaiK은 특별한 "컨닝 페이퍼"(보조 행렬 M이라 불림)를 보관합니다. 이 컨닝 페이퍼는 지금까지 본 약물과 표적 사이의 관계를 기억하여, 컴퓨터가 새로운 배치를 선택할 때마다 모든 것을 처음부터 다시 배울 필요가 없게 해줍니다.

3. 이것이 왜 대단한 일인가

이 논문은 이 새로운 방법이 기존에는 다루기에 너무 컸던 데이터셋에서도 모델을 훈련할 수 있게 해준다고 주장합니다.

속도: 훨씬 빠릅니다. 데이터를 한 번에 작은 배치 단위로 살펴봄으로써(예: 데이터의 20%씩), 컴퓨터는 훨씬 적은 시간 안에 작업을 마칩니다.
정확도: 놀랍게도, 데이터의 일부만 보는 것이 모델을 "멍청하게" 만들지는 않습니다. 논문은 SPaiK이 느린 기존 방식만큼이나 매칭을 예측하는 데 뛰어남을 보여줍니다.
"제로샷(Zero-Shot)" 초능력: 논문은 **제로샷 학습(Zero-Shot Learning)**이라는 매우 어렵고 구체적인 과제를 강조합니다. 이것은 컴퓨터가 이전에 본 적이 없는 새로운 약물과 새로운 표적 사이의 매칭을 예측해야 하는 상황입니다.
- 대부분의 방법은 여기서 고전합니다.
- 하지만 SPaiK은 이러한 "제로샷" 시나리오에서 매우 우수한 성능을 보였으며, 때로는 더 느린 기존 방식들을 능가하기도 했습니다. 이는 마치 사람들이 어떻게 연결되는지에 대한 일반적인 패턴을 이해함으로써, 한 번도 만나본 적 없는 두 사람을 성공적으로 짝지어주는 전문 중매쟁이와 같습니다.

4. "스윗 스팟(Sweet Spot)"

연구진은 "배치"의 크기(한 번에 얼마나 많은 쌍을 볼 것인지)를 다양하게 테스트했습니다.

데이터의 100%를 보는 경우: 매우 정확하지만, 느립니다.
데이터의 1%를 보는 경우: 매우 빠르지만, 예측이 다소 부정확해집니다.
승자: 한 번에 데이터의 약 **20%**를 보는 것(SPaiK-20)이 완벽한 균형점이었습니다. 이는 느린 방식만큼 정확하면서도 훨씬 더 빨랐습니다.

요약

SPaiK을 거대한 시험을 공부하는 매우 효율적인 학생이라고 생각해보세요. 한 번에 교과서 전체를 암기하려고 애쓰는 대신(이는 뇌 정지를 유발합니다), 이 학생은 지금까지 배운 내용을 요약한 기록을 유지하면서 작은 집중 학습 단원별로 공부합니다. 이를 통해 학생은 교과서가 수백만 페이지에 달하더라도 중요한 세부 사항을 잊지 않으면서 훨씬 더 빠르게 내용을 마스터할 수 있습니다.

이 논문이 주장하지 않는 것:

질병을 치료하거나 실제 환자에게 이 약물을 테스트했다는 주장이 아닙니다.
이것이 즉각적으로 병원의 업무 흐름을 바꿀 것이라는 주장도 아닙니다.
이 논문은 오로지 약물-표적 매칭의 예측을 더 빠르고 확장 가능하게 만드는 수학적 및 계산적 방법에 엄격히 초점을 맞추고 있습니다.

기술 요약: 확률적 Vec Trick을 이용한 확장 가능한 쌍방향 커널 학습 (Scalable Pairwise Kernel Learning with Stochastic Vec Trick)

1. 문제 정의

쌍방향 학습(Pairwise learning)은 객체 쌍(예: 약물-타겟 결합력, 추천 시스템, 링크 예측)에 대한 결과를 예측하는 것을 포함한다. 신경망과 행렬 분해(Matrix Factorization)가 이 분야을 주도하고 있지만, 이들은 종종 제로샷 학습(zero-shot learning) 시나리오(학습 중에 두 객체 모두 본 적 없는 경우)와 콜드 스타트(cold-start) 문제에서 어려움을 겪는다. 커널 방법론은 특히 두 객체의 부수 정보(특징)를 **크로네커 곱 커널(Kronecker product kernels)**을 통해 활용할 때, 이러한 환경에서 강력한 대안을 제공한다.

그러나 대규모 데이터셋으로 커널 방법을 확장하는 데에는 상당한 병목 현상이 존재한다. $n$ 개의 학습 쌍에 대해 명시적으로 쌍방향 커널 행렬 $K$ 를 구축하는 것은 $O(n^2)$ 의 크기로 인해 계산적으로 불가능하다. **일반화된 Vec Trick (GVT)**이 행렬-벡터 곱셈의 복잡도를 $O(nm + nq) $($ m $과$ q $는 각각 고유한 약물 및 타겟의 수이며, 일반적으로$ m, q \ll n $)로 줄여주기는 하지만, 훈련 시간은 여전히 전체 쌍의 수$ n$에 따라 선형적으로 증가한다. 기존의 대규모 커널 접근 방식은 주로 단일 인스턴스 커널을 대상으로 하며, 메모리와 계산 비용을 더욱 줄이기 위한 쌍방향 커널의 구조적 특성을 충분히 활용하지 못한다.

2. 방법론

본 논문은 이전에는 다루기 힘들었던 규모의 데이터셋으로 쌍방향 커널 학습을 확장하도록 설계된 새로운 알고리즘인 SPaiK(Scalable Pairwise Kernel learning)를 소개한다. 이 방법론은 두 가지 핵심 혁신에 기반한다.

A. 확률적 일반화된 Vec Trick (sGVT)

저자들은 GVT 알고리즘의 확률적 확장 버전인 sGVT를 제안한다.

메커니즘: 모든 $n$ 개의 학습 쌍을 매 반복마다 처리하는 대신, sGVT는 쌍의 미니 배치( $n_B$ ) 단위로 작동한다.
배치 선택: 이 방법은 타겟별 배치 선택(target-wise batch selection) 방식을 채택한다. 즉, 타겟 인덱스의 하위 집합을 선택하고, 해당 타겟들과 관련된 모든 약물-타겟 쌍을 배치에 포함시킨다. 예비 실험 결과, 이 전략이 약물별 선택보다 우수한 성능을 보였다.
보조 행렬: sGVT의 핵심 구성 요소는 정보를 저장하는 보조 듀얼 약물 행렬(dual-drug matrix) $M \in \mathbb{R}^{m \times q}$ 이다. 이 행렬은 이전 배치로부터의 정보를 저장하며, 현재 배치의 예측값과 현재 배치 외부의 듀얼 변수 간의 의존성을 모델링한다. 저자들은 $M$ 이 없으면 확률적 근사가 중요한 상호작용 정보를 잃게 되어 심각한 정확도 저하를 초래한다고 언급했다.
복잡도: 행렬-벡터 곱셈의 계산 비용은 $O(nm + nq) $에서 **$ O(n_B m + n_B q) $**로 감소한다(여기서$ n_B$는 사용자가 지정한 배치 크기이다).

B. 확률적 부정확 리미티드 번들 방법 (Stochastic Inexact Limited-Memory Bundle Method, StoILMBM)

SPaiK는 InexactLMBM 솔버를 기반으로 하는 확률적 최적화 도구인 StoILMBM과 sGVT를 통합한다.

최적화 목표: 알고리즘은 ** $\epsilon$ -insensitive 제곱 손실(squared loss)**과 ** $\ell_1$ 규제(regularization)**를 사용하여 정규화된 경험적 위험 함수를 최소화한다.
과정: StoILMBM은 타겟별 배치를 반복적으로 선택하고, 다른 변수들을 고정한 상태에서 배치별 듀얼 변수에 대한 하위 문제를 해결하며, 보조 행렬을 업데이트한다.
강건성: 비매끄러운 최적화(InexactLMBM을 통해)와 $\ell_1$ 규제의 사용은 희소한(sparse) 솔루션을 생성하고 손실 함수의 비매끄러움을 처리하는 능력을 바탕으로 한다. 이는 콜드 스타트 및 제로샷 설정에서 성능을 향상시키는 것으로 입증되었다.

C. 알고리즘 흐름 (SPaiK)

초기화: 배치 크기 비율( $p_B$ ) 및 규제 파라미터를 포함한 파라미터를 설정한다.
에포크별 훈련: 첫 번째 단계에서는 모든 타겟이 무작위 순서로 적어도 한 번은 포함되도록 하는 에포크를 처리한다.
확률적 반복: 이후 반복에서는 단일 무작위 배치를 사용한다.
검증: 조기 종료(early stopping)를 트리거하기 위해 검증 지표(예: C-index)를 사용하여 성능을 모니터링한다.
출력: 테스트 데이터에 대한 예측값과 성능 지표를 반환한다.

3. 주요 기여

sGVT 도입: $O(n_B m + n_B q)$ 시간에 크로네커 곱 커널 행렬과 벡터의 효율적인 곱셈을 가능하게 하는 GVT의 확률적 확장 버전을 도입하였다.
SPaiK 개발: sGVT를 StoILMBM 최적화 도구와 결합한 확장 가능한 쌍방향 커널 학습 알고리즘을 개발하였다. 이를 통해 이전에 도달할 수 없었던 규모의 데이터셋에서도 학습이 가능하다.
상호작용 정보 보존: 보조 행렬 $M$ 의 설계를 통해 확률적 근사가 필요한 의존 구조를 유지함으로써, 쌍방향 커널의 표현력을 유지한다.
오픈 소스 구현: 저자들은 SPaiK, sGVT, StoILMBM의 전체 구현을 제공한다.

4. 실험 결과

저자들은 연속형 및 이진 레이블을 모두 포함하는 7개의 실제 약물-타겟 결합력(DTA) 데이터셋(Davis, Metz, KiBA, Merget, GPCR, Ion Channels, Enzymes)에 대해 SPaiK를 평가하였다.

비교 베이스라인: SPaK는 최첨단 쌍방향 커널 방법인 CGKronRLS(Conjugate Gradient Kronecker RLS) 및 KronSVM과 비교되었다.
성능 지표: C-index(순위 정확도), IC-index(상호작용 모델링 능력), CPU 시간을 사용하여 평가하였다.
주요 결과:
- 정확도 vs 효율성: SPaiK는 CGKronRLS 및 KronSVM과 경쟁할 만한 정확도를 달ernetes한다. 구체적으로, SPaK20 변형(배치당 20%의 타겟 사용)은 풀 배치 버전(SPaK100)과 거의 동일한 예측 정확도를 유지하면서도 상당한 속도 향상(종종 한 자릿수 배의 속도)을 제공한다.
- 제로샷 학습 (ODOT): 가장 까다로운 설정(학습 중 약물과 타겟이 모두 나타나지 않는 제로샷 학습)에서 SPaK는 특히 연속형 데이터셋에서 CGKronRLS보다 우수한 성능을 보이는 경우가 많았다. 이는 $\epsilon$ -insensitive 손실과 $\ell_1$ 규제의 강건성 덕분이다.
- 배치 크기 트레이드오프: 배치 크기를 100%에서 20%로 줄이면 C-index의 감소(연속형 데이터의 경우 평균 0.003 감소)는 미미하지만, 실행 시간은 대폭 단축된다. 더 작은 배치(1~5%)는 실행 시간은 빠르지만 눈에 띄는 정확도 손실이 발생한다.
- 배치 선택 전략: 모든 타겟이 에포크당 적어도 한 번은 포함되도록 하는 에포크별(epoch-wise) 배치 선택이 완전 무작위 선택보다 일반적으로 더 나은 IC-index 값을 보여주며, 이는 쌍방향 상호작용 구조를 더 잘 보존함을 시사한다.
- 확장성: SPaK는 풀 배치 방법이 계산적으로 불가능해지는 문제 규모까지 성공적으로 확장 가능하다.

5. 의의 및 주장

본 논문은 SPaK가 이전에는 도달할 수 없었던 규모의 데이터셋에 커널 기반 쌍방향 학습을 적용하는 것을 가능하게 한다고 주장한다. 확률적 배칭과 sGVT를 통해 모델 크기를 데이터셋 크기로부터 분리함으로써, 저자들은 커널 방법이 제로샷 및 콜드 스타트 시나리오에서의 장점을 유지하면서도 현대적인 딥러닝 시스템과 대등한 수준으로 확장될 수 있음을 입증하였다.

저자들은 다음을 강조한다:

확률적 접근 방식은 가장 어려운 제로샷 설정에서도 일반화 능력을 약화시키지 않는다.
IC-index 결과는 확률적 방법이 비선형 쌍방향 상호작용을 성공적으로 포착함을 확인시켜 주며, 이는 보조 행렬 $M$ 이 상호작용 정보를 효과적으로 보존하고 있음을 검증한다.
SPaK는 연속형 및 이진 쌍방향 학습 작업 모두에 대해 실용적이고 확장 가능한 대안을 제공하며, 약 **20%**의 배치 비율이 실행 시간과 정확도 사이의 최적의 균형을 제공한다.

이 연구는 sGVT와 같은 확률적 행렬-벡터 곱셈 기술이 여기에 사용된 특정 최적화 도구에 국한되지 않으며, 확장성을 높이기 위해 다른 크로네커 곱 커벨 방법(예: CG 기반 접근 방식)에도 통합될 수 있음을 시사한다.