🤖 machine learning

TopoFormer: Topology Meets Attention for Graph Learning

TopoFormer는 그래프를 병렬 처리가 가능한 시퀀스로 분해하는 새로운 Topo-Scan 모듈을 통해 위상 구조를 어텐션 기반 모델에 통합함으로써, 전통적인 지속성 호몰로지(persistent homology)의 계산 비용 없이도 그래프 학습에서 최첨단 성능을 달성하는 가볍고 확장 가능한 프레임워크입니다.

원저자: Md Joshem Uddin, Astrit Tola, Cuneyt Gurcan Akcora, Baris Coskunuzer

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Md Joshem Uddin, Astrit Tola, Cuneyt Gurcan Akcora, Baris Coskunuzer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터에게 사물의 형태를 이해하도록 가르치려 한다고 상상해 보십시오. 데이터의 세계에서 우리는 종종 연결 관계를 나타내기 위해 "그래프"를 사용합니다. 소셜 네트워크의 친구 관계, 분자의 원자, 또는 지하철 노선도와 같은 것들 말입니다. 이것들은 스프레드시트처럼 깔끔한 격자 형태가 아니라, 무질서하고 불규칙한 그물망 형태를 띱니다. 오랫동안 컴퓨터는 개별적인 점(노드)과 선(엣지)을 보는 데 너무 급급한 나머지, 숲을 보지 못하고 나무만 보게 되어 이러한 그물망의 전체적인 형상을 파악하는 데 어려움을 겪었습니다.

이러한 그물망의 "형태"를 컴퓨터가 이해할 수 있도록 돕기 위해, 과학자들은 위상 데이터 분석(Topological Data Analysis, TDA)이라는 수학 분야를 사용합니다. TDA를 점들의 정확한 크기나 위치에 상관없이 도넛의 구멍을 세는 것과 같다고 생각하십시오. 도넛이 거대하든 아주 작든, 도넛에 구멍이 하나 있다는 것을 아는 것과 같습니다. 또 다른 핵심 개념은 언어를 읽거나 이미지를 보는 데 탁한 유명한 AI인 "트랜스포머(Transformer)"입니다. 트랜스포머는 긴 단어 목록이나 픽셀의 패턴을 찾아내는 데는 뛰어나지만, 무질서하고 불규칙한 그래프에는 어려움을 겪곤 합니다. 연구자들이 던져온 핵심 질문은 이것입니다. 어떻게 하면 이 무질서하고 불규칙한 그물망을 트랜스포머가 읽을 수 있는 깔끔하고 정돈된 목록으로 바꾸면서도, 중요한 "형태" 정보를 온전히 유지할 수 있을까 하는 점입니다.

여기서 TOPOFORMER라는 새로운 논문이 등장합니다. 저자들은 미국 대학의 연구진으로, 그래프를 위한 고성파 스캐너 역할을 하는 영리한 도구를 구축했습니다. 이들은 무질서한 그래프를 경직된 격자에 억지로 끼워 맞추는 대신, 마치 식빵을 슬라이스하거나 인체의 CT 촬영을 연속해서 찍는 것처럼 그래프를 일련의 얇고 순서 있는 층으로 자릅니다.

이 마법 같은 기술이 작동하는 방식은 다음과 같습니다. 그들은 Topo-Scan이라고 부르는 방법을 사용합니다. 복잡하게 꼬인 실뭉치를 상상해 보십시오. 전통적인 방식은 꼬인 매듭 전체를 한꺼번에 측정하려고 하거나 모든 뒤틀림을 담은 복잡한 3D 지도를 만들려고 할 것이며, 이는 엄청난 시간과 컴퓨팅 자원을 소모할 것입니다. 하지만 TOPOFORMER는 다른 접근 방식을 취합니다. 슬라이딩 윈도우를 사용하여 그래프를 천천히 "베어 나갑니다." 그래프를 통과하며 이동하는 동안, 각 슬라이스에서 단순한 것들을 계산합니다. 현재 몇 개의 별개 조각들이 있는가? 얼마나 많은 루프(고리)가 형성되었는가? 지금 눈에 보이는 매듭은 몇 개인가?

이러한 수치들은 짧고 깔끔한 숫자 목록, 즉 "위상 토큰 시퀀스(topological token sequence)"를 만들어냅니다. 이 목록은 트랜스포머가 읽기에 완벽한 형태를 갖추고 있습니다. 그러면 트랜스포머는 이 목록을 살펴보고 작은 국소적 루프부터 거대한 전역적 형태에 이르기까지 그래프의 전반적인 구조를 인식하는 법을 배웁니다. 저자들은 이 방법이 기존 기술(종종 값비싼 계산 작업 때문에 과부하가 걸리는)보다 훨씬 빠르고 가벼울 뿐만 아니라, 놀라울 정도로 효과적이라는 것을 발견했습니다.

실험에서 TOPOFORMER는 두 가지 주요 작업에 대해 테스트되었습니다: 서로 다른 유형의 그래프를 분류하는 것(예: 그래프가 화학 분자인지 소셜 네트워크인지 구별하기)과 분자의 특성을 예측하는 것(예: 약물이 효과가 있을지 혹은 독성이 있을지 예측하기). 결과는 인상적이었습니다. 8개의 서로 다른 그래프 분류 벤치마크에서 TOPOFORMER는 최고 또는 두 번째로 높은 정확도를 달ien 성하였으며, 수년간 표준이었던 많은 복잡하고 무거운 모델들을 앞질렀습니다. 분자 특성을 예측할 때도 현재 사용되는 최고 수준의 모델들과 대등하거나 더 나은 성능을 보였으며, 자주 상위 3위 안에 들었습니다.

특히 흥ًا 것은 TOPOFORMER가 그래프의 모든 노드에 대해 고유한 "임베딩(embedding, 복잡한 내부 코드)"을 먼저 학습할 필요가 없다는 점입니다. 대신, 그래프 전체를 하나의 구조화된 객체로 취급하여 직접 스캔합니다. 저자들은 이 접근 방식이 그래프를 위한 "파운데이션 모델(foundation models)"—즉, 매번 처음부터 다시 학습할 필요 없이 생물학에서 소셜 미디어에 이르기까지 어떤 종류의 네트워크도 이해할 수 있는 초지능형 AI 시스템—을 만들기 위한 효율적인 길을 제시한다고 제안합니다. 또한 그들은 자신들의 방법이 수학적으로 안정적임을 증명했는데, 이는 입력 그래프가 약간 변하더라도 출력이 엉뚱하게 변하지 않는다는 것을 의미하며, 이는 실제 환경에서의 신뢰성에 매우 중요합니다.

요약하자면, TOPOFORMER는 무질서하고 불규칙한 그래프의 세계를 깔끔하고 읽기 쉬운 이야기로 잘라내어, 강력한 AI가 그 이야기를 읽고 데이터의 형태를 이해할 수 있게 해줍니다. 이는 기계가 연결과 형태의 관점에서 세상을 바라볼 수 있도록 가르치는 더 가볍고 빠르며 놀라울 정도로 효과적인 방법입니다.

기술 요약: TOPOFORMER

문제 정의

그래프 표현 학습은 비전 및 언어 분야의 파운데이션 모델이 보여주는 일반화 능력을 달 achieve하는 데 있어 상당한 어려움에 직면해 있습니다. 그래프의 불규칙하고 비유클리드적인 특성은 전이 가능한 귀납적 편향(inductive biases)을 설계하는 것을 복잡하게 만듭니다. 위상 데이터 분석(TDA), 특히 지속성 호몰로지(Persistent Homology, PH)는 안정적이고 다중 스케일인 구조적 정보(전역 연결성 및 사이클)를 인코딩하는 원칙적인 방법을 제공하지만, 이를 딥러닝에 도입하는 데에는 두 가지 주요 병목 현상이 존재합니다:

계산 비용: 표준 PH 파이프라인은 지속성 다이어그램(persistence diagrams)을 계산하기 위해 값비싼 전역 축약(global reductions)을 필요로 하며, 이는 병렬화가 잘 되지 않습니다.
벡터화 마찰(Vectorization Friction): 지속성 다이어그램을 벡터(예: persistence images, landscapes)로 변환하는 과정은 종종 임의적(ad hoc)이며, 순차적인 구조적 정보를 파괴할 수 있고, 다운스트림 성능에 큰 영향을 미칩니다. 또한, 그래프에 대한 전통적인 하위 레벨 여과(sublevel filtrations)는 고가치 노드가 조기에 활성화되어 복합체를 채워버리고 늦게 나타나는 위상적 특징을 억제하는 "조기 포화(early saturation)" 현상을 겪는 경우가 많습니다.

기존의 그래프 트랜스포머(예: Graphormer, GPS)는 일반적으로 노드 토큰 상에서 직접 작동하며, 위치 인코딩이나 어텐션 바이어스를 통해 구조를 주입하지만, 이는 계산량이 많고 전역 위상 불변량에 집중하는 데 한계가 있습니다.

방법론: TOPOFORMER 및 Topo-Scan

저자들은 지속성 다이어그램 전체나 복잡한 벡터화 단계 없이도, 위상 구조를 어텐션 친화적인 시퀀스로 인코딩하는 가볍고 확장 가능한 프레임워크인 TOPOFORMER를 제안합니다.

핵심 구성 요소: Topo-Scan

핵심 혁신은 그래프를 짧고 정렬된 위상 토큰 시퀀스로 분해하는 Topo-Scan 모듈입니다. 단일 중첩 여과(nested filtration)를 구축하는 표준 PH와 달리, Topo-Scan은 슬라이딩 윈도우 접근 방식을 사용합니다:

여과(Filtration): 정점(vertices)에 대한 스칼라 함수 $f: V \to \mathbb{R}$ 가 정의됩니다 (예: 차수, 곡률, 열 커널 시그니처).
슬라이싱(Slicing): 누적 임계값 대신, 여과 함수의 구간 $[\alpha_i, \alpha_i + m]$ 을 기반으로 그래프를 겹치는 부분 그래프 $G_i$ 들로 슬라이싱합니다.
토큰 생성: 각 슬라이스에 대해 클리크 복합체(clique complex)를 형성하고, 네 가지 불변량을 계산합니다:
1. $\beta_0$ : 연결 성분의 수 (Betti-0).
2. $\beta_1$ : 사이클/구멍의 수 (Betti-1).
3. $|V_i|$ : 노드 수.
4. $|E_i|$ : 엣지 수.
시퀀스 형성: 이러한 불변량들은 $4N$ 길이(여기서 $N$ 은 슬라이스의 수)의 압축되고 정렬된 시퀀스 $\Gamma(G)$ 를 형성합니다. 이 시퀀스는 표준 하위 레벨 여과의 조기 포화 문제를 피하면서, 다양한 스케일에 걸친 위상적 특징의 진화를 보존합니다.

트랜스포머 아키텍처

생성된 위상 시퀀스는 트랜스포머 인코더로 직접 입력됩니다.

입력: 특정 슬라이스의 위상 상태를 나타내는 토큰 시퀀스입니다.
처리: 트랜스포머는 셀프 어텐션 메커니즘을 활용하여 시퀀스 간의 의존성을 포착하며, 효과적으로 다중 해상도 구조 패턴을 모델링합니다.
이중 트랜스포머 프레임워크: 모델은 여러 여과 함수(예: Ollivier-Ricci 곡률, 열 커널 시그니처)를 병렬로 처리할 수 있습니다. 독립적인 트랜스포머들의 출력은 학습 가능한 가중 합과 MLP 분류기를 통해 융합되어 그래프 수준의 임베딩을 생성합니다.
분자 특성 예측(MPP): 분자 작업의 경우, 프레임워크는 위상 시퀀스를 ECFP와 같은 표준 분자 핑거프린트와 함께 MLP로 처리하여 어텐션 기반 결합(concatenation)을 통해 통합합니다.

이론적 보장

논문은 Topo-Scan에 대한 이론적 안정성 보장을 제공합니다. 저자들은 이 방식이 여과 함수의 작은 섭동(perturbation)에도 출력 시퀀스가 제한된 변화만을 보이도록 하는 이산 $\ell_1$ 안정성 경계(discrete $\ell_1$ stability bound)를 확립했습니다. 이는 Topo-Scan 토큰과 인터레벨 지속성 모듈(interlevel persistence modules) 간의 관계에 기초하며, 이 방법이 입력 신호의 노이즈에 강건함을 보여줍니다.

주요 기여

확장 가능한 위상 인코딩: 위상 구조를 어텐션이 가능한 시퀀스로 변환하는 방법으로, 노드 임베딩이나 무거운 전처리 없이도 트랜스포머가 그래프를 처리할 수 있게 합니다.
TDA와 딥러닝의 가교: 시퀀셜 어텐션 메커니즘을 통해 로컬 및 글로벌 그래프 구조를 모두 포착함으로써, 지속성 다이어그램의 계산 오버헤드를 피하는 통합된 프레임워크를 제공합니다.
포괄적인 평가: 그래프 분류 및 분자 특성 예측 벤치마크에서 SOTA 성능을 입증하는 광범적인 실험을 수행했습니다.
효율성 및 안정성: 표현의 강건성에 대한 이론적 보장과 함께, 대규모 애플리케이션에 적합한 예측 가능하고 효율적인 연산을 실증적으로 증명했습니다.

실험 결과

저자들은 다양한 데이터셋에 대해 TOPOFORMER를 평가했습니다:

그래프 분류: 9개의 벤치마크(BZR, MUTAG, IMDB-B/M, REDDIT-B/5K, OGBG-MOLHIV 포함)에서 테스트되었습니다.
- TOPOFORMER는 8개 벤치마크 중 7개에서 최고 또는 차석(second-best) 정확도를 달성했습니다.
- BZR, MUTAG, PROTEINS, IMDB-M, REDDIT-B, REDDIT-5K에서 새로운 SOTA를 기록했습니다.
- GNN, 위상 기반 방법(PersLay, DMP), 대조 학습 모델을 포함한 20개의 베이스라인을 능가했습니다.
- 대규모 OGBG-MOLHIV 데이터셋에서 강력한 Graphormer 베이스라인과 약 2점 차이 내의 AUC를 달성하며 확장성을 입증했습니다.
분자 특성 예측 (MPP): MoleculeNet의 7개 데이터셋(BBBP, Tox21, ToxCast, ClinTox, SIDER, BACE, HIV)에서 테스트되었습니다.
- TOPOFORMER* (핑거프린트와 결합된 형태)는 ToxCast, ClinTox, BACE에서 최상의 ROC AUC를 달성했습니다.
- Tox21에서 2위를 차지했으며 HIV에서도 매우 경쟁력 있는 성능을 보였습니다.
- 모든 데이터셋에 대해 최적의 모델로부터의 평균 편차 및 평균 순위가 두 번째로 낮았습니다.
Ablation 연구:
- vs. PH: TOPOFORMER는 표준 PH-MLP 및 PH-Transformer 베이스라인보다 우수한 성능을 보였으며, 이는 Topo-Scan이 표준 PH 여과보다 더 표현력 있는 구조를 포착하고 시퀀셜 인코딩이 정적 벡터화보다 우월함을 확인시켜 줍니다.
- 여과 민감도: 모델은 다양한 여과 함수(Degree, Ollivier-Ricci, HKS)와 윈도우 너비에 대해 강건함을 보여주었습니다.
- 특징 결합: 위상적 특징을 분자 핑거프린트와 결합하는 것이 두 양식(modality)을 단독으로 사용하는 것보다 일관되게 우수한 성능을 냈습니다.

의의 및 주장

본 논문은 TOPOFORMER를 그 자체로 완전한 파운데이션 모델이라기보다는, 위상 인식 그래프 파운데이션 모델을 향한 한 단계로 규정합니다. 그 의의는 다음과 같습니다:

통합적 접근: 위상적 귀납적 편향을 어텐션 프레임워크에 직접 통합하는, 병렬화 가능한 통합적 접근 방식을 제공합니다.
효율성: 전역 지속성 다이어그램 계산을 우회함으로써, 전통적인 TDA가 너무 느린 대규모 애플리케이션에서도 실용적으로 사용할 수 있는 예측 가능하고 효율적인 연산을 제공합니다.
일반화: TOPOFORMER가 생성하는 고정 크기의 전이 가능한 표현은 다양한 크기와 도메인의 그래프에 대해 일관된 임베딩을 요구하는 작업에 적합하며, 이는 그래프 학습의 핵심 과제를 해결합니다.
제한된 범위: 저자들은 본 연구가 간소화된 그래프 수준의 인스턴스에 집중하고 있음을 명시했습니다. 노드/엣지 수준의 작업, 이질적 설정(시계열/인용 그래프), 그리고 이질적 코퍼스에 대한 대규모 사전 학습은 향후 연구 과제로 남겨두었습니다. 이들은 Topo-Scan을 완전한 지속성 호몰로지를 대체하기보다는 보완하는 가벼운 요약(summary)으로 간주합니다.