🤖 machine learning

Differentiable Lifting for Topological Neural Networks

본 논문은 정적이고 비지도 학습 방식의 한계를 극wati하고 다양한 벤치마크에서 위상 신경망(Topological Neural Networks)의 성능을 크게 향상시킴으로써, 그래프 리프팅을 고차 구조로 미분 가능한 방식으로 엔드 투 엔드로 학습할 수 있게 하는 일반적인 프레임워크인 $\partial$ lift (DiffLift)를 소개한다.

원저자: Jorge Luiz Franco, Gabriel Duarte, Alexander Nikitin, Moacir Ponti, Diego Mesquita, Amauri H. Souza

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jorge Luiz Franco, Gabriel Duarte, Alexander Nikitin, Moacir Ponti, Diego Mesquita, Amauri H. Souza

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 연결의 지도를 보고 세상을 이해하도록 컴퓨터를 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이러한 지도들은 **그래프(graphs)**라고 불리며, 여기서 점(사람이나 원자 같은 것)들은 선(우정이나 화학 결합 같은 것)에 의해 연결됩니다. 수년 동안, **그래프 신경망(Graph Neural Networks)**이라 불리는 똑똑한 컴퓨터 프로그램들은 이러한 지도를 읽는 데 뛰어난 능력을 보여주었지만, 한 가지 맹점이 있었습니다. 그것은 그들이 주로 누가 누구와 직접적으로 연결되어 있는지만을 본다는 것입니다. 그들은 전체적인 큰 그림, 예를 들어 친구 무리 전체가 어떻게 함께 어울리는지 또는 여러 개의 겹쳐진 원들에 의해 어떻게 복잡한 모양이 형성되는지와 같은 것을 놓칩니다.

이를 해결하기 위해, 과학자들은 **위상 신경망(Topological Neural Networks)**을 발명했습니다. 이것들을 초강력 독서가라고 생각해보세요. 이들은 그래프를 보고 "헤이, 이 세 개의 점은 단순히 친구 사이일 뿐만 아니라, 하나의 삼각형을 이루고 있어!"라거나 "이 다섯 개의 점은 작은 클릭(clique)을 형성하고 있네"라고 말할 수 있습니다. 이러한 모양과 집단(고차 구조/higher-order structures)을 보는 능력은 컴퓨터가 복잡한 데이터를 훨씬 더 잘 이해하도록 돕습니다. 하지만 까다로운 점은, 이 모양들을 보기 위해서 컴퓨터가 먼저 '어떻게 볼 것인지'를 전달받아야 한다는 것입니다. 이들에게는 평면적인 점과 선의 지도를 모양들의 3D 구조로 변환해 줄 '리프터(lifter)'가 필요합니다. 지금까지 과학자들은 자물쇠를 보지도 못한 채 맞는 열쇠를 맞추려는 것처럼, 어떤 리프팅 방법을 사용할지 추측해야만 했습니다. 때로는 그 추측이 적중하기도 하지만, 때로는 처참하게 실패하여 컴퓨터를 혼란에 빠뜨리기도 합니다.

여기서 $\partial$ lift(디프리프트라고 발음)라는 영리한 해결책을 제시하는 새로운 논문이 등장합니다. $\partial$ lift는 맞는 열쇠를 추측하는 대신, 모든 특정 작업에 적합한 완벽한 리프팅 방식을 스스로 찾아내는 똑똑하고 학습 가능한 기계를 구축했습니다. 당신이 레고 블록 상자(당신의 데이터)를 가지고 있다고 상상해 보세요. 기존의 방법들은 "항상 성을 만들어라"라고 적힌 경직된 설명서를 따르는 것과 같았습니다. 만약 당신이 우주선을 만들려고 한다면 말이죠. $\partial$ lift는 당신의 블록과 목표를 살펴본 뒤, "좋아, 이 우주선을 위해서는 이 블록들을 날개로 그룹화해야 하고, 저 로켓을 위해서는 이 블록들을 핀(fin)으로 그룹화해야겠어"라고 결정하는 로봇과 같습니다.

연구진은 화학적 특성 예측부터 사회적 네트워크 분류에 이르기까지 다양한 퍼즐을 통해 이 아이디어를 테스트했습니다. 그들은 $\partial$ lift가 게임 체인저라는 사실을 발견했습니다. 많은 테스트에서, 이 방식은 기존의 정적인 추측 방식들을 큰 차이로 앞질렀으며, 때로는 정확도를 최대 **45%**까지 향상시켰습니다. 이 모델은 데이터를 살펴보고, 어떤 점들의 집단이 중요한지를 학습한 다음, 그들을 적절한 모양(삼각형이나 거품 같은 것)으로 '리프팅'하여 컴퓨터가 문제를 해결하도록 돕는 방식으로 작동합니다.

이 논문은 이 방법이 하이퍼그래프(하나의 선이 동시에 여러 점을 연결할 수 있는 구조)와 셀 복합체(cell complexes, 다양한 크기의 빌딩 블록과 같은 구조)를 포함한 다양한 유형의 구조에 대해 작동함을 보여줍니다. 저자들은 '리프팅' 과정을 학습 가능하고 적응 가능하게 만듦으로써, 우리가 잘못된 추측에 시간을 낭비하는 것을 멈추고 AI가 주어진 데이터의 형상을 스스로 가장 잘 볼 수 있는 방법을 설계하게 할 수 있다고 제안합니다. 이 방법이 최적의 모양을 찾아내기 위해 약간 더 많은 컴퓨터 자원을 소모하기는 하지만, 결과는 기존의 방식들이 막히는 까다로운 문제들에서 그 추가적인 노력을 들일 가치가 충분하다는 것을 시사합니다. 이는 AI가 단순히 규칙을 따르는 것이 아니라, 주어진 데이터의 형상을 이해하는 방향으로 나아가는 한 걸음입니다.

기술 요약: 위상적 신경망을 위한 미분 가능한 리프팅 (Differentiable Lifting for Topological Neural Networks)

문제 정의

위상적 신경가망(Topological Neural Networks, TNNs)은 전통적인 그래프 신경망(GNN)의 표현력을 향상시키기 위해 고차 구조(예: 사이클, 클리크, 심플렉스)를 활용할 수 있는 강력한 모델 클래스로 부상했습니다. 그러나 리프팅(lifting) 과정, 즉 입력 그래프를 위상적 도메인(하이퍼그래프, 심플렉스 복합체 또는 셀 복합체 등)으로 변환하는 과정에 결정적인 병목 현상이 존재합니다.

현재 리프팅 연산은 주로 **비지도 방식이며 정적(static)**입니다. 사이클 리프팅, $k$ -hop 리프팅, 또는 $k$ -최근접 이웃( $k$ -NN) 리프팅과 같은 방법들은 그래프 연결성이나 노드 특징에 기반한 사전 정의된 휴리스틱에 의존합니다. 본 논문에서 입증되었듯이, 최적의 위상적 도메인과 리프팅 절차는 데이터에 매우 의존적이며 작업별로 특화되어 있습니다. 정적인 비지도 리프팅은 종종 차원이 낮은 위상적 표현을 생성하여, 결과적으로 TNN의 다운스트림 성능을 제한하는 최적화되지 않은 결과를 초래합니다. 셀 복합체에 대해 미분 가능한 리프팅이 이전에 탐구된 바 있으나(예: DCM), 하이퍼그래프와 심플렉스 복합체를 포함한 다양한 위상적 도메인에 적용 가능한 일반적인 프레임워크는 부족한 실정입니다.

방법론: $\partial$ lift (DiffLift)

저자들은 그래프 리프팅을 학습하기 위한 일반적이고 엔드투엔드(end-to-end)로 미분 가능한 프레임워크인 $\partial$ lift를 제안합니다. 고정된 규칙을 사용하는 대신, $\partial$ lift는 출력 구조에 포함될 후보 고차 셀(higher-order cells)에 대한 분포를 식별하고 매개변수화하는 법을 학습합니다.

핵심 메커니즘

이 프레임워크는 반복적이고 계층적인 샘플링 과정을 통해 작동합니다:

노드 임베딩: 임의의 GNN(예: GIN, GPS)이 입력 그래프의 각 노드에 대해 잠재 표현( $z_v$ )을 계산합니다.
후보 추출 (Candidate Elicitation): 이러한 임베딩을 바탕으로 모델은 일련의 후보 셀들을 정의합니다.
- 하이퍼그래프의 경우, 후보는 임베딩 공간에서 노드 $v$ 의 $k_v$ 최근접 이웃을 선택함으로써 형성됩니다. 여기서 $k_v$ 는 $z_v$ 에 의해 매개변수화된 분포로부터 적응적으로 샘플링됩니다.
- 셀 복합체의 경우, 과정은 계층적입니다. 차원 $D=1$ 에 대해 후보 에지는 하이퍼에지와 유사하게 형성됩니다. $D \ge 2$ 인 경우, 후보 셀(예: 2-cells)은 대상 도메인의 계층적 제약을 준수하면서 현재 복합체의 사이클(또는 클리크)로부터 유도됩니다.
수락/거절 (Acceptance/Rejection): 각 후보 셀 $C$ 에 대해, 신경망(일반적으로 MLP 또는 DeepSet)은 $C$ 내에 있는 노드 임베딩들의 멀티셋(multiset)을 처리하여 수락 확률 $\phi(z_C)$ 를 출력합니다.
확률적 샘플링: 베르누이 샘플링(Bernoulli sample)은 이 이산적 샘플링 단계를 통해 결정된 셀의 포함 여부를 결정하며, 그래디언트는 straight-through estimator를 사용하여 이 단계로 전파됩니다.
반복: 이 과정은 최대 차원 $D_{max}$ 에 도달할 때까지 증가하는 차원( $D \to D+1$ )에 대해 반복됩니다.

특징 리프팅 (Feature Lifting)

새롭게 형성된 고차 셀을 위한 특징은 구성 노드 특징들의 스케일된 합 투영(scaled sum projection)을 통해 계산되며, 이를 통해 리프팅된 구조가 표준 TNN 메시지 패싱 레이어와 호환되도록 보장합니다.

주요 기여

일반적인 미분 가능 프레임워크: $\partial$ lift는 하이퍼그래프, 심플렉스 복합체, 셀 복합체를 포함한 다양한 위상적 도메인에 걸쳐 그래프 리프팅을 가능하게 하는 일반적인 프레임워크로서, 특정 도메인에 국한되었던 이전 연구들을 확장합니다.
적응형 구조 학습: 정적인 방법과 달리, $\partial$ lift는 작업별 목적과 학습된 노드 표현에 기반하여 고차 셀의 크기와 구성을 학습합니다(예: 적응형 하이퍼에지 크기).
계층적 샘플링: 이 방법은 저차원 셀이 고차원 셀의 생성을 안내하는 반복적인 샘플링 절차를 도입하여, 위상적 객체의 계층적 특성을 자연스럽게 모델링합니다.
통합성: 이 프레임워크는 기존 TNN 파이프라인에 원활하게 통합되도록 설계되었으며, 오프더쉘(off-the-shelf) TNN 아키텍처로 전달되는 학습 가능한 전처리 레이어 역할을 수행합니다.

실험 결과

저자들은 12개의 데이터셋(그래프 분류 - 분자 특성 및 노드 분류 작업 포함)에 대해 네 가지 다른 TNN 아키텍처(CWN, CXN, CIN, UniGCNII, UniGIN)를 사용하여 $\partial$ lift를 평가했습니다.

그래프 분류: $\partial$ lift는 24개 실험 중 22개에서 정적 리프팅 방법(cycle, $k$ -hop, $k$ -NN, kernel)을 일관되로 능가했습니다. 특히 ZINC 데이터셋에서 CWN을 사용할 때, $\partial$ lift는 MAE를 0.46에서 0.17로 감소시켰습니다.
노드 분류: $\partial$ lift는 정적 리프팅 및 미분 가능한 베이스라인인 DCM과 비교하여 경쟁력 있거나 우수한 성능을 보였습니다. 특히 이질적(heterophilic) 데이터셋(예: Texas)에서 DCM을 크게 앞질렀습니다. Cora 데이터셋의 경우, DCM이 80.73%를 달성했을 때 $\partial$ lift와 TopoTune의 조합은 86.82%를 기록했으나, $\partial$ lift와 CWN의 조합은 80.17%로 DCM보다 약간 낮았습니다. 전반적으로 $\partial$ lift는 여러 데이터셋에서 강력한 성능을 보였으며, 종종 DCM을 큰 차이로 앞질렀습니다.
강건성: $\partial$ lift는 서로 다른 백본 GNN(GIN vs. GPS)에 대해 강건함을 보여주었으나, 더 풍부한 표현(GPS)이 일반적으로 더 나은 결과를 냈습니다.
효율성: $\partial$ lift는 샘플링 및 확률 계산으로 인해 정적 방법보다 약간의 런타임 오버헤드가 발생하지만, 여전히 계산적으로 실행 가능합니다. 하이퍼그래프의 경우 과정이 병렬 처리가 용이하며, 셀 복합체의 경우 비용은 사이클 기저(cycle basis) 계산에 의해 지배되지만 관리 가능한 수준입니다.

의의 및 주장

본 논문은 $\partial$ lift가 위상적 딥러닝의 근본적인 한계인 비지도 방식의 작업 불가지론적(task-agnostic) 리프팅 절차 의존 문제를 해결한다고 주장합니다. 리프팅 과정을 학습 가능하고 작업 정보에 기반하도록 만듦으로써, 저자들은 데이터의 위상적 구조가 다운스트림 작업에 맞춰 구체적으로 최적화될 수 있음을 입증했습니다.

저자들은 이러한 접근 방식이 상당한 경험적 이득을 가져온다는 점을 강조하며, 이는 "최적의" 위상적 도메인이 데이터의 고정된 속성이 아니라 학습 목적의 함수임을 시사합니다. 또한, 적응형 리프팅은 고차 셀(예: 2-cells)을 도입하여 그래프의 병목 구간에 대한 지름길을 생성함으로써 오버스쿼싱(oversquashing) 문제를 완화하고, 이를 통해 먼 노드 간의 정보 흐름을 개선할 수 있다고 상정합니다.

결론적으로, 현재 구현은 TNN 라이브러리 제약으로 인해 2차원 셀 복합체로 제한되어 있지만, 이 프레임워크는 다른 도메인(예: 포인트 클라우드)으로 일반화가 가능하며 완전히 적응 가능한 위상적 딥러닝을 향한 중요한 진전임을 밝히고 있습니다.