🤖 machine learning

Rethinking Federated Graph Foundation Models: A Graph-Language Alignment-based Approach

이 논문은 비지도 대조 학습과 통신 효율적인 프롬프트 튜닝을 통해 그래프 신경망을 사전 학습된 언어 모델과 연속적인 임베딩 공간에서 정렬함으로써 기존 양자화 기반 방식의 지식 손실 문제를 극복하고, 다양한 태스크와 데이터셋에 걸쳐 상당한 성능 향상을 달성하는 연합 프레임워크인 FedGALA를 소개한다.

원저자: Yinlin Zhu, Di Wu, Xianzhi Zhang, Yuming Ai, Xunkai Li, Miao Hu, Guocong Quan

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yinlin Zhu, Di Wu, Xianzhi Zhang, Yuming Ai, Xunkai Li, Miao Hu, Guocong Quan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

가장 똑똑한 컴퓨터들이 마치 명석한 사서와 같지만, 모두 별도의 고보안 금고 안에 갇혀 있는 세상을 상상해 보십시오. 보안 규정이나 개인정보 보호법 때문에 그들은 서로의 책을 공유할 수 없지만, 모두 동일한 거대한 퍼즐을 풀어야 합니다. 이것이 바로 **연합 학습(Federated Learning)**의 세계입니다. 모든 데이터를 하나의 슈퍼컴퓨터로 가져오는 대신, 우리는 "뇌"(모델)를 금고로 보내 그곳에서 로컬 도서들을 학습하게 한 뒤, 그 "교훈"만을 가져와 결합하는 방식을 취합니다.

이제 이 금고들에는 매우 다른 두 종류의 책이 들어있다고 상상해 보십시오. 한 세트는 복잡한 지도와 연결 관계(예: 지하철 노선도나 소셜 네트워크)로 가득 차 있고, 다른 한 세트는 이야기와 묘사로 가득 차 있습니다. 컴퓨터 과학에서 우리는 이 지도들을 **그래프(Graphs)**라고 부르고, 이야기들을 **텍스트(Text)**라고 부릅니다. 오랫동안 우리는 이 두 가지를 동시에 이해하도록 "파운데이션 모델(Foundation Models)"—즉, 모든 것을 조금씩 알고 있는 거대하고 사전 학습된 뇌—을 가르치기 위해 노력해 왔습니다. 하지만 이 뇌들을 잠긴 금고 안에서 가르치려 할 때, 우리는 난관에 봉착했습니다. 기존 방식들은 공간을 절약하기 위해 풍부하고 흐르는 듯한 이야기와 복잡한 지도를 단순하고 경직된 "토큰(tokens)"으로 변환하려고 했습니다(마치 고화질 영화를 블록 형태의 픽셀 이미지로 만드는 것과 같습니다). 문제는 무엇일까요? 그 과정에서 마법 같은 디테일이 사라진다는 것입니다. 미묘한 연결과 깊은 의미가 뭉개지면서, 컴퓨터는 흐릿하고 불완전한 이해만을 갖게 됩니다.

여기서 새로운 연구팀이 참신한 아이디어를 들고 등장합니다. 그들은 데이터를 딱딱한 블록으로 으깨는 대신, "이야기 뇌"와 "지도 뇌"가 서로 직접, 그리고 매끄럽고 연속적인 언어로 대화하게 해야 한다고 주장합니다. 심지어 그들이 서로 다른 금고에 갇혀 있는 동안에도 말이죠. 그들은 이 새로운 시스템을 FedGALA라고 부릅니다.

문제점: "픽셀화"의 실수

연구진은 이러한 "연합 그래프 파운데이션 모델"을 구축하려는 기존의 시도들이 마치 한정된 레고 블록 세트만을 사용하여 걸작 그림을 설명하려는 것과 같다는 점을 발견했습니다. 금고 안에 데이터를 맞추고 전달하기 위해, 기존 방식들은 복잡한 정보를 이산적인(discrete) 토큰 목록으로 강제 변환했습니다.

이렇게 생각해 보십시오. 만약 당신이 일몰의 느낌을 오직 "빨강", "주황", "노랑"이라는 단어들로만 설명하려 한다면, 그라데이션과 온기, 그리고 구름 속의 특정한 보랏빛 색조를 놓치게 될 것입니다. 기존 방식들이 정확히 이와 같았습니다. 그들은 텍ôi의 풍부하고 연속적인 흐와 복잡한 그래프 연결을 가져와서 "양자화된(quantized, 픽셀화된)" 공간으로 강제 밀어 넣었습니다. 결과는 어떠했을까요? 돌이킬 수 없는 지식의 손실이 발생했습니다. 컴퓨터는 데이터가 유용하게 쓰일 수 있게 만드는 미묘한 디테일들을 잊어버렸습니다.

게다가, 이 금고 안의 데이터는 매우 무질서합니다. 어떤 금고에는 도시의 지도가 들어있을 수 있고, 다른 금고에는 숲의 지도가 들어있을 수 있습니다. 모양이 매우 다릅니다. 이를 하나로 합치려 할 때, 컴퓨터는 혼란에 빠져 나무를 건물로, 도로를 강으로 착각하게 됩니다. 이를 "지식 얽힘(knowledge entanglement)"이라고 하며, 서로 다른 유형의 데이터가 뒤엉켜 최종적인 뇌를 더 똑똑하게 만드는 것이 아니라 오히려 멍청하게 만드는 현상입니다.

해결책: FedGALA (매끄러운 번역기)

저자들은 FedGALA(Federated Graph And Language Alignment)를 제안합니다. 데이터를 레고 블록으로 바꾸는 대신, FedGALA는 대조 학습(contrastive learning) 기술을 사용하여 "지도 뇌"(그래프 신경망)와 "이야기 뇌"(사전 학습된 언어 모델)가 매끄럽고 연속적인 공간에서 서로를 이해하도록 가르칩니다.

두 사람이 서로 다른 언어를 사용하며 함께 퍼즐을 풀려고 하는 상황을 상상해 보십시오.

기존 방식: 모든 것을 매우 기초적이고 제한된 코드(예: 모스 부호)로 번역하려 했습니다. 전송 속도는 빠르지만, 대화의 뉘앙스를 계속 놓치게 되었습니다.
FedGALA 방식: 두 언어의 풍부함을 그대로 유지하면서 실시간으로 작동하는 아주 똑똑한 번역기를 사용합니다. "지도 뇌"는 지하철 체계의 구조를 설명하는 법을 배우고, "이야기 뇌"는 텍스트를 설명하는 법을 배우지만, 이들은 자신의 금고를 떠나거나 원본 책을 공유하지 않고도 중간 지점에서 만나 그 의미에 대해 합의합니다.

작동 원리: 천재성을 향한 두 단계

FedGALA는 마스터 클래스 후에 이어지는 전문 워크숍처럼 두 가지 뚜렷한 단계로 운영됩니다.

1단계: 글로벌 마스터 클래스 (연합 사전 학습)
먼저, 시스템은 모든 금고를 순회하며 지도와 이야기가 어떻게 연결되는지에 대한 "보편적인 규칙"을 배웁니다.

비법: 단순히 모든 것을 섞어버리는 것이 아닙니다. "로컬의 풍미"(특정 금고의 세부 사항)와 "보편적 구조"(연결이 작동하는 일반적인 규칙)를 분리합니다.
시간 여행 기법: 컴퓨터가 이전 단계에서 배운 것을 잊어버리지 않도록(이를 "파괴적 망각"이라 부릅니다), 서버는 글로벌 뇌의 지난 몇 가지 버전들에 대한 "이력 로그"를 보관합니다. 새로운 금고가 참여할 때, 시스템은 이 이력을 확인하여 어떤 과거 버전이 자신의 로컬 데이터와 가장 잘 맞는지 체크합니다. 이는 마치 학생이 새로운 장을 시작하기 전에 자신에게 어떤 학습 방법이 효과적이었는지 확인하기 위해 예전 노트를 검토하는 것과 같습니다.
결과: 원본 데이터를 전혀 보지 않고도 텍스트와 그래프 사이의 깊은 구조적 연결을 이해하는 강력한 사전 학습된 뇌를 갖게 됩니다.

2단계: 전문 워크숍 (로컬 프롬프트 미세 조정)
글로벌 뇌가 준비되면, 이제 특정 문제를 해결할 차례입니다. 하지만 여기에는 함정이 있습니다. 모든 새로운 작업에 대해 이 거대한 뇌 전체를 다시 학습시키는 것은 너무 많은 시간과 대역폭이 소모됩니다.

"프롬프트"의 마법: 뇌 전체를 바꾸는 대신, FedGALA는 "프롬프트"를 사용합니다. 이것은 뇌에 붙이는 포스트잇이나 맞춤형 지침이라고 생각하면 됩니다. 예를 들어, "이 특정 작업에서는 데이터를 이런 방식으로 봐줘"라고 알려주는 것입니다.
효율성: 시스템은 각 금고와 작업에 대한 이 작고 가벼운 포스트잇(프롬프트)만을 업데이트합니다. 무겁고 사전 학습된 뇌는 얼어붙은 상태(frozen)로 변하지 않고 유지됩니다. 이는 엄청난 양의 에너지와 데이터 전송을 절약해 줍니다.
그룹화: 시스템은 어떤 금고들이 유사한 니즈를 가지고 있는지 파악할 만큼 똑똑합니다. 이들을 그룹으로 묶어 팀으로서 프롬프트를 업데이트함으로써, "포스트잇"들이 관련 없는 작업들 때문에 혼란을 겪지 않도록 보장합니다.

연구 결과: 거대한 도약

연구진은 사회적 네트워크, 인용 그래프부터 신약 개발을 위한 분자 구조에 이르기까지 8개의 데이터셋을 통해 FedGALA를 테스트했습니다. 그리고 이를 22개의 다른 최상위 방법론들과 비교했습니다.

결과는 인상적이었습니다. FedGALA는 단순히 괜찮은 수준이 아니라, 경쟁자들을 압도했습니다.

성능: 기존 최고의 방법들과 비교했을 때 성능이 최대 14.37% 향상되었습니다.
속도: 훨씬 빠르게 수렴(학습 완료)했습니다. 다른 방법들이 안정화되기까지 15~~20번의 통신 라운드가 필요했던 반면, FedGALA는 작업에 따라 단 6~~11라운드 만에 안정화되었습니다.
퓨샷 학습(Few-Shot Learning): 컴퓨터가 학습할 데이터가 매우 적을 때(단 2개의 예시만 주어졌을 때, 즉 "2-shot")에도 FedGALA는 여에서도 다른 모든 모델보다 뛰어난 성능을 보였습니다. 이는 그가 배운 지식이 단순히 암기된 것이 아니라, 진정으로 견고하고 전이 가능한 지식임을 증명합니다.

이것이 왜 중요한가

이 논문은 연합 학습을 가능하게 하기 위해 데이터를 이산적인 토큰으로 변환해야 한다는 생각에 명시적으로 반대합니다. 그들은 이러한 접근 방식이 품질을 너무 많이 희생시킨다는 점을 보여줍니다. 대신, 데이터를 연속적이고 풍부한 형식으로 유지하고 서로 다른 유형의 지능(텍스트와 그래프)을 직접 정렬하는 것이 성공의 열쇠임을 입증합니다.

"픽셀화"와 "얽힘" 문제를 해결함으로써, FedGALA는 강력하고 프라이버시를 보호하는 AI를 구축하는 방법에 대한 새로운 청사진을 제시합니다. 우리는 프라이버시와 지능 중 하나를 선택할 필요가 없음을 보여줍니다. 우리는 세상의 복잡성을 이해할 만큼 똑똑하면서도, 서로의 비밀을 공유할 필요가 없는 글로벌 뇌를 가질 수 있습니다. AI의 미래는 데이터를 상자에 억지로 밀어 넣는 것이 아니라, 서로 다른 종류의 지식이 자유롭고, 안전하며, 아름답게 흐를 수 있도록 다리를 놓는 것에 있습니다.

기술 요약: 연합 그래프 파운데이션 모델의 재고: 그래프-언어 정렬 기반 접근 방식

1. 문제 정의

본 논문은 중앙 집중식 데이터 저장에 의존하지 않고 분산되고 프라이버시가 제한된 환경에서 효과적으로 작동할 수 있는 **연합 그래프 파운데이션 모델(Federated Graph Foundation Models, FedGFMs)**을 개발하는 데 있어 핵심적인 과제를 다룹니다. 기존의 연합 그래프 학습(FGL) 방법들과 최근의 FedGFM 시도들(예: FedGFM+, FedBook)은 텍스트 의미론과 그래프 토폴로지 사이의 간극을 메우려 노력하지만, 저자들은 특히 **벡터 양자화(Vector Quantization, VQ)**에 의존하는 기존 방식들에서 세 가지 근본적인 한계를 식별했습니다.

의미-구조적 직교성(Semantic-Structural Orthogonality): 순차적 언어(사전 학습된 언어 모델(PLM)이 처리)와 비유클리드 토폴로지(그래프 신경망(GNN)이 처리) 사이에 단절이 존재합니다. 기존의 VQ 기반 방식은 고차원 의미 공간을 이산적인 토큰으로 투영하며, 이 과정에서 가역 불가능한 지식 손실이 발생하고 텍스트와 복잡한 그래프 구조 사이의 미묘한 상호작용을 포착하는 데 실패합니다.
교차 도메인 지식 얽힘(Cross-Domain Knowledge Entanglement): non-IID 데이터가 존재하는 연합 환경에서, 다양한 로컬 분포를 제한된 글로벌 코드북에 강제로 맞추는 것은 **표현의 균질화(representation homogenization)**를 초래합니다. 이는 미묘하고 클라이언트 특유의 롱테일 지식을 간과하게 만들며, 상충하는 로컬 모티프를 유발하여 과적합을 일으키고 견고한 글로벌 수렴을 방해합니다.
통신 오버헤드(Communication Overhead): 거대한 PLM 파라미터나 이산적 토큰을 전송하는 것은 대역폭 병목 현상을 생성합니다. 현재의 방식들은 통신 효율성을 위해 모델 수렴의 품질을 희생하는 경우가 많으며, 이는 최적의 평형 상태에 도달하는 것을 방해합니다.

저자들은 PLM과 GNN 사이의 의미-구조적 직교성과 무결성을 연속적 임베딩 공간(continuous embedding space) 내에서 조화시키는 것이 효과적인 FedGFM을 위해 가장 중요하다고 주장합니다.

2. 방법론: FedGALA

저자들은 두 단계의 훈련 파이프라인인 **연합 사전 학습(Federated Pre-training)**과 **로컬 프롬프트 기반 미세 조정(Local Prompt-based Fine-tuning)**을 통해 이러한 문제를 해결하도록 설계된 프레임워크인 **FedGALA (Federated Graph And Language Alignment)**를 제안합니다.

단계 1: 연합 사전 학습 (연속적 정렬)

이산적 양자화 대신, FedGALA는 연속적인 잠재 공간에서 GNN을 동결된 PLM과 정렬하기 위해 **비지도 대조 학습(unsupervised contrastive learning)**을 채택합니다.

디커플링 인코딩(Decoupled Encoding): 그래프 인코더는 두 가지 구성 요소로 분리됩니다:
- 구조적 인코더(Structural Encoder): 토폴로지 연결성에 집중하기 위해 위치 인코딩(positional encodings)과 원시 인접 행렬(raw adjacency matrices)을 처리합니다.
- 의미적 인코더(Semantic Encoder): 아이디오싱크래틱한 로컬 의미론에 대한 의존도를 최소화하기 위해 특징 교란 메커니즘(feature disturbance mechanism)을 사용하여 노드 특징을 처리합니다.
문맥 인식 요약(Context-Aware Summarization): 대상 노드의 설명과 그 1-hop 이웃들의 설명을 결합하여 텍스트 입력을 구성함으로써, 텍스트 인코더가 그래프 토폴로지에 기반하도록 합니다.
대조 목적 함수(Contrastive Objective): 대칭적 대조 손실(symmetric contrastive loss)을 통해 양의 그래프-텍스트 쌍은 가깝게 끌어당기고, 대응하지 않는 쌍은 서로 멀어지게 하여, 불변하고 전이 가능한 구조적 지식을 추출합니다.
연합 히스토리 매칭(Federated History-Matching): 파괴적 망각(catastrophic forgetting)과 클라이언트 드리프트를 방지하기 위해, 서버는 가장 최근의 $R=5$ 개 글로벌 구조적 인코더의 시간적 로그를 유지합니다. 클라이언트는 이 역사적 파라미터들과 자신의 로컬 의미적 인코더를 유사도 가중치 기반으로 결합하여 구조적 학습을 안정화합니다.
클래스별 토큰 생성(Class-wise Token Generation): 다음 단계를 위한 글로벌 의미적 가이드를 제공하기 위해 "지식 강도(Knowledge Strength, 예측 확신도)"와 "지식 명확성(Knowledge Clarity, 오버스무딩 페널티)"을 기반으로 가중치 적용 클래스 프로토타입(토큰)을 생성합니다.

단계 2: 로컬 프롬프트 기반 연합 미세 조정

전체 파라미터 미세 조정(계산적으로 매우 부담스럽고 부정적 전이의 위험이 있음) 없이 사전 학습된 파운데이션을 다운스트림 태스크에 적응시키기 위해 다음을 수행합니다:

동결된 백본(Frozen Backbones): 확립된 의미-구조적 정렬을 보존하기 위해 사전 학습된 그래프 인코더와 PLM 모두를 동결 상태로 유지합니다.
이중 채널 프롬프트 풀(Dual-Channel Prompt Pool): 서버는 학습 가능한 텍스트 프롬프트와 그래프 프롬프트의 글로벌 풀을 유지합니다.
프롬프트 선택 및 집계: 각 클라이언트는 자신의 로컬 데이터 분포에 가장 잘 맞는 최적의 프롬프트 인덱스를 글로벌 풀에서 식별합니다. 그런 다음 클라이언트는 이 경량화된 프롬프트만을 미세 조정합니다.
그룹 인식 집계(Group-Aware Aggregation): 서버는 선택된 인덱스를 기반으로 프롬프트 업데이트를 집계하여, 프롬프트가 특정 잠재 도메인을 나타내는 멀티 엑스퍼트 시스템을 구축함으로써 관련 없는 태스크 간의 그래디언트 간섭을 방지합니다.

3. 주요 기여

새로운 관점: 본 논문은 양자화된 FedGFM에서의 표현 손실을 결정적인 결함으로 식별하고, 연속적 구조-의미 정렬을 강력한 대안으로 제안합니다.
새로운 프레임워크 (FedGALA): 연합 대조 사전 학습에 이어 통신 효율적인 로컬 프롬프트 미세 조정을 통해 의미-구조적 간극을 메우는 새로운 아키텍처를 제시합니다. 또한 non-IID 분포와 지식 얽힘을 처리하기 위해 Federated History-Matching 및 Group-Aware Prompt Aggregation과 같은 메커니즘을 도입합니다.
우수한 성능: 광범-한 도메인과 태스크에 걸쳐 22개의 최첨단 베이스라인(고립된 모델, 전통적 FGL 및 기타 FedGFM 포함)을 대상으로 한 광범위한 실험을 통해 우수한 성능을 입증했습니다.

4. 실험 결과

저자들은 6개 도메인(Citation, Knowledge Graphs, Molecular)과 3개 태스크 레벨(Node, Edge, Graph classification)에 걸친 8개의 벤치마크 데이터셋에서 FedGALA를 평가했습니다.

전반적인 성능: FedGALA는 모든 태스크에서 최고의 결과를 달성했습니다. 주목할 만한 개선 사항은 다음과 같습니다:
- FB15K237 엣지 분류 태스크에서 최고 베이스라인 대비 14.37% 향상.
- HIV 그래프 분류 태스크에서 10.99% 향상.
- 연합 학습을 위해 적응된 중앙 집중형 GFMs(예: GraphCLIP, UniGraph) 대비 유의미한 이득.
퓨샷 학습(Few-Shot Learning): 2-shot 학습 설정에서 FedGALA는 탁월한 견고성을 보여주었습니다. WikiCS에서 **49.20%**의 정확도(GFT 대비 21.54% 향상)를, WN18RR에서 **38.96%**를 달est하며 고충실도 지식을 제한된 데이터로 전이하는 능력을 검증했습니다.
효율성: FedGALA는 FedBook 및 FedGFM+(15~~20 라운드)에 비해 더 빠른 수렴 속도(6~~11 라운드 내 안정화)를 달성했습니다. 경량 구조적 인코더와 프롬프트만을 전송함으로써, 전체 파라미터나 토큰 교환을 요구하는 방법들에 비해 통신 오버헤드를 크게 줄였습니다.
절제 연구(Ablation Studies): History-Matching 모듈을 제거했을 때 성능 저하(예: WikiCS에서 3.10%)가 발생하여 파괴적 망각을 방지하는 역할을 확인했습니다. Global Prompt Pool을 제거했을 때 최대 4.82%의 성능 하락이 발생하여, 지식 얽힘을 완화하기 위한 그룹 인식 집계의 필요성을 강조했습니다.

5. 의의 및 주장

본 논문은 FedGALA가 이산적 벡터 양자화에서 연속적 의미-구조 정렬로 패러다임을 전환함으로써, 연합 그래프 파운데이션 모델을 위한 우수한 토대를 구축한다고 주장합니다.

지식 손실 완화: 비가역적인 양자화를 피함으로써, FedGALA는 텍스트 의미론과 복잡한 토폴로지 사이의 상호작용에 대한 충실도를 보존합니다.
확장성 및 프라이버시: 이 프레임워크는 원시 데이터 전송 없이 분산된 데이터 사일로 간의 협업 훈련을 가능하게 하여, 프라이버시 제약을 해결하는 동시에 높은 전이 가능성을 유지합니다.
이질성에 대한 견고성: 디커플링 인코딩과 히스토리 매칭을 통해, 모델은 심각한 non-IID 분포와 클라이언트 간의 토폴로지 이질성을 효과적으로 처리합니다.

저자들은 이 접근 방식이 자원이 제한적이고 프라이버시에 민감한 실제 연합 환경에서 견고하고 일반화 가능한 그래프 파운데이션 모델을 개발하기 위한 실행 가능한 경로를 제공한다고 결론짓습니다. 향후 연구로는 이러한 모델을 멀티모달 그래프로 확장하고 배포를 간소화하는 것이 언급되었습니다.