기술 요약: 모달리티 이질성 하의 견고한 연방 멀티모달 그래프 학습을 위한 방향

1. 문제 정의

본 논문은 연방 멀티모달 그래프 (FMG) 에서의 결손 모달리티에 대한 견고한 학습이라는 과제를 다룹니다. 실제 세계의 분산 시스템에서는 그래프 구조 데이터 (예: 소셜 네트워크, 추천 시스템) 가 개인정보 보호 제약, 상업적 경쟁, 또는 플랫폼 소유권으로 인해 여러 클라이언트 간에 고립되어 있어 중앙 집중식 학습이 불가능한 경우가 많습니다. 또한, 이러한 그래프는 이질적인 수집, 저장 한계, 또는 사용자 행동으로 인해 노드가 특정 속성 (예: 텍스트, 이미지, 비디오) 을 결여하는 모달리티 불완전성을 자주 겪습니다.

기존 접근법들은 이러한 교차점을 효과적으로 해결하지 못합니다:

• 중앙 집중식 멀티모달 그래프 학습: 결손 모달리티를 처리하는 방법들은 중앙 집중식 데이터 접근을 전제로 하며, 연방 환경에서의 클라이언트 간 지식 공유 및 일반화의 어려움을 간과합니다.
• 연방 멀티모달 학습: 비그래프 데이터에 대해서는 성숙해졌으나, 이러한 방법들은 일반적으로 그래프 토폴로지와 구조적 의존성을 무시하고 샘플을 독립적으로 취급합니다.
• 연방 그래프 학습: 대부분의 기존 방법들은 완전한 노드 특성을 가정하며, 다중 세분화 모달리티 결손을 명시적으로 모델링하지 않습니다.

저자들은 이 문제에 대한 단순한 생성 - 집계 파이프라인에서 두 가지 중요한 병목 현상을 식별합니다:

1. 토폴로지와 격리된 로컬 완성: 클라이언트 측 모달리티 생성은 로컬 서브그래프에만 의존하여 글로벌 시맨틱을 활용하는 데 어려움을 겪습니다. 이는 클라이언트 간 구조적 시맨틱과 불일치하는 특징을 초래하여, 그래프 메시지 전달을 오도할 수 있습니다.
2. 신뢰도 불균형 글로벌 집계: 클라이언트들은 모달리티 가용성과 복구 신뢰도에서 차이가 납니다. 표준 데이터 크기 기반 집계 (예: FedAvg) 는 신뢰할 수 없는 복구 신호를 가진 클라이언트나 지배적이지만 불완전한 모달리티 패턴을 가진 클라이언트로부터의 업데이트로 글로벌 모델이 편향되게 할 수 있습니다.

2. 방법론: FEDMPO

저자들은 로컬 모달리티 생성 신뢰도와 글로벌 견고성을 개선하기 위해 4 단계 파이프라인을 통해 통합된 프레임워크인 FEDMPO를 제안합니다:

1 단계: 특징 및 그래프 컨텍스트 인코딩

• 마스크 분리: 프레임워크는 자연적 결손 (실제 정답이 존재하지 않음) 과 학습 시간 마스킹 (관측된 모달리티를 인위적으로 숨김) 을 구분합니다. 오직 자연적으로 관측된 모달리티만 인위적으로 마스킹되어 신뢰할 수 있는 재구성 목표를 제공합니다.
• 구조적 앵커: 글로벌 컨텍스트 부재를 해결하기 위해, 모델은 해당 모달리티가 가시적인 이웃 노드들의 표현을 집계하여 결손 특징을 위한 모달리티별 구조적 앵커를 구축합니다. 이는 생성을 위한 토폴로지 기반 사전 지식을 제공합니다.
• 컨텍스트 인코딩: 노드는 원시 임베딩 또는 구조적 앵커를 통합하는 그래프 인코더를 사용하여 인코딩되며, 이를 통해 표현이 로컬 그래프 컨텍스트로 강화되도록 보장합니다.

2 단계: 토폴로지 인식 교차 모달 생성

• 컨텍스트 뱅크: 노드의 자체 잔여 모달리티에만 의존하는 대신, 생성기는 노드의 다른 가시적 모달리티와 이웃 가시적 모달리티 표현을 포함하는 컨텍스트 뱅크를 쿼리합니다.
• 어텐션 메커니즘: 멀티헤드 어텐션 메커니즘이 이 뱅크를 쿼리하여 교차 모달 및 이웃 증거를 검색합니다.
• 워밍업 전략: 선형 워밍업 인자 ($\gamma_t$) 가 사용됩니다. 학습 초기 라운드에서는 안정적인 구조적 앵커(저분산 토폴로지 사전 지식) 에 더 크게 의존하여 그래디언트 불안정성을 줄이고, 학습이 진행됨에 따라 점진적으로 학습된 교차 모달 생성으로 전환합니다.
• 목적: 생성기는 인위적으로 마스킹된 모달리티에 대한 재구성 손실과 관측 및 복구된 모달리티 간의 시맨틱 일관성을 보장하기 위한 교차 모달 정렬 손실을 통해 지도 학습됩니다.

3 단계: 결손 인식 혼합 전문가 (MoE) 퓨전

• 불확실성 추정: 모델은 생성된 표현, 교차 모달 컨텍스트, 그리고 구조적 앵커를 기반으로 생성된 특징에 대한 복구 불확실성 점수를 추정합니다. 관측된 모달리티는 0 의 불확실성을 할당받습니다.
• 전문가 라우팅: 라우터는 관측 전문가(신뢰할 수 있는 원시 시맨틱) 와 복구 전문가(생성된 시맨틱) 두 명의 전문가를 동적으로 가중치합니다. 라우팅 결정은 노드 및 클라이언트 수준에서의 가시성, 불확실성, 그리고 결손 비율을 고려합니다.
• 신뢰도 인식 퓨전: 모달리티는 신뢰도 가중치에 따라 퓨전됩니다. 중요한 점은 구조적 폴백 전문가가 도입되었다는 것입니다. 노드의 결손 비율이 높거나 평균 불확실성이 높은 경우, 모델은 멀티모달 퓨전에서 구조만 있는 표현으로 적응적으로 전환하여 노이즈가 섞인 복구 신호가 그래프를 통해 전파되는 것을 방지합니다.

4 단계: 작업 예측 및 신뢰도 인식 집계

• 로컬 목적: 클라이언트들은 작업 성능, 재구성, 정렬, 그리고 라우팅 정규화를 포함한 결합 손실을 최적화합니다.
• 신뢰도 인식 집계: 표준 FedAvg 와 달리, 서버는 신뢰도 인식 가중치를 사용하여 업데이트를 집계합니다. 클라이언트들은 모델 파라미터와 함께 경량 스칼라 통계 (평균 복구 불확실성, 재구성 오차, 클라이언트 수준 결손 비율) 를 업로드합니다.
• 가중치 부여 메커니즘: 서버는 높은 불확실성, 높은 재구성 오차, 또는 높은 결손 비율을 가진 클라이언트 업데이트를 지수적으로 감량하는 신뢰도 점수를 계산합니다. 이는 신뢰할 수 없는 클라이언트 업데이트가 글로벌 모델을 지배하는 것을 방지하여, 클라이언트를 완전히 배제하지 않으면서 집계 편향을 완화합니다.

3. 주요 기여

1. 새로운 문제 정의: 본 논문은 연방 멀티모달 그래프를 위한 결손 모달리티 견고한 학습 문제를 공식화하여, 그래프 구조, 모달리티 불완전성, 그리고 연방 이질성의 결합된 과제를 강조합니다.
2. 새로운 프레임워크 (FEDMPO): 다음을 통합하는 통합 워크플로우를 도입합니다:
   • 토폴로지 인식 교차 모달 생성: 결손 특징을 복구하기 위해 그래프 이웃 구조를 활용합니다.
   • 결손 인식 전문가 라우팅: 불확실성 추정과 구조적 폴백을 통해 노이즈가 섞인 복구 신호를 필터링합니다.
   • 신뢰도 인식 집계: 복구 품질 통계에 기반하여 신뢰할 수 없는 클라이언트 업데이트의 가중치를 감량합니다.
3. 실증적 성능: 3 가지 작업(노드 분류, 링크 예측, 모달리티 검색) 에 대한 6 개 데이터셋에서의 광범위한 실험은 FEDMPO 가 강력한 베이스라인 (고급 FGL 및 멀티모달 FL 방법 포함) 보다 우수함을 보여줍니다.
   • 고결손 환경에서 최대 **4.10%**의 성능 향상을 달성합니다.
   • 고도로 비-IID 환경에서 최대 **5.65%**의 성능 향상을 달성합니다.
   • 다양한 결손율 (30%–70%) 과 클라이언트 이질성에 대한 견고성을 입증합니다.

4. 중요성 및 주장

본 논문은 FEDMPO 가 모달리티 복구, 그래프 추론, 그리고 연방 최적화를 별도의 구성 요소로 취급하는 것을 넘어선다는 점에서 중요하다고 주장합니다. 대신, 이를 단일 폐쇄 루프로 결합합니다:

• 복구 품질은 명시적으로 모델링되어 퓨전을 안내하는 데 사용됩니다.
• 그래프 컨텍스트는 모달리티 완성을 informing 하는 데 활용되어 기존 방법들의 "토폴로지와 격리된" 한계를 해결합니다.
• 신뢰도 통계는 글로벌 집계를 안정화하는 데 사용되어 표준 연방 학습의 "신뢰도 불균형" 한계를 해결합니다.

저자들은 FEDMPO 가 원시 데이터가 아닌 컴팩트한 은닉 표현에서 작동함으로써 중간 정도의 계산 오버헤드를 도입하지만, 정확성, 견고성, 그리고 통신 비용 간의 유리한 균형을 달성한다고 강조합니다. 이 연구는 특히 로컬 업데이트가 이질적인 모달리티 가용성의 영향을 받는 경우, 연방 환경에서 견고한 멀티모달 그래프 학습을 위해 복구 신뢰도를 명시적으로 모델링하는 것이 필수적임을 시사합니다.

본 논문은 복잡한 실제 세계 결손 패턴 (예: 무작위성이 아닌 결손) 에 대한 더 전문화된 모델링의 필요성과 신뢰도 통계의 프라이버시 보호 집계에 대한 향후 연구 가능성과 같은 한계를 지적하며 마무리합니다.