기술 요약: RHEA – 강건한 다중 모달 속성 그래프 클러스터링을 위한 신뢰도 조화 재구성 및 할당

1. 문제 정의

다중 모달 속성 그래프(Multimodal-attributed graphs, MAGs)는 관계적 구조 위에서 이질적인 속성(예: 텍스트 및 이미지)으로 노드를 표현하며, 커뮤니티 발견이나 제품 세분화와 같은 작업의 기초가 됩니다. 기존의 다중 모달 그래프 클러스터링 방법들은 속성이 깨끗하고 완전할 때는 잘 작동하지만, 속성이 노이즈로 인해 오염되거나 누락된 실제 환경에서는 성능이 크게 저하됩니다.

현재 접근 방식의 핵심 한계는 모달리티의 신뢰도가 모든 노드에 대해 균일하다는 암묵적인 가정에 있습니다. 실제로 신뢰도는 노드별로 상이합니다: 어떤 노드에게는 이미지가 손상되었을 수 있는 반면, 다른 노드에게는 텍스트가 불완전할 수 있습니다. 기존 방법들은 개별 노드 수준에서 신뢰할 수 있는 모달리티와 신뢰할 수 없는 모달리티를 구분하지 못하며, 이로 인해 노이즈에 오염되거나 누락된 데이터를 보완하지 못하는 융합된 표현(fused representations)을 생성하게 됩니다. 또한, 비지도 학습 환경에서는 이러한 신뢰도를 추론할 레이블이 없으므로, 어떻게 감독 없이 노드별 모달리티 신뢰도를 추정할 것인가라는 근본적인 과제에 직면합니다.

2. 방법론: RHEA

저자들은 속성 동질성(attribute homophily)—이웃 노드들이 유사한 의미론적 속성을 공유하는 경향이 있다는 관찰—의 원리를 활용하여 신뢰도를 추정하고 클러스터링을 가이드하는 프레임워크인 RHEA(Reliability-Harmonized rEconstruction and Assignment)를 제안합니다.

2.1 이웃 합의 기반 신뢰도 추정 (Neighbor-Consensus Reliability Estimation)

RHEA는 완전히 비지도 방식으로 노드별 모달리티 신뢰도 필드 $\rho_{i,m} \in [0, 1]$를 추정합니다.

• 메커니즘: 각 노드 $i$와 모달리티 $m$에 대해, 해당 방법은 노드의 임베딩과 해당 모달리티 내 이웃들의 임베딩 사이의 코사인 유사도를 기반으로 하는 모달리티 내 이웃 합의 점수 $a_{i,m}$을 계산합니다.
• 신뢰도 필드: 이러한 합의 점수는 온도 파라미터 $\tau$를 사용하는 소프트맥스 함수를 통해 각 노드에 대한 모달리티 확률 분포로 변환됩니다. 이웃과 일치하는 모달리티는 높은 신뢰도를 부여받고, 이웃과 괴리가 있는 모달리티는 낮은 신뢰도를 부여받습니다.

2.2 신뢰도 인지 표현 학습 (Reliability-Aware Representation Learning)

신뢰도가 추정되면, RHEA는 표현을 적응적으로 재구성하고 융합합니다:

• 재구성(Reconstruction): 특정 모달리티가 누락되었거나 신뢰도 점수가 임계값 $\gamma$ 미만으로 떨어지는 경우, 관측 가능하고 신뢰할 수 있는 데이터를 가진 이웃 노드들의 임베딩을 집계하여 표현을 재구성합니다. 이는 누락되거나 오염된 신호의 전파를 방지합니다.
• 신뢰도 추정(Confidence Estimation): 가용 이웃의 수와 이들의 임베딩 분산을 기반으로 재구성 신뢰도 점수 $c_i$를 계산합니다. 이는 절대적인 신뢰도 척도로 기능합니다.
• 적응형 융합(Adaptive Fusion): 최종 융합 임베딩 $z_i$는 추정된 신뢰도 $\rho_{i,m}$에 의해 결정되는 가중치가 적용된 모달리티별 임베딩의 가중 합입니다. 만약 모달리티가 재구성되었다면 재구성된 임베딩을 사용하고, 그렇지 않으면 원래 관측된 임베딩을 유지합니다.

2.3 신뢰도 인지 클러스터링 (Reliability-Aware Clustering)

클러스터링 단계에서는 최적 운송(Optimal Transport, OT) 및 **할당 증류(Assignment Distillation)**를 통해 신뢰도 정보를 활용하여 클러스터 할당을 최적화합니다:

• 신뢰도 인지 OT: 노드 임베딩과 클러스터 프로토타입 간의 운송 비용을 계산합니다. 결정적으로, 운송 계획(transport plan)의 행 마진(row marginals)은 재구성 신뢰도 $c_i$에 의해 가중치가 부여됩니다. 이는 불확실한 재구성을 가진 노드가 운송 계획에 기여하는 질량을 줄여, 최종 할당에 미치는 영향을 감소시킵니다.
• 이웃 합의 할당 증류(Neighbor-Consensus Assignment Distillation, NCRC): 할당을 더욱 정규화하기 위해, 그래프 상에서 $L$ 홉(hop) 동안 부드러운 클러스터 할당을 전파합니다. 이 이웃 합의 타겟은 더욱 날카롭게(sharpened) 만들어져 증류 목적 함수로 사용되며, 특히 직접적인 증거가 약한 노드들에 대해 국소적으로 일관된 클러스터 할당을 장려합니다.

2.4 최적화 (Optimization)

모델은 다음을 포함하는 결합 목적 함수를 최소화함으로써 엔드 투 엔드(end-to-end)로 학습됩니다:

1. 클러스터링 손실 ($L_{clu}$): 최적 운송 비용.
2. 증류 손실 ($L_{ncrc}$): 이웃 합의 할당 손실.
3. 보조 대조 학습 손실 (Auxiliary Contrastive Losses): 위상 인식 불변성을 보존하기 위한 그래프 워크 대조 손실($L_{nbr}$)과 모달리티별 표현을 융합 임베딩과 정렬하기 위한 교차 모달 정렬 손실($L_{mod}$).

3. 주요 기여

본 논문은 세 가지 주요 기여를 식별합니다:

1. 가치 있는 통찰: 저자들은 노드별 모달리티 신뢰도를 강건한 MAG 클러스터링을 위한 누락된 구성 요소로 식별했습니다. 그들은 속성 동질성 하에서 그래프 이웃이 신뢰도를 추정하기 위한 감독 없는 증거를 제공한다는 것을 입증했습니다.
2. 새로운 방법론: RHEA는 공유된 이웃 합의 신뢰도 신호가 동시에 다음을 가이드하는 통합된 프레임워크로 제안되었습니다:
   • 그래프 기반 모달리티 재구성.
   • 적응형 다중 모달 융합.
   • 위상 인식 최적 운송 클러스터링.
3. 최첨단 성능 (State-of-the-Art Performance): 광범한 실험을 통해 기존 방법들보다 일관된 성능 향상을 보여주었으며, 속성 품질이 저하될수록 그 격차가 더 뚜렷해졌습니다.

4. 실험 결과

RHEA는 다섯 가지 속성 조건(표준(clean), 이미지 오염, 이미지 누락, 텍스트 오염, 텍text 누락) 하에서 네 개의 MAG 벤치마크(RedditS, Toys, Grocery, Amazon)를 대상으로 평가되었습니다.

• 표준 설정: RHEA는 네 가지 데이터셋과 모든 지표(NMI, ACC, ARI, F1)에서 DGF 및 DMGC와 같은 강력한 베이스라인을 능가하며 최고의 성능을 달 기록했습니다.
• 섭동에 대한 강건성: 오염되거나 누락된 모달리티 환경에서도 RHEA는 일관되게 모든 베이스라인을 앞질렀습니다. 성능 격차는 섭동의 심각도가 높아짐에 따라 넓어졌습니다. 예를 들어, RedditS 데이터셋에서 이미지 누락이 80%인 경우, RFA는 0.729의 NMI를 유지한 반면, 차순위 방법인 DGF는 0.647로 떨어졌습니다.
• 신뢰도 탐지: 학습된 신뢰도 필드는 인위적으로 주입된 오염을 정확하게 탐지하는 것으로 나타났으며, 모든 데이터셋에서 0.95 이상의 AUROC를 지속적으로 달성했습니다.
• 절제 연구 (Ablation Studies): 재구성 모듈을 제거했을 때 누락 상황에서 가장 큰 성능 저하가 발생했고, 신뢰도 게이팅(reliability gating)을 제거했을 때 오염 상황에서 가장 큰 성능 저하가 발생했습니다. 이는 재구성이 누락된 데이터를 처리하고, 게이팅이 오염된 데이터에서의 노이즈 유입을 방지함을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 강건한 다중 모달 표현 학습을 위해 노드별, 그래프 유도 신뢰도를 모델링하는 것이 중요함을 입증한다고 주장합니다. 신뢰도를 글로벌한 속성이 아니라 노드와 모달리티에 따라 변하는 잠재 변수로 취급함으로써, 프레임워크는 국소적 구조적 맥락을 사용하여 신뢰할 수 없는 관측치를 효과적으로 복구합니다.

저자들은 RHEA를 현재 MAG 클러스터링 방법들에 널리 퍼져 있는 "깨끗한 데이터 가정"에 대한 해결책으로 제시합니다. 그들은 로컬 구조적 맥락이 신뢰할 수 없는 관측을 식별하기 위한 효과적인 신호를 제공하며, 이를 통해 데이터 품질이 이질적인 상황에서도 강건한 클러스터링을 가능하게 한다고 주장합니다. 논문은 마지막으로, 현재의 방법이 저동질성(low-homophily) 및 이질성(heterophilous) 그래프를 가정하고 있음을 인정하며, 향후 연구에서 이 프레임워크를 확장하는 것을 조사할 것이라고 밝히며 마무리합니다.