Algorithm Unrolling-based Denoising of Multimodal Graph Signals

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 센서 네트워크, IoT 등 복잡한 구조의 데이터는 측정 지점마다 여러 가지 특성 (모달리티, 예: 온도, 습도 등) 을 동시에 수집합니다. 이러한 데이터는 공간적 상관관계 (센서 간의 거리) 와 모달리티 간 상관관계 (특성 간의 관계) 를 모두 가지며, 이를 수학적으로 **'이중 그래프 (Twofold Graph)'**로 모델링할 수 있습니다.
• 문제점:
  1. 노이즈: 실제 관측된 신호는 노이즈에 오염되어 있어 정제 (Denoising) 가 필요합니다.
  2. 그래프 미지수: 기존 그래프 신호 처리 (GSP) 방법들은 대부분 공간 그래프와 모달리티 그래프가 사전에 주어진다고 가정합니다. 그러나 실제 응용에서는 이 그래프 구조 (노드 간 연결 관계) 를 알 수 없는 경우가 많습니다.
  3. 기존 방법의 한계:
     • 모델 기반: 정규화 파라미터를 수동으로 튜닝해야 하며, 그래프가 주어지지 않으면 적용이 어렵습니다.
     • 데이터 기반 (딥러닝): 그래프 신경망 (GNN) 은 훈련 데이터가 부족할 경우 성능이 떨어지거나, 그래프 구조를 학습하지 못해 성능이 제한적입니다.
     • 기존 하이브리드: 그래프를 고정하고 신호만 학습하는 방식이 주를 이루며, 그래프 학습과 신호 복원을 동시에 수행하는 방법은 부족했습니다.

핵심 문제: 사전에 그래프 구조가 주어지지 않은 상태에서, 노이즈가 제거된 신호와 그래프 구조 (공간 및 모달리티) 를 동시에 학습하여 다중 모달 그래프 신호를 복원하는 것입니다.

2. 제안된 방법론 (Methodology)

저자들은 대안 최소화 (Alternating Minimization) 기법을 기반으로 한 반복 알고리즘을 설계하고, 이를 딥 알고리즘 언롤링 (Deep Algorithm Unrolling, DAU) 기술을 적용하여 학습 가능한 신경망으로 변환했습니다.

A. 최적화 문제 공식화

• 목표: 관측된 노이즈가 있는 신호 $Y$로부터 원래 신호 $X$를 복원하고, 공간 그래프 $G_s$와 모달리티 그래프 $G_m$을 동시에 학습합니다.
• 정규화 항: 신호의 평활성 (Smoothness) 을 가정하여, 공간 그래프와 모달리티 그래프에서의 라플라시안 2 차 형식 (Laplacian quadratic form) 을 최소화하는 목적 함수를 구성했습니다.
  • 그래프 학습을 위해 그래프 연결성 (connectivity) 과 엣지 가중치의 희소성 (sparseness) 을 제어하는 항을 포함했습니다.

B. 반복 알고리즘 설계

문제를 신호 복원 단계와 그래프 학습 단계로 나누어 번갈아 수행하는 알고리즘을 설계했습니다.

1. 신호 업데이트: 각 모달리티와 공간 도메인에서의 신호 평활화 문제는 Tikhonov 정규화를 적용하여 **폐쇄형 해 (Closed-form solution)**를 구합니다.
2. 그래프 학습: 주어진 신호를 기반으로 그래프 라플라시안을 학습하는 문제는 원 - 쌍대 분할 (Primal-Dual Splitting, PDS) 알고리즘을 사용하여 반복적으로 풉니다.

C. 딥 알고리즘 언롤링 (Deep Algorithm Unrolling, DAU) 적용

• 구조: 위 반복 알고리즘의 각 반복 단계를 신경망의 '레이어 (Layer)'로 매핑합니다.
• 학습: 알고리즘 내의 하이퍼파라미터 (정규화 강도 $\alpha, \beta, \gamma$ 등) 를 고정하지 않고, 훈련 데이터를 통해 각 레이어마다 학습 가능한 파라미터로 변환합니다.
• 장점:
  • 반복 횟수를 줄이면서도 최적의 파라미터를 자동으로 학습합니다.
  • 모델 기반 방법의 해석 가능성 (Interpretability) 을 유지하면서 데이터 기반 방법의 적응력을 확보합니다.
  • 전체 신경망보다 파라미터 수가 적어 적은 양의 훈련 데이터로도 학습이 가능합니다.

3. 주요 기여 (Key Contributions)

1. 동시 학습 프레임워크: 기존에 분리되어 있던 '신호 제거'와 '그래프 학습'을 이중 그래프 (공간 + 모달리티) 환경에서 동시에 수행하는 최초의 방법론 중 하나로 제안했습니다.
2. DAU 기반 최적화: 그래프 학습과 신호 복원이 포함된 비볼록 (Non-convex) 최적화 문제를 DAU 를 통해 효율적으로 해결하며, 레이어별로 파라미터를 학습하여 수렴 속도와 정확도를 높였습니다.
3. 유연한 구조: 그래프가 주어지지 않은 상황에서도 데이터로부터 최적의 그래프 구조를 추론하여 노이즈 제거 성능을 극대화합니다.

4. 실험 결과 (Results)

저자들은 합성 데이터 (Synthetic) 와 실제 데이터 (일본 기상청 기후 데이터) 를 사용하여 제안된 방법 (MGSD-LLAP-DAU) 을 기존 방법들과 비교 평가했습니다.

• 비교 대상:
  • 모델 기반: 그래프 저역통과필터 (GLPF), 확산 커널 (HD), 특이값 분해 (SVDS).
  • 데이터 기반: 오토인코더 (AE), 그래프 합성곱 신경망 (GCN).
  • 하이브리드: 이중 그래프 평활화 정규화 기반 DAU (TGSR-DAU).
• 성능 지표: 평균 제곱근 오차 (RMSE).
• 주요 결과:
  • RMSE 개선: 모든 노이즈 수준 (Synthetic: $\sigma=0.10 \sim 0.30$, Real-world: $\sigma=3 \sim 9$) 에서 제안된 방법이 기존 모든 방법보다 낮은 RMSE 를 기록했습니다. 특히 노이즈가 심한 경우에도 강건한 성능을 보였습니다.
  • 그래프 학습 효과: 'Oracle'(정답 그래프 사용) 보다도 더 낮은 오차를 기록한 경우가 있어, 학습된 그래프가 신호 복원에 더 적합한 구조를 찾았음을 시사합니다.
  • 시각화: 학습된 그래프 (인접 행렬) 를 분석한 결과, 초기 레이어에서는 전역적 (Global) 인 노이즈 제거를 위해 엣지 가중치가 작게 설정되고, 후기 레이어로 갈수록 지역적 (Local) 인 구조를 반영하여 엣지 가중치가 커지는 경향을 보였습니다. 또한, 실제 기후 데이터에서는 지리적 위치와 계절적 유사성 (예: 1 월과 12 월의 연결) 을 그래프 구조가 잘 포착함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 센서 네트워크 및 IoT 환경에서 그래프 구조를 알 수 없는 다중 모달 데이터 처리에 매우 유용한 솔루션을 제공합니다.
• 이론적/실제적 균형: 모델 기반 방법의 물리적 해석 가능성과 딥러닝의 높은 성능을 결합한 성공적인 사례입니다.
• 미래 전망: 본 연구는 그래프 신호 처리 분야에서 그래프 구조 학습과 신호 복원을 통합하는 새로운 패러다임을 제시하며, 다양한 복잡한 구조 데이터를 가진 응용 분야 (환경 모니터링, 의료 영상 등) 로 확장 가능성이 큽니다.

요약하자면, 이 논문은 알고리즘 언롤링 기술을 활용하여 노이즈가 섞인 다중 모달 신호와 그背后의 그래프 구조를 동시에 학습하고 복원하는 혁신적인 방법론을 제시하여, 기존 방법들의 한계를 극복하고 우수한 성능을 입증했습니다.