기술 요약: 변환된 잠재 변수 다중 출력 가우시안 프로세스 (T-LVMOGP)

1. 문제 제기

다중 출력 가우시안 프로세스 (MOGP) 는 상관관계를 가진 출력을 모델링하기 위한 원칙적인 확률론적 프레임워크를 제공하며, 의료 시계열 예측부터 동적 시스템 모델링에 이르기까지 다양한 응용 분야를 가지고 있습니다. 그러나 표준 MOGP 모델은 고차원 출력 공간 (출력 수 $P$가 수천 또는 수만 개에 달하는 경우) 을 가진 데이터셋에 적용될 때 심각한 확장성 병목 현상에 직면합니다. 정확한 추론의 계산 비용은 출력 수에 따라 세제곱 ($O(P^3)$) 으로 증가하므로, 기후 모델링 및 공간 전사체학 (spatial transcriptomics) 과 같은 대규모 응용 분야에서는 실용적으로 처리 불가능합니다.

기존 방법들은 저랭크 근사 (예: 선형 코리얼레이션 모델, LMC) 나 분리 가능 커널의 합과 같은 제한적인 구조적 가정을 부과함으로써 이러한 복잡성을 완화하려 시도합니다. 이러한 접근법들은 확장성을 개선하지만, 종종 표현력을 희생하여 복잡한 실제 데이터에 내재된 정교한 비선형 출력 간 의존성을 포착하지 못합니다.

2. 방법론

저자들은 대규모 출력 차원으로 MOGP 를 확장하면서도 높은 표현력을 유지하도록 설계된 변환된 잠재 변수 다중 출력 가우시안 프로세스 (T-LVMOGP) 를 제안합니다. 핵심 혁신은 입력과 출력별 잠재 변수를 학습된 임베딩 공간으로 매핑하는 유연한 다중 출력 딥 커널을 구축하는 데 있습니다.

2.1. 모델 아키텍처

• 잠재 변수 할당: 각 출력 $p$는 해당 출력의 고유한 특성을 간결하게 표현하는 잠재 변수 $h_p$와 연관됩니다.
• 딥 커널 구축: 신경망 $\Phi_\theta$는 입력 $x_n$과 잠재 변수 $h_p$의 연결된 쌍을 임베딩 공간 $\mathbb{R}^{D_T}$로 매핑합니다.
• 공분산 정의: 출력 간 공분산은 이러한 임베딩에 적용된 정적 베이스 커널 (예: RBF) 을 통해 정의됩니다:
  $$\text{cov}[f_p(x_n), f_{p'}(x_{n'})] = k_{\text{base}}(\Phi_\theta(x_n, h_p), \Phi_\theta(x_{n'}, h_{p'}))$$
  이 공식화는 엄격한 저랭크 또는 분리 가능한 구조적 제약을 부과하지 않으면서도 암시적으로 상관관계를 유도합니다.

2.2. 정규화 및 안정성

제약이 없는 딥 커널에서 흔히 발생하는 과적합 및 병리적 행동 (예: 특징 붕괴 및 거리 인식 상실) 을 방지하기 위해, 저자들은 특정 정규화 기법을 사용합니다:

• 잔차 연결: 신경망 $\Phi_\theta$는 잔차 연결 신경망 (RCNN) 으로 구현됩니다.
• 스펙트럼 정규화: 각 층의 가중치 행렬에 스펙트럼 정규화를 적용하여 리프시츠 연속성을 강제합니다. 이는 변환이 거리를 인식하도록 보장하고, 국소적으로 매끄럽고 전역적으로 안정적인 매핑을 촉진하여 딥 커널의 신뢰할 수 있는 성능에 필수적입니다.

2.3. 변분 추론

모델은 희소 변분 가우시안 프로세스 (SVGP) 프레임워크 내에서 구현됩니다:

• 유도 점: 유도 점 $Z$는 원시 입력 공간이 아닌 학습된 임베딩 공간에 배치됩니다.
• 확률적 최적화: 이 프레임워크는 입력과 출력 모두에 대한 확률적 미니배치 훈련을 지원하며, 잠재 변수에 대한 재파라미터화 트릭을 활용합니다.
• 더 엄격한 경계: 이 공식화는 사전 조건부 가정을 완화하여 예측 성능을 향상시킬 수 있는 더 엄격한 변분 경계 (Titsias, 2025; Bui et al., 2025 제안) 를 자연스럽게 수용합니다.
• 가능도 유연성: 이 접근법은 몬테카를로 근사 또는 가우스 - 헤르미트 구분을 통해 비가우시안 가능도 (예: 카운트 데이터용 제로 - 팽창 음이항 분포) 를 지원합니다.

3. 주요 기여

1. 확장 가능한 프레임워크: 풍부한 출력 간 의존성을 포착할 수 있는 능력을 유지하면서 MOGP 를 고차원 출력으로 확장하는 T-LVMOGP 프레임워크의 도입.
2. 리프시츠 정규화된 딥 커널: 딥 커널 학습에서 일반화를 개선하고 과적합을 방지하기 위해 잔차 연결과 스펙트럼 정규화를 사용한 리프시츠 연속 신경망의 채택.
3. 확률적 변분 추론: 입력과 출력 모두에 대한 미니배치 훈련을 지원하며 비가우시안 가능도와 더 엄격한 변분 경계를 수용하는 SVGP 프레임워크 내의 추론 절차 개발.
4. 실증적 검증: 다양한 벤치마크에서 예측 정확도와 계산 효율성 측면에서 베이스라인보다 우수한 성능을 입증.

4. 실험 결과

저자들은 T-LVMOGP 를 여러 실제 데이터셋에서 평가하였으며, SV-LMC, SGPRN, OILMM, G-MOGP, GS-LVMOGP 를 포함한 확장 가능한 MOGP 베이스라인과 비교 검증했습니다.

• EEG 예측: 7 개의 출력을 가진 데이터셋에서 T-LVMOGP 는 모든 베이스라인을 능가하는 최저 평균 제곱 오차 (MSE: 0.115) 와 음의 로그 가능도 (NLL: 0.814) 를 달성했습니다.
• 역동역학 (SARCOS): 7 개의 출력과 약 49,000 개의 입력을 가진 로봇 팔 동역학 작업에서 T-LVMOGP 는 경쟁력 있는 훈련 시간을 유지하면서 최고의 MSE(0.022) 와 NLL(-0.485) 을 달성했습니다.
• 기후 모델링 (ERA5 및 코페르니쿠스 해양):
  • ERA5 데이터셋 (3,395 개 출력) 에서 T-LVMOGP 는 MSE(0.002) 와 NLL(-1.564) 에서 베이스라인을 크게 능가했습니다.
  • 코페르니쿠스 해양 데이터셋 (10,873 개 출력) 에서 이 모델은 출력 외삽 작업에서 우수한 성능을 보여주어, 최고의 베이스라인 (GS-LVMOGP, $Q=3$) 의 MSE 0.035 대비 0.029 의 MSE 를 달성했습니다.
• 공간 전사체학: 5,000 개의 유전자 출력과 제로 - 팽창 카운트 데이터를 가진 데이터셋에서 T-LVMOGP 는 GS-LVMOGP 를 MSE(9.189 대 11.024) 에서 능가하면서 동등한 NLL 을 달성하여 비가우시안 가능도를 처리할 수 있는 능력을 검증했습니다.

어블레이션 연구:

• 스펙트럼 정규화: 스펙트럼 정규화를 제거하면 성능이 일관되게 저하되었습니다 (예: EEG 의 NLL 이 0.814 에서 4.109 로 증가). 이는 그 필요성을 확인시켜 줍니다.
• 신경망: 항등 매핑이 유효하지만, 신경망을 통합하는 것이 일반적으로 동등하거나 더 나은 성능을 보여주어 학습된 임베딩의 이점을 검증했습니다.
• 더 엄격한 경계: 더 엄격한 변분 경계로 최적화하면 표준 경계와 동등하거나 약간 더 나은 성능을 보였습니다.

5. 중요성 및 주장

이 논문은 T-LVMOGP 가 다중 출력 가우시안 프로세스에서 확장성과 표현력 사이의 간극을 성공적으로 해소했다고 주장합니다. MOGP 를 학습된 임베딩 공간에 정의된 스칼라 GP 로 재구성함으로써, 이 방법은 단일 출력 GP 에 대해 개발된 확장 가능한 추론 기술을 직접 재사용할 수 있게 합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 계산 병목 현상 완화: 잠재 변수의 인수분해로 인해 변분 매개변수에 대해 출력 수와 선형적으로 확장되며, 표준 MOGP 의 세제곱 복잡성을 피합니다.
• 표현력 유지: 저랭크 또는 분리 가능 커널 방법과 달리 T-LVMOGP 는 엄격한 구조적 제약을 부과하지 않아 정교한 출력 간 의존성을 모델링할 수 있습니다.
• 강건성 보장: 리프시츠 정규화는 딥 커널 학습과 관련된 과적합 문제를 해결하여 신뢰할 수 있는 불확실성 정량을 보장합니다.

이 연구는 기존 방법들이 확장성에 실패하거나 복잡한 상관관계를 모델링할 유연성이 부족한 기후 과학 및 유전체학과 같은 분야에서 고차원 출력 공간을 처리하는 데 있어 한 걸음 더 나아간 것으로 위치 지어집니다. 저자들이 제안한 향후 작업에는 사후 출력 결합을 포착하기 위한 구조화된 변분 분포의 통합과 구조화된 커널 보간과 같은 다른 확장성 기술의 탐구가 포함됩니다.