Hybrid Partial Least Squares Regression with Multiple Functional and Scalar Predictors

기술 요약: 다중 함수형 및 스칼라 예측 변수를 포함한 하이브리드 부분 최소 제곱 회귀 (Hybrid Partial Least Squares Regression)

1. 문제 정의

본 논문은 반응 변수가 **스칼라 공변량(scalar covariates)**과 **다수의 함수형 예측 변수(functional predictors, 곡선)**의 혼합에 의해 영향을 받는 설정에서의 지도 학습 기반 차원 축소 및 회귀 문제를 다룹니다. 이러한 하이브리드 설정은 부분 함수형 선형 모델(Partially Functional Linear Model, PFLM)로 공식화되며, 두 가지 주요 난제를 제시합니다:

1. 간결성(Parsimony): 특히 임상적 의사 결정 규칙이 요구되는 상황에서 해석 가능하고 저차원적인 표현이 필요합니다.
2. 다중공선성(Multicollinearity): (i) 함수 내 상관관계, (ii) 함수 간 상관관계, (iii) 스칼라 예측 변수 간의 상관관계, 그리고 (iv) 함수형 및 스칼라 예측 변수 간의 **상호 모달 상관관계(intermodal correlations)**라는 네 가지 수준의 복잡한 의존성이 존재합니다.

기존 방법론들은 이러한 문제들을 동시에 해결하는 데 한계가 있습니다. 고차원 유클리드 방법(예: Lasso, SCAD)은 균질한 데이터 구조를 가정합니다. 함수형 회귀 방법들은 대개 단일 함수형 예측 변수에 집중하거나, 함수형 데이터를 유도된 PCA를 통해 유한 차원 표현으로 변환한 뒤 회귀를 수행하는 2단계 절차(two-stage procedures)를 사용하는데, 이는 교차 모달 상관관계를 무시하며 함수형 표현을 반응 변수와 무관한 것으로 취급합니다.

2. 방법론: 하이브리드 PLS (Hybrid PLS)

저자들은 함수형 및 스칼라 예측 변수를 하나의 수학적 구조로 통합하여 지도 학습 기반 차원 축소를 수행하는 하이브리드 부분 최소 제곱(Hybrid Partial Least Squares, Hybrid PLS) 프레임워크를 제안합니다.

A. 통합 하이브리드 힐베르트 공간 (Unified Hybrid Hilbert Space)
이 방법은 함수형 및 스칼라 예측 변수를 공동으로 처리하기 위해 곱 공간 $\mathcal{H} := (L^2[0, 1])^K \times \mathbb{R}^p$를 구축합니다. 요소 $h \in \mathcal{H}$는 정렬된 튜플 $(f_1, \dots, f_K, u)$입니다. 내적은 다음과 같이 정의됩니다:
$$\langle h_1, h_2 \rangle_{\mathcal{H}} := \sum_{k=1}^K \int_0^1 f_{1k}(t)f_{2k}(t) dt + \omega u_1^\top u_2$$
여기서 $\omega$는 함수형 성분과 스칼라 성분의 척도를 조절하는 가중치 매개변수입니다. 이를 통해 비선형 반복 부분 최소 제곱(Nonlinear Iterative Partial Least Squares, NIPALS) 알고리즘을 하이브리드 설정으로 확장할 수 있습니다.

B. 모집단 수준 알고리즘 (Population-Level Algorithm)
모집단 수준에서, 이 방법은 직교 제약 조건 하에 예측 변수 $W$와 반응 변수 $Y$ 사이의 제곱 공분산을 최대화하는 PLS 방향 $\xi$를 찾습니다. 저자들은 이 최적화 문제가 합성 연산자(composite operator) $U = \Sigma_{YW} \otimes \Sigma_{YW}$의 고유함수(eigenfunctions)를 찾는 것과 동등함을 입증하였으며, 이를 통해 완만한 모멘트 조건 하에서 문제가 잘 정의됨을 보장합니다. 이 알고리즘은 잠재 점수(latent scores)의 직교성과 상관관계가 없는 잔차(residuals)를 보장합니다.

C. 표본 수준 구현 (Sample-Level Implementation)
제안된 표본 알고리즘(Algorithm 3)은 다음 두 단계를 교대로 수행합니다:

1. PLS 방향의 정규화된 추정: 과적합을 방지하고 매끄러움(smoothness)을 보장하기 위해(함수형 데이터에 필수적), PLS 방향 $\hat{\xi}$는 함수 성분의 2차 미분에 대한 거칠기 페널티(roughness penalty)를 부과하며 경험적 공분산을 최대화하도록 추정됩니다. 이는 일반화된 레일리 몫(generalized Rayleigh quotient) 문제로 이어집니다.
   • 핵심 계산 통찰: 공분수 행렬의 계수 1(rank-one) 구조 덕분에, 저자들은 선형 시스템만을 해결하면 되는 **폐쇄형 해(closed-form solution)**를 도출하였습니다. 이는 일반화된 고유값 문제와 관련된 계산적 불안정성을 피할 수 있게 해줍니다.
2. 잔차화 (Residualization): 하이브리드 힐베르트 공간 내에서 표준 NIPALS 절차를 모방하여, 두 예측 변수와 반응 변수를 추정된 점수에 대해 잔차화합니다.

D. 최종 추정 (Final Estimation)
회귀 계수 $\hat{\beta}$는 원래 모델과의 일관성을 보장하기 위해 잔차화 단계를 조정한 후, 추정된 PLस 방향들의 선형 결합으로 재구성됩니다.

3. 주요 기여

• 이론적 확장: 통합 힐베르트 공간을 정의하고 관련 연산자에 대한 완전 직교 고유 함수 체계의 존재를 증명함으로써, 다수의 함수형 및 스칼라 예측 변수를 포함하는 하이브리드 설정으로 NIPALS 알고리즘을 엄밀하게 확장하였습니다.
• 알고리즘 효율성: 정규화된 반복 단계에 대한 효율적인 폐쇄형 해를 도출하여, 밀집되거나 불규칙한 함수형 데이터에 대해서도 확장 가능한 계산 능력을 갖추었습니다.
• 기하학적 특성: 제안된 프레임워크가 PLS의 핵심 기하학적 특성, 즉 (거칠기에 민감한 내적 하에서의) PLS 방향 간의 직교성과 잠재 점수의 직교성을 보존함을 입과 입증하였습니다.
• 상호 모달 상관관계 처리: 2단계 PFLM 접근 방식과 달리, Hybrid PLS는 함수형 및 스칼라 예측 변수 간의 공동 의존성을 명시적으로 모델링하여 교차 모달 상관관계에 포함된 예측 정보를 손실 없이 포착합니다.

4. 결과

수치 연구:

• 기하학적 검증: 시뮬레이션을 통해 방향(directions), 점수(scores), 잔차(residuals) 간의 직교성 속성이 다양한 정규화 강도에서도 견고하게 유지됨을 확인하였습니다 (편차는 $10^{-11}$에서 $10^{-16}$ 수준).
• 예측력 대비 간결성: 지배적인 비예측적 분산(nuisance factors)과 강한 교차 모달 상관관계가 존재하는 합성 시나리오에서, Hybrid PLS는 주성분 회귀(Principal Component Regression, PCR)보다 성능이 우수했습니다. PCR은 높은 분산을 가진 노이즈 요인에 의해 오도되어 높은 오차와 중복된 표현을 보인 반면, Hybrid PLS는 첫 번째 성분에서 예측 신호를 정확히 식별해 냈습니다.
• 계수 추정: 민감도 분석 결과, 거칠기 페널티가 함수형 및 스칼라 계수 모두에 대한 추정 오차를 효과적으로 제어함을 보여주었으며, 정규화 매개변수는 교차 검증을 통해 선택되었습니다.

실제 데이터 적용 (Emory University 신장 연구):

• 본 방법은 두 개의 함수형 신장 기능 곡선(기초선 및 푸로세마이드 투여 후)과 14개의 스칼라 약동학 공변량을 포함하는 216개의 신장 데이터셋에 적용되었습니다.
• 성능: Hybrid PLS는 패널티 함수형 회귀(Penalized Functional Regression, PFR) 및 스칼라 전용 OLS보다 낮은 테스트 RMSE와 더 높은 안정성을 달-성했습니다.
• 효율성: PCR과 유사한 예측력을 보이면서도 훨씬 더 간결했습니다. PCR이 세 가지 소스에서 각각 $L$개를 추출하여 총 $3L$개의 성분이 필요한 반면, Hybrid PLS는 단 $L$개의 성분만으로 유사한 성능을 달성했습니다.
• 해석 가능성: Hybrid PLS에 의해 추출된 첫 번째 잠재 성분은 신장 폐쇄(예: 축적 vs 배출 패턴 구분)에 대한 임상적 지식과 일치한 반데, PCR은 모달리티 간에 강력하고 잠재적으로 중복된 상관관계를 보였습니다.

5. 의의 및 주장

본 논문은 Hybrid PLS가 혼합된 데이터 모달리티가 존재하는 환경에서 회귀를 위한 간결하고 견고한 프레임워크를 제공한다고 주장합니다. 함수형 및 스칼라 예측 변수를 하나의 통합된 공간에 임베딩함으로써, 이 방법은:

1. 다중공선성 완화: 표준 2단계 접근 방식의 성능을 저하시키는 복잡한 상호 모달 상관관계를 효과적으로 처리합니다.
2. 예측 구조 보존: 반응 변수와의 공분산을 최대화하는 잠재 성분을 추출하여, 데이터의 주요 분산이 비예측적(non-predictive)인 경우에도 저차원 표현이 예측력을 유지하도록 합니다.
3. 계산적 실행 가능성 보장: 폐쇄형 해를 통해 매끄러움(smoothness)과 직교성에 대한 이론적 보장을 희생하지 않으면서도 효율적인 계산을 가능하게 합니다.

저자들은 이러한 통합적 접근 방식이 신장 영상과 같이 전체 함수형 궤적과 스칼라 요약을 결합하는 것이 데이터 유형을 별개로 또는 순차적으로 처리하는 것보다 우수한 예측 모델을 생성하는 생물 의학 분야에서 매우 가치 있다고 결론짓습니다. 향후 연구 과제로 이론적 수렴 속도 및 미니맥스 최적성 경계(minimax optimality bounds)의 도출을 제시하였습니다.