Robust Heteroskedastic Matrix Factorization: A Generalization of PCA that Flags Outliers and Handles Missing Data

기술 요약: 강건한 이분산 행렬 분해 (Robust Heteroskedastic Matrix Factorization, RHMF)

문제 정의
현대 항성 분광학은 항성 스펙트럼이 물리적 파라미터(예: 유효 온도, 표면 중력)에 의해 정의된 저차원 매니폴드(manifold) 상에 존재한다는 가정에 의존한다. 주성분 분석(PCA)은 이 매니폴드를 복구하기 위한 표준적인 도구이지만, 실제 관측 데이터에 적용할 때 결정적인 한계에 직면한다. 표준 PCA는 완전하고 직사각형 형태의 데이터와 동분산성(homoskedastic, 등분산) 불확실성을 가정하며, 모든 데이터 포인트를 동일하게 중요하게 취급한다. 결과적으로, 이는 이상치(outliers, 예: 우주선, 검출기 결함 또는 희귀한 천체 현상)에 매우 민감하며, 결측 데이터 구간이나 이분산성 측정 불확실성(픽셀별로 변하는 신호 대 잡음비)을 처리하지 못한다. 반복 가중 최소제곱법(IRLS)이나 강건한 PCA 방법들이 존재하기는 하지만, 이들은 종종 결측 데이터와 이분산성을 동시에 처리하거나 이상치 식별을 위한 원칙적인 확률론적 해석을 제공하는 능력이 부족하다.

방법론
저자들은 이분산 행렬 분해(HMF) 및 PCA의 일반화된 형태인 **강건한 이분산 행렬 분해(RHMF)**를 제안한다. RHMF는 데이터 행렬 $Y$를 노이즈와 이상치가 포함된 저계수 곱 $AG$로 모델링하며, 여기서$A$는 객체 계수를,$G$는 기저 벡터(basis vectors)를 포함한다.

핵심적인 방법론적 혁신은 다음과 같다:

1. 두터운 꼬리 분포 우도(Heavy-Tailed Likelihood): RHMF는 제곱 잔차를 최소화하는 대신(가우시안 우도), Student-t 우도에서 유도된 비용 함수를 최소화한다. 이는 작은 잔차에 대해서는 이차적 페널티를, 큰 잔차에 대해서는 로그 페널티를 부여함으로써 이상치의 영향을 줄인다.
2. 계층적 확률 해석: Student-t 우도는 각 데이터 포인트 $y_{ij}$가 역감마 분포(Inverse-Gamma distribution)로부터 추출된 잠재 분산 $\tau^2_{ij}$를 갖는 계층적 베이지안 모델과 동등함을 보여준다. 이를 통해 모델은 모든 데이터 포인트에 대해 "강건한 가중치(robust weights)"를 암묵적으로 추론할 수 있다.
3. 반복 가중치 재설정 알고리즘: 모델은 다음 네 단계를 순환하는 Majorization-Maximization 스킴(IRLS 접근 방식)을 사용하여 적합된다:
   • w-step: 현재 잔차를 기반으로 강건한 가중치 $w^{robust}_{ij}$를 업데이트하여 이상치를 경감시킨다.
   • a-step: 고정된 기저 벡터와 업데이트된 가중치를 사용하여 객체 계수 $A$를 구하기 위해 가중 최소제곱법(WLS)을 수행한다.
   • g-step: 고정된 계수와 업데이트된 가중치를 사용하여 기저 벡터 $G$를 구하기 위해 WLS를 수행한다.
   • Rotation-step: 기저 벡터의 직교성을 강제하여 퇴화(degeneracy) 문제를 해결한다.
4. 데이터 결함 처리: 이 프레임워크는 결측 데이터(가중치를 0으로 설정)와 이분산성(알려진 측정 불확실성 $\sigma_{ij}$를 역분산 가중치로 포함)을 자연스럽게 지원한다.
5. 하이퍼파라미터 선택: 모델에는 두 개의 하이퍼파라미터가 필요하다: 랭크 $K$(기저 벡터의 수)와 소프트 이상치 임계값 $Q$(이차적 페널티와 로그 페널티 사이의 전이를 제어)이다. 저자들은 홀드아웃(held-out) 데이터에 대한 교차 검증을 통해 이를 선택할 것을 권장하며, 이때 가중치가 적용된 잔차가 단위 정규 분포와 얼마나 유사한지를 측정하기 위해 쿨백-라이블러(KL) 발산 점수를 사용한다.

주요 기여

• 통합 프레임워크: RHMF는 단일 목적 함수 내에서 이분산성, 결측 데이터, 그리고 이상치 강건성을 동시에 처리하는 최초의 발표된 강건 행렬 분해 방법이다.
• 자동 이상치 플래깅: 명시적으로 희소 이상치 행렬을 학습하는 방법(예: Robust PCA)과 달리, RHMF는 추론된 강건한 가중치를 사용하여 특징별 및 객체별로 연속적인 "이상치 정도(outlier-y-ness)"를 제공한다. 이를 통해 나쁜 데이터(픽셀)와 흥미로운 천체적 이상 현상(별)을 모두 식별할 수 있다.
• 확장 가능한 구현: 저자들은 GPU/TPU 가속을 지원하고 분광 조사 규모로 확장 가능한 빠르고 오픈 소스인 JAX 구현체인 Robusta-HMF를 제공한다.
• 확률론적 기초: 이 방법은 두터운 꼬리를 가진 최대 가능도 추정 또는 잠재 분산을 갖는 계층적 모델로서 명확한 확률론적 해석을 제공하며, 이는 임의적인 $\sigma$-클리핑 접근 방식과 차별화된다.

결과
저자들은 두 가지 데이터셋을 통해 RHML을 검증하였다:

1. 토이 데이터셋: 가우시안 노이즈, 결측 구간, 그리고 다양한 유형의 이상치(무작위 픽셀, 이상치 열, 전체 이상치 스펙트럼)가 주입된 8,000개의 합성 스펙트럼 데이터셋.
   • RHMF는 저계수 구조를 성공적으로 복구한 반면, 표준 PCA는 이상치 오염과 결측 데이터로 인해 실패하였다.
   • RHMF는 이분산성과 결측 데이터 영역을 처리하는 데 있어 Robust PCA보다 뛰어난 성능을 보였다.
   • 교차 검증 점수는 실제 랭크($K=5$)와 최적의 임계값($Q=5$)을 정확히 식별하였다. 이 방법은 픽셀 수준과 객체 수준의 이상치를 모두 식별하는 데 높은 F1 점수를 달성하였다.
2. Gaia DR3 RVS 스펙트럼: Gaia Radial Velocity Spectrometer (RVS) 데이터셋의 주계열성들에 적용되었다.
   • 모델은 낮은 객체별 강건 가중치를 가진 별들을 플래깅함으로써 특이한 별들을 식별하였다.
   • 사례 연구 1: 주계열 매니폴드에 포착되지 않는 넓은 파셴(Paschen) 선 때문에 강력한 이상치로 분류된 알려진 Be형 쌍성(88 Her)을 정확히 식별하였다.
   • 사례 연구 2: M-왜성(M-dwarfs)의 Ca II 삼중선에서 미세한 방출을 감지하였다. 한 사례에서는 방출 깊이가 1% 미만으로 원본 스펙트럼에서는 보이지 않았으나, RHMF 재구성과 비교했을 때 명확히 식별될 수 있었다. 이는 이 방법의 미세한 이상 현상에 대한 민감도를 입증한다.

의의 및 주장
본 논문은 RHMF가 조사 규모에서 바람직한 속성들의 "패키지"를 제공한다고 주장한다: 잠재 분산을 드러내는 확률론적 공식, 픽셀 및 객체 수준 모두에서의 일관된 변분 가중치 감소, 그리고 이분산성 및 결측 데이터에 대한 기본 지원이다. 저자들은 개별 요소들(IRLS, Student-t 우도, HMF) 자체가 새로운 것은 아니지만, 이 특정 프레임워크 내에서의 조합이 참신하다고 강조한다.

저자들은 방법론의 한계에 대해 겸허한 태도를 보인다:

• 하이퍼파라미터 민감도: 이상치 식별 정확도는 $K$와 $Q$의 선택에 따라 달라진다. 만약 이상치가 저계수 구조를 공유한다면, 이상치로 플래깅되는 대신 기저(basis)에 흡수될 수 있다.
• 가중치의 해석: 불확실성이 완벽하게 알려져 있고 가우시안이 아니라면, 강건한 가중치는 엄격한 통계적 이상치 척도가 아니다. 이는 인간의 검사를 위한 우선순위 지정 가이드로서 가장 잘 기능한다.
• 지역 최적점(Local Minima): 비볼록 최적화(non-convex optimization)와 마찬가지로, 솔루션은 초기화(일반적으로 SVD 사용)에 의존하지만, 이상치가 드문 경우에는 일반적으로 효과적이다.

결론적으로, RHMF는 이분산 데이터를 위한 저계수 설명을 복구하면서 동시에 이상치를 플래깅할 수 있는 실용적인 기본 도구이며, 대규모 천문 조사에서 표준 PCA보다 유의미한 개선을 제공한다.