Cellwise and Casewise Robust Multivariate Regression with Inference

기술 요약: 추론을 포함한 셀 단위 및 사례 단위 강건 다변량 회귀

문제 제기
다변량 선형 회귀는 $p$차원 예측 변수와 $q$차원 응답 변수 간의 관계를 모델링하는 기본적인 통계 도구입니다. 그러나 최소제곱법 (OLS) 과 같은 고전적 추정량은 이상치에 매우 민감합니다. 전통적인 강건 통계는 주로 사례 단위 이상치(대부분과 다른 전체 관측치) 를 다루어 왔으며, 이를 위해서는 데이터의 최소 50% 가 깨끗해야 합니다. 그러나 현대의 고차원 데이터셋은 예측 변수 또는 응답 행렬의 개별 항목이 오염되는 셀 단위 이상치로 인해 자주 고통받습니다. 고차원에서는 오염된 셀의 소량 비율조차도 사례의 상당 부분을 "나쁜" 것으로 만들 수 있습니다 (예: $p=100$, $q=2$일 때 1% 셀 오염은 64% 의 사례에 영향을 줌). 이로 인해 사례 단위 강건 방법이 실패하게 됩니다. 또한, 현대적 응용 분야는 종종 결측값과 $p \geq n$인 차원을 포함하여 고전적 추정에서 불안정성을 초래합니다. 마지막으로, 강건 추정은 확립되었으나, 결측 데이터와 함께 셀 단위 및 사례 단위 오염이 동시에 발생할 때 유효한 통계적 추론 (예: 신뢰구간) 을 제공하는 것은 여전히 해결되지 않은 과제입니다.

방법론
저자들은 이러한 과제를 해결하기 위해 cellMR(셀 단위 다변량 회귀) 과 cellBoot(셀 단위 부트스트랩) 를 제안합니다.

1. cellMR 추정량:

   • 기반: 이 방법은 Centofanti 등 (2025) 이 개발한 셀 단위 강건 공분산 추정량 (cellCov) 에 기반합니다.
   • 메커니즘: 예측 변수와 응답의 결합 행렬 $[X; Y]$를 처리하기 위해 cellPCA라고 불리는 강건 주성분 분석 (PCA) 접근법을 사용합니다. 이 방법은 데이터를 저랭크 구조와 노이즈로 모델링하며, 셀 단위 및 사례 단위 이상치의 영향을 제한하기 위해 유효한 $\rho$-함수 (구체적으로 쌍곡탄젠트 함수) 를 사용합니다.
   • 정규화: 고차원 설정 ($p \geq n$) 에서 수치적 안정성을 보장하기 위해 회귀 계수는 릿지 정규화를 사용하여 추정됩니다. 회귀 매개변수는 cellCov에서 얻은 강건 위치 ($\hat{\mu}$) 와 산포 ($\hat{\Sigma}$) 추정량을 표준 릿지 회귀 공식에 대입하여 도출됩니다.
   • 결측 데이터: 이 프레임워크는 cellPCA 메커니즘을 통해 결측값을 자연스럽게 수용합니다. 이 메커니즘은 추정 중 기여도를 가중치로 부여하기 위해 결측 지시자를 사용합니다.
   • 예측: 표본 외 예측을 위해, 이 방법은 새로운 데이터의 의심스러운 셀을 정제하고 훈련 데이터에서 학습한 강건 구조를 기반으로 결측 셀을 채우는 대체 전략을 사용합니다.

2. cellBoot 추론 절차:

   • 과제: 셀 단위 구성으로 인해 추정량의 일관성이 보장되지 않기 때문에 cellMR 추정량에 직접 부트스트랩 추론을 수행하는 것은 문제가 있습니다.
   • 해결책: 저자들은 **간접 추론 (II)**에 기반한 부트스트랩 절차인 cellBoot를 도입합니다.
   • 보조 추정량: cellCov의 계산 효율적인 1 단계 근사치인 FastCellCov가 보조 추정량으로 사용됩니다. FastCellCov 는 일관성이 없으나, 전체 추정량의 강건성 특성을 포착합니다.
   • 편향 보정: II 프레임워크는 관측 데이터에서 계산된 보조 추정량을 매개변수 모델에서 생성된 시뮬레이션 데이터셋에서 계산된 보조 추정량의 평균과 일치시킴으로써 일관된 추정량을 구성합니다.
   • 구현: 알고리즘은 부트스트랩 샘플을 생성하고 FastCellCov 추정량을 계산한 후, II 편향 보정을 적용하여 위치와 산포의 일관된 추정량을 얻고, 최종적으로 회귀 계수를 도출합니다. 신뢰구간은 이러한 보정된 부트스트랩 추정량의 경험적 분위수를 사용하여 구성됩니다.

주요 기여

• 통합 프레임워크: 저자들의 지식에 따르면, 이는 셀 단위 이상치, 사례 단위 이상치, 결측 데이터, 그리고 고차원성 ($p \geq n$) 을 동시에 처리할 수 있는 최초의 다변량 회귀 방법입니다.
• 이론적 특성:
  • 저자들은 사례 단위 및 셀 단위 오염 모델 하에서 cellMR 회귀 추정량에 대한 **영향 함수 (IF)**를 유도하여 추정량이 유계이므로 강건함을 증명했습니다.
  • cellBoot 절차의 점근적 일관성을 증명했습니다.
  • 결과적으로 생성된 신뢰구간의 중심과 길이에 대한 영향 함수를 유도하여 그 강건성을 입증했습니다.
• 추론 유효성: 이 논문은 cellBoot 신뢰구간이 점근적으로 정확함을 입증하여, 표준 부트스트랩 또는 강건 부트스트랩 방법 (예: FRB) 이 실패하는 설정에서 유효한 불확실성 정량화를 제공합니다.

결과

• 시뮬레이션: 광범위한 몬테카를로 실험은 다양한 오염 시나리오 (셀 단위, 사례 단위, 혼합) 와 차원에서 cellMR이 경쟁 방법 (RIDGE, SEST, PENSE, CRM, REGCELL, SHOOT 포함) 보다 우수한 예측 성능 (낮은 평균 제곱 오차) 을 달성함을 보여줍니다. 경쟁 방법들은 고차원에서는 실패하거나 셀 단위 오염 하에서 성능이 저하됩니다.
• 추론 성능: cellBoot 방법은 상당한 오염과 결측 데이터 하에서도 명목상 커버리지 확률 (예: 90%) 을 유지합니다. 반면, OLS 기반 구간은 심각한 하커버리지를 겪으며, Fast and Robust Bootstrap (FRB) 은 고차원 설정에서 실패합니다.
• 실제 데이터 적용: 이 방법들은 59 개의 암 세포주, 50 개의 유전자, 3 개의 단백질을 포함하는 유전체학 데이터셋에 적용되었습니다. 분석은 잠재적 이상치와 결측값을 효과적으로 처리하면서 유전자 및 단백질 발현 수준 간의 강건한 연관성을 성공적으로 식별했으며, 이상치 지도와 포레스트 플롯을 통해 시각화되었습니다.

의의 및 주장
이 논문은 현대 데이터 분석의 "삼중 위협"인 셀 단위 오염, 사례 단위 오염, 그리고 고차원에서의 결측성을 해결하는 통합 방법론을 제공한다고 주장합니다. cellMR이 다변량 회귀 프레임워크 내에서 이러한 문제들을 공동으로 해결하는 최초의 접근법이라고 명시합니다. 또한, cellBoot의 도입은 결측값과 결합된 동시적 셀 단위 및 사례 단위 오염 하에서 유효한 신뢰구간을 제공하도록 특별히 설계된 최초의 추론 프레임워크라고 주장합니다. 저자들은 그들의 접근법이 예측을 넘어 강건한 불확실성 정량화를 통해 신뢰할 수 있는 과학적 해석을 가능하게 한다고 강조합니다.