Cellwise Outliers

1. 문제 정의 (Problem Definition)

• 전통적 접근의 한계: 기존 통계 및 머신러닝에서 '이상치 (outlier)'는 데이터 행 (case/row) 전체가 다른 데이터와 다른 패턴을 보이는 경우로 정의되었습니다. 이는 '사례별 오염 (casewise contamination)' 모델을 가정하며, robust statistics(강건 통계) 는 이러한 이상 행을 제거하거나 가중치를 낮추는 방식으로 대응해 왔습니다.
• 셀별 이상치의 등장: 현대의 고차원 데이터에서는 개별 변수 (열) 의 특정 값 (셀) 만이 오염되는 경우가 빈번합니다. 이를 **셀별 이상치 (cellwise outliers)**라고 합니다.
• 고차원에서의 파급 효과:
  • 셀별 오염 모델 (Alqallaf et al., 2009) 에 따르면, 변수의 개수 $d$가 커질수록 적어도 하나의 이상 셀을 포함하는 행의 확률은 $1 - (1-\epsilon_{cell})^d$로 급격히 증가합니다.
  • 예를 들어, 셀별 오염 비율이 5% ($\epsilon_{cell}=0.05$) 일 때, 변수가 14 개면 약 51% 의 행이 오염되고, 70 개면 97% 의 행이 오염됩니다.
  • 따라서, 기존 사례별 강건 방법 (전체 행을 제거하거나 하위 가중치 부여) 을 적용하면 대부분의 유효한 데이터까지 손실되어 분석이 실패하게 됩니다.
• 혼합 오염: 실제 데이터는 사례별 이상치, 셀별 이상치, 그리고 결측치 (missing values) 가 동시에 존재할 수 있습니다.

2. 방법론 및 주요 기여 (Methodology & Key Contributions)

논문은 셀별 이상치 탐지부터 다양한 모델 (위치/공분산 추정, 회귀, PCA, 텐서 등) 에 이르는 방법론들을 체계적으로 정리했습니다.

2.1 셀별 이상치 탐지 (Detection)

• 한계: 단순한 단변량 (marginal) 기반 탐지는 상관관계가 있는 다변량 데이터에서 이상치를 놓칠 수 있습니다 (예: Fiat 500 Abarth 의 너비 데이터).
• DDC (Detect Deviating Cells) 알고리즘:
  • 각 변수를 다른 변수들에 대한 강건한 단순 선형 회귀로 예측합니다.
  • 예측값과 관측값의 차이 (잔차) 를 기반으로 셀별 이상치를 탐지합니다.
  • Cellmap: 잔차의 부호 (양/음) 를 색상 (빨강/파랑) 으로 시각화하여 이상 셀을 직관적으로 보여줍니다.
• FastDDC: 고차원 데이터에서 계산 효율성을 높인 버전으로, 선형 종속 변수를 신속하게 스크리닝하고 앙상블 회귀를 활용합니다.

2.2 다변량 위치 및 공분산 행렬 추정 (Location & Covariance)

• 강건성의 패러다임 전환:
  • 전통적인 **아핀 공변성 (Affine Equivariance)**은 셀별 오염 하에서 높은 강건성 (Breakdown value) 을 보장할 수 없음을 증명했습니다.
  • Proposition 1 & 2: 아핀 공변성을 만족하는 위치/공분산 추정량의 셀별 붕괴값 (breakdown value) 은 최대 $1/d$로 제한됩니다. 즉, 차원이 높을수록 강건성이 급격히 떨어집니다.
• CellMCD (Cellwise Minimum Covariance Determinant):
  • 기존 MCD(사례별) 를 셀별 버전으로 확장했습니다.
  • 이중 최적화: 관측된 셀 중 '깨끗한' 셀의 부분집합을 선택하여 가능도 (likelihood) 를 최대화하고, 동시에 이상 셀을 플래그하는 이진 행렬 $W$를 추정합니다.
  • 블록 좌표 하강법 (Block-coordinate descent) 을 사용하여 위치, 공분산, 이상 셀 플래그를 반복적으로 업데이트합니다.
  • 높은 붕괴값을 가지며, 결측치 처리도 가능합니다.

2.3 회귀 분석 (Regression)

• 문제: 회귀계수 추정 시 설명변수 (X) 의 일부 셀만 오염된 경우, 전통적 방법은 전체 관측치를 버리게 됩니다.
• CellLTS (Cellwise Least Trimmed Squares):
  • 3 단계 프로세스:
    1. CellMCD 를 사용하여 설명변수 행렬 $X$의 셀별 이상치를 탐지하고 결측치로 변환 (Imputation).
    2. 정제된 $\tilde{X}$에 대해 사례별 LTS(Least Trimmed Squares) 회귀를 수행.
    3. 예측 시: 새로운 데이터 $x_{new}$가 들어오면, 먼저 이상 셀을 보정 (Impute) 한 후 회귀식을 적용합니다. 이는 이상 셀이 예측에 과도한 영향을 미치는 것을 방지합니다.
  • Ridge 형태의 페널티를 도입하여 공선성 문제를 해결합니다.

2.4 고차원 데이터 및 주성분 분석 (PCA)

• CellPCA:
  • 고차원 데이터에서 셀별 이상치와 결측치를 동시에 처리합니다.
  • 이중 손실 함수: 셀별 잔차에 대한 bounded loss 함수 ($\rho_1$) 와 사례별 총 편차에 대한 bounded loss 함수 ($\rho_2$) 를 결합한 단일 목적 함수를 최소화합니다.
  • Imputation: 이상 셀을 주성분 부분공간 (subspace) 을 향해 축소 (shrink) 하여 보정합니다.
  • CellRCov: 공분산 행렬을 주성분 부분공간 성분과 직교 보완 성분으로 분해하여 고차원에서도 안정된 공분산 추정을 제공합니다.
• 정밀도 행렬 (Precision Matrix): 강건한 공분산 추정치를 기반으로 Graphical Lasso 등을 사용하여 조건부 독립성을 추정하는 방법들을 다룹니다.

2.5 텐서 데이터 (Tensor Data)

• ROMPCA (Robust Multilinear PCA):
  • 3 차원 이상의 텐서 데이터 (예: 비디오 프레임) 에서 사례별 및 셀별 이상치를 동시에 처리합니다.
  • Tucker 또는 CP 분해에 강건한 $\rho$ 함수를 적용하고, 이상 셀과 결측치를 보정된 텐서로 impute 합니다.
  • 예시: 'Dog Walker' 비디오 데이터에서 사람 (이상치) 과 배경의 움직임을 성공적으로 분리하여 플래그했습니다.

3. 주요 결과 및 발견 (Key Results & Findings)

1. 이론적 한계 증명: 아핀 공변성 (Affine Equivariance) 과 같은 전통적인 통계적 성질은 셀별 오염 하에서 강건성과 양립할 수 없음을 수학적으로 증명했습니다. 이는 새로운 강건 통계학의 패러다임 전환을 요구합니다.
2. 성능 향상: CellMCD, CellLTS, CellPCA 등의 방법은 시뮬레이션과 실제 데이터 (TopGear, Octane, Dog Walker 등) 에서 기존 방법들보다 이상치 탐지 정확도와 모델 추정 정확도가 월등히 높음을 보였습니다.
3. 고차원 대응: 고차원 데이터 ($d \gg n$) 에서도 셀별 강건 방법론이 유효하게 작동하며, 특히 결측치 처리와 이상치 보정을 동시에 수행할 수 있습니다.
4. 시각화: Cellmap 과 같은 시각화 도구를 통해 복잡한 다변량 데이터에서 어떤 특정 셀이 문제인지 직관적으로 파악할 수 있게 되었습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 변화: 통계학은 '행 (Case)' 단위의 이상치 처리에서 '셀 (Cell)' 단위의 정밀한 이상치 처리로 전환해야 함을 강조합니다. 이는 고차원 빅데이터 시대에 필수적인 접근법입니다.
• 실용성: 제안된 방법론들은 R 패키지 cellWise 등을 통해 구현되어 있으며, 역학, 지화학, 고고학, 영상 처리 등 다양한 분야에서 적용 가능합니다.
• 미래 과제: 아직 해결되지 않은 프레임워크, 알고리즘 최적화, 결과 해석을 위한 그래픽 도구 개발 등이 남아있지만, 지난 10 년간 셀별 강건 통계학 분야에서 상당한 진전이 이루어졌음을 강조합니다.

요약하자면, 이 논문은 셀별 이상치가 고차원 데이터 분석에 미치는 치명적인 영향을 지적하고, 이를 해결하기 위해 기존의 강건 통계 이론을 재정의하고 새로운 알고리즘 (CellMCD, CellLTS, CellPCA 등) 을 제안함으로써 현대 데이터 과학의 핵심 과제를 해결하는 데 기여했습니다.