기술적 요약: 셀 단위 강건 판별 분석

문제 제기

선형 (LDA) 및 이차 (QDA) 변형을 포함한 고전적 판별 분석 (DA) 은 클래스 파라미터를 추정하기 위해 산술 평균과 경험적 공분산 행렬에 의존합니다. 이러한 추정량은 이상치에 매우 민감합니다. 전통적인 강건 통계학은 케이스 단위 이상치(클래스 중심에서 멀리 떨어진 전체 데이터 포인트) 에 초점을 맞춰 왔지만, 현대 데이터 분석에서는 점점 더 셀 단위 이상치를 마주하게 됩니다. 이는 데이터 행렬 내의 예상치 못한 항목으로, 사례의 일부 셀만 손상되고 나머지 셀은 가치 있는 정보를 포함하는 경우를 말합니다.

몇 개의 이상 셀로 인해 전체 사례를 제거하면 상당한 정보 손실이 발생합니다. 또한, 케이스 단위 강건 방법은 셀 단위 오염이 존재할 경우 종종 실패합니다. 소수의 이상 셀조차도 다수의 사례를 오염시킬 수 있기 때문입니다. 기존 문헌은 훈련 데이터에 대한 셀 단위 강건 추정을 다루었습니다 (예: Aerts 와 Wilms, 2017). 그러나 중요한 격차가 존재합니다: 강건한 표본 외 예측. 현재 방법들은 자체적으로 이상 셀이나 결측값 (NA) 을 포함할 수 있는 새로운 테스트 데이터를 분류하는 데 어려움을 겪으며, 종종 오분류로 이어집니다.

방법론

저자들은 훈련 및 예측 단계를 모두 다루는 셀 단위 강건 판별 분석을 위한 통합 프레임워크인 cellLDA와 cellQDA를 제안합니다.

1. 강건한 훈련 (표본 내)

이 방법은 각 클래스 $g$에 대해 위치 ($\mu_g$) 와 산포 행렬 ($\Sigma_g$) 을 cellMCD 추정량 (Raymaekers 와 Rousseeuw, 2024) 을 사용하여 추정합니다.

• 목적: cellMCD 는 플래그가 지정되지 않은 셀에서만 계산된 부분 제곱 마할라노비스 거리를 포함하는 패널티가 부과된 음의 로그 가능도를 최소화합니다.
• 플래그 지정: 이는 이진 마스크 행렬 $W_g$를 동시에 추정하는데, 여기서 $w_{ij}=0$은 플래그가 지정된 (이상치 또는 NA) 셀을 나타내고 $w_{ij}=1$은 깨끗한 셀을 나타냅니다.
• LDA 적응: 선형 DA 의 경우, 중심이 잡힌 데이터를 풀링하고 고정된 중심을 사용하여 cellMCD 를 적용함으로써 공유 산포 행렬을 추정합니다.

2. 표본 외 예측 (테스트 데이터)

핵심적인 참신함은 셀 단위 이상치와 NA 를 포함하는 테스트 사례를 처리하는 예측 단계에 있습니다.

• Cellflagger: 새로운 테스트 포인트 $x$에 대해, 가능도 기반의 "cellflagger"가 셀을 반복적으로 플래그 지정합니다. 이는 특정 클래스 $g$에 대한 이상 셀을 결정하기 위해 패널티가 부과된 목적 함수를 최소화합니다. 셀의 표준화 잔차가 강건한 허용 구간 ($\chi^2$ 분위수에 기반) 을 초과하면 해당 셀이 플래그 지정됩니다.
• 오염 모델: 저자들은 다중 클래스로 확장된 셀 단위 오염 프레임워크 (Alqallaf 등, 2009) 를 확장하는 새로운 통계 모델을 도입합니다. 이 모델은 다음과 같이 가정합니다:
  • 깨끗한 셀은 다변량 정규 분포 $N(\mu_g, \Sigma_g)$를 따릅니다.
  • 이상 셀은 두꺼운 꼬리를 가진 라플라스 분포를 따릅니다.
  • 이상 셀은 특정 확률 $p_{gj}$로 발생합니다.
• 강건 판별 함수: 위의 모델 하에서 데이터와 오염 지표의 결합 가능도에 기반하여 새로운 판별 함수 $\delta_g(x, w_g)$가 유도됩니다. 이 함수는 다음을 포함합니다:
  1. 플래그가 지정되지 않은 셀의 표준 로그 가능도.
  2. 플래그가 지정된 셀의 수에 대한 패널티 항 (오염의 베르누이 확률에 기반).
  3. 이상 셀의 크기를 고려하는 항 (라플라스 밀도에 기반).
• 결측 데이터 처리: 이 프레임워크는 cellflagger 를 적용하기 전에 해당 가중치를 0 으로 고정 (영구적으로 제외된 것으로 간주) 함으로써 NA 를 자연스럽게 처리하며, 판별 함수가 사용 가능한 깨끗한 셀에 대해서만 합산되도록 보장합니다.
• 케이스 단위 이상치 탐지: 테스트 사례가 $d/2$개 이상의 플래그가 지정된 셀을 갖거나, 나머지 셀에 대해 큰 마할라노비스 거리를 갖는 경우, 해당 사례는 새로운 "이상치" 클래스 (클래스 0) 에 할당됩니다.

주요 기여

1. 통합 프레임워크: 이 접근법은 단일 패널티가 부과된 최대 가능도 원리 하에서 파라미터 추정, 이상치 탐지, 및 분류를 통합합니다.
2. 강건한 예측: 이전의 셀 단위 강건 방법과 달리, 이 접근법은 이상 셀을 포함할 수 있는 테스트 데이터를 분류하는 메커니즘을 제공하여 경미한 데이터 오류가 있는 사례의 오분류를 방지합니다.
3. 결측값 처리: 이 방법은 분류 전에 대체 (imputation) 를 요구하지 않고 결측 데이터를 자연스럽게 수용합니다.
4. 해석 가능성: 저자들은 분류 결과를 시각화하고, 깨끗한 사례, 이상 셀이 있는 올바르게 분류된 사례, 그리고 케이스 단위 이상치 사이를 구별하는 그래픽 도구 (Classmaps 및 Cellmaps) 를 도입했습니다.

결과

시뮬레이션

이 방법들은 다양한 오염 시나리오 (셀 단위, 케이스 단위, 혼합) 와 상관 구조 하에서 차원 $d=5$및 $d=20$인 시뮬레이션 데이터로 평가되었습니다.

• 깨끗한 테스트 데이터: 훈련 데이터에 셀 단위 이상치가 포함되어 있을 때, cellQDA와 cellLDA는 고전적 DA(CQDA/CLDA) 및 케이스 단위 강건 방법 (RQDA/RLDA) 보다 높은 정확도를 유지하며 우세했습니다.
• 오염된 테스트 데이터: 테스트 데이터에 셀 단위 이상치가 포함되어 있을 때, cellQDA와 cellLDA만이 강건한 성능을 유지했습니다. 고전적 및 케이스 단위 강건 방법은 테스트 세트의 이상 셀을 처리하도록 설계되지 않았기 때문에 판별 규칙이 실패하여 정확도가 크게 떨어졌습니다.
• 혼합 시나리오: 제안된 방법들은 훈련 및 테스트 데이터 모두 오염되었을 때 기존 강건 기준 (GLQDA/RLDA) 일관되게 우월한 성능을 발휘했습니다.

실제 데이터 적용

이 방법은 9 가지 영양 변수를 가진 804 개의 스위스 과자 (쿠키, 아이스크림, 케이크, 푸딩) 데이터셋에 적용되었습니다.

• 정확도: cellQDA는 0.832 의 가장 높은 교차 검증 정확도를 달성하여 CQDA(0.569), RQDA(0.805), GLQDA(0.767) 를 능가했습니다.
• 해석: 그래픽 표시는 cellQDA가 다른 방법들에 의해 오분류되거나 전역 이상치로 플래그 지정되었던 비정상적인 영양 프로필을 가진 제품 (예: 특정 "Weight Watchers" 브랜드) 을 올바르게 분류했음을 드러냈습니다. Cellmaps 는 분류를 주도하는 특정 비정상적인 성분 (예: 예상치 않게 높거나 낮은 염분) 을 성공적으로 식별했습니다.
• 결측 데이터: 이 방법은 테스트 셀의 최대 60% 가 결측으로 설정되었음에도 불구하고 높은 정확도 (76%) 를 유지하여 완전한 데이터에 적용된 고전적 DA 를 크게 능가했습니다.

중요성 및 주장

이 논문은 판별 분석을 위한 강건한 표본 외 예측 방법의 개발이 이 연구의 주요 중요성이라고 주장합니다. 강건한 훈련은 확립되어 있지만, 전체 관측치를 폐기하지 않고 셀 단위 이상치를 포함하는 새로운 데이터를 분류할 수 있는 능력은 새로운 기여입니다.

저자들은 그들의 접근 방식이 일관성이 있다고 강조합니다. 추정, 플래그 지정, 및 분류 단계가 모두 동일한 패널티가 부과된 가능도 모델에서 유래하기 때문입니다. 이 통합은 결측값의 자연스러운 처리를 가능하게 하고, 플래그가 지정된 셀의 수에 패널티를 부과하는 통계적으로 근거 있는 방법을 제공합니다. 시뮬레이션 결과는 이러한 방법들이 훈련 및 테스트 단계 모두에서 데이터 오염이 발생하는 현실적인 시나리오에서 깨끗한 데이터의 효율성을 희생하지 않으면서 우수한 성능을 제공함을 보여줍니다.