Robust Tensor-on-Tensor Regression

논문 제목: Robust Tensor-on-Tensor Regression (ROTOT)

저자: Mehdi Hirari, Fabio Centofanti, Mia Hubert, Stefan Van Aelst (KU Leuven)

1. 문제 정의 (Problem Statement)

• 배경: 텐서 데이터 (다차원 배열) 분석은 얼굴 이미지, 뇌 영상 등 다양한 분야에서 중요해지고 있으며, 텐서 - 텐서 회귀 (Tensor-on-Tensor, TOT) 는 예측 텐서로부터 응답 텐서를 예측하는 핵심 도구입니다.
• 기존 방법의 한계:
  • 민감도: 기존의 고전적인 TOT 회귀 방법 (최소제곱법 기반) 은 이상치 (outliers) 에 매우 민감합니다.
  • 이상치의 종류:
    • 사례별 이상치 (Casewise outliers): 전체 관측치가 데이터의 주류에서 벗어난 경우.
    • 셀 단위 이상치 (Cellwise outliers): 텐서 내의 개별 셀 (값) 이 비정상적인 경우. 텐서 데이터는 셀 수가 매우 많기 때문에 셀 단위 이상치가 빈번하게 발생합니다.
  • 결측치: 실제 데이터에는 결측값이 흔히 존재하며, 이는 셀 단위 이상치와 유사한 문제를 일으킵니다.
• 현재 연구의 공백: 기존 robust TOT 방법들은 주로 사례별 이상치나 응답 텐서의 셀 단위 이상치 중 하나만 처리할 수 있었으며, 예측자와 응답자 모두에서 발생하는 두 가지 유형의 이상치와 결측치를 동시에 처리하는 방법은 부재했습니다.

2. 방법론 (Methodology)

이 논문은 **ROTOT (Robust Tensor-on-Tensor)**이라는 새로운 회귀 방법을 제안합니다.

2.1. 핵심 접근법

ROTOT 는 예측 텐서 ($X_n$) 와 응답 텐서 ($Y_n$) 모두에서 발생하는 이상치와 결측치를 동시에 처리하기 위해 다음과 같은 전략을 사용합니다.

1. 예측자 (Predictor) 처리 - ROMPCA:

   • 예측 텐서의 이상치와 결측치를 처리하기 위해 **Robust Multilinear Principal Component Analysis (ROMPCA)**를 사용합니다.
   • ROMPCA 는 텐서를 저차원의 핵심 텐서 (core tensor) 로 분해하고, 셀 단위 이상치와 결측치를 대체 (imputation) 하여 정제된 텐서 ($X_n^{imp}$) 를 생성합니다.
   • 또한, 각 관측치가 사례별 이상치인지 여부를 판단하는 가중치 ($w_n^x$) 를 부여합니다.

2. 응답자 (Response) 처리 - 가중 M-추정 (Weighted M-estimation):

   • 응답 텐서의 이상치를 처리하기 위해 단일 손실 함수를 사용하여 셀 단위와 사례별 이상치의 영향을 동시에 줄입니다.
   • 손실 함수 구조:
     • 셀 단위 손실 ($\rho_1$): 개별 셀의 잔차가 클 경우 그 영향을 제한하기 위해 유계 (bounded) 함수 (하이퍼볼릭 탄젠트, $\tanh$) 를 사용합니다.
     • 사례별 손실 ($\rho_2$): 전체 관측치의 편차가 클 경우 영향을 줄이기 위해 동일한 유계 함수를 적용합니다.
   • 스케일 추정: M-스케일 추정자를 사용하여 잔차의 스케일 ($\hat{\sigma}_1, \hat{\sigma}_2$) 을 강건하게 추정합니다.

3. 최적화 알고리즘 - IRLS (Iteratively Reweighted Least Squares):

   • 비선형 손실 함수를 최소화하기 위해 IRLS 알고리즘을 개발했습니다.
   • 각 반복 단계에서 가중치 텐서 ($W_n$) 를 업데이트하고, 교대 최소제곱법 (Alternating Least Squares, ALS) 을 사용하여 계수 텐서 ($B$) 의 저차원 표현 (CP 분해) 을 업데이트합니다.
   • 알고리즘의 수렴성을 보장하며, Proposition 1 에 따라 목적 함수가 단조 감소함을 증명했습니다.

4. 초기화 및 하이퍼파라미터:

   • 로컬 최적해에 빠지는 것을 방지하기 위해 DDC(Detecting Deviating Cells) 알고리즘과 ROMPCA 를 활용한 두 가지 초기화 전략을 제안합니다.
   • 교차 검증 (Cross-validation) 을 통해 정규화 파라미터 ($\lambda$) 와 랭크 ($R$) 를 선택합니다.

3. 주요 기여 (Key Contributions)

1. 동시 처리 능력: 응답 텐서와 예측 텐서 모두에서 발생하는 사례별 이상치, 셀 단위 이상치, 결측치를 동시에 처리할 수 있는 최초의 TOT 회귀 방법론을 제시했습니다.
2. 통합 손실 함수: 하나의 손실 함수 내에서 셀 단위와 사례별 이상치를 모두 제어하는 새로운 구조를 설계했습니다.
3. 강건한 진단 도구:
   • 잔차 셀 맵 (Residual Cellmap): 응답 텐서의 셀 단위 이상치를 시각화합니다.
   • ROTOT 이상치 맵 (Outlier Map): 예측자의 점수 거리 (Score Distance) 와 응답자의 잔차 거리를 결합하여, 좋은/나쁜 레버리지 포인트 (leverage points) 와 다양한 유형의 이상치를 구별하여 시각화합니다.
4. 소프트웨어 및 데이터 공개: R 코드를 공개하여 재현성을 보장했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 연구:
  • 다양한 시나리오 (셀 단위/사례별 이상치 혼합, 다양한 노이즈 수준 SNR, 결측치 포함) 에서 ROTOT 를 기존 TOT, OnlyCell-TOT, OnlyCase-TOT 와 비교했습니다.
  • 결과: ROTOT 는 모든 오염 시나리오에서 **가장 낮은 상대 예측 오차 (RPE)**를 기록했습니다. 특히 두 가지 이상치가 동시에 존재할 때 기존 방법들의 성능 저하가 극심한 반면, ROTOT 는 안정적인 성능을 유지했습니다.
• 실제 데이터 적용 (Labeled Faces in the Wild, LFW):
  • 얼굴 이미지 (예측자) 로부터 얼굴 속성 (응답자) 을 예측하는 문제에 적용했습니다.
  • 성능: ROTOT 는 기존 TOT 보다 낮은 robMSE (trimming된 평균 제곱 오차) 를 보였으며, 이상치가 주입된 데이터에서도 강건성을 입증했습니다.
  • 이상치 탐지: ROTOT 는 이미지 내의 특정 픽셀 (셀 단위) 이상치와 얼굴 전체가 흐릿하거나 가려진 경우 (사례별 이상치) 를 성공적으로 탐지하고 시각화했습니다.

5. 의의 및 결론 (Significance)

• 실무적 가치: 고차원 텐서 데이터 (이미지, 영상, 뇌 신호 등) 는 결측치와 이상치가 빈번하게 발생하는 환경에서 수집됩니다. ROTOT 는 이러한 불완전하고 오염된 데이터에서도 신뢰할 수 있는 예측 모델을 구축할 수 있게 합니다.
• 이론적 발전: 텐서 분석과 강건 통계학 (Robust Statistics) 의 결합을 통해, 기존에 분리되어 연구되던 셀 단위와 사례별 이상치 처리 문제를 통합적으로 해결하는 새로운 패러다임을 제시했습니다.
• 확장성: 제안된 IRLS 알고리즘과 진단 도구는 다른 텐서 기반 모델링 작업에도 적용 가능한 일반적인 프레임워크를 제공합니다.

요약하자면, 이 논문은 텐서 데이터 분석의 핵심 과제인 이상치와 결측치 문제를 해결하기 위해 ROTOT라는 강력한 도구를 개발하여, 기존 방법론의 한계를 극복하고 더 정확하고 신뢰할 수 있는 예측을 가능하게 했습니다.