📊 statistics

Kernel Regression with Tensor Trains and Hadamard Overparameterization

이 논문은 다차원 데이터 결측치 보간 문제를 텐서 트레인 계수와 하다마르 과잉 매개변수화를 갖는 커널 회귀로 재정의하고, 비용이 많이 드는 교차 검증 없이 고차원 fMRI 및 동적 그래프 응용 분야에서 최첨단 정확도를 달位하기 위해 리만 다양체 상에서 이러한 구성 요소들을 공동 최적화함으로써, 훈련 데이터가 필요 없는 해석 가능한 프레임워크인 KReTTaH를 소개한다.

원저자: Duc Thien Nguyen, Konstantinos Slavakis, Eleftherios Kofidis, Dimitris Pados

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Duc Thien Nguyen, Konstantinos Slavakis, Eleftherios Kofidis, Dimitris Pados

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 다층 구조의 직소 퍼즐을 완성하려고 노력 중이라고 상상해 보십시오. 그런데 누군가가 수천 개의 조각을 찢어 가버렸습니다. 상자에는 그림이 그려져 있고 몇 개의 흩어진 조각도 남아 있지만, 하늘과 바다, 그리고 나무 부분은 거대한 덩어리째로 비어 있습니다. 이것이 바로 '다방향 데이터(multi-way data)'를 다루는 과학자와 엔지니어들이 매일 마주하는 투쟁입니다. 뇌가 활성화되는 모습을 보여주는 3D 영화든, 도시를 흐르는 교통량 지도든, 혹은 스포츠 경기 영상이든, 이 데이터들은 종종 엉망인 경우가 많습니다. 센서가 고장 나거나, 연결이 끊기거나, 측정값이 유실되어 우리에게는 거대하고 불완전한 퍼즐만이 남게 됩니다.

이를 해결하기 위해 과학자들은 보통 패턴을 찾아내어 빈 조각을 추측하려 합니다. 그들은 데이터에 숨겨진 구조가 있다고 가정합니다. 즉, 저해상도의 스케치가 완성되면 고해상도의 그림이 드러나는 것과 같은 원리입니다. 하지만 현실 세계의 데이터는 결코 단순하지 않습니다. 예측하기 어려운 복잡하고 뒤틀린 비선형적 관계들로 가득 차 있습니다. 전통적인 방식들은 엄청난 계산량에 발목이 잡히거나 방대한 양의 추가 학습 데이터를 요구하지 않고서는 이러한 뒤틀림을 포착하는 데 어려움을 겪곤 합니다. 핵심적인 질문은 이것입니다. 어떻게 하면 거대한 다른 퍼즐 라이브러리를 학습할 필요 없이, 복잡한 다차원 퍼즐의 빈칸을 정확하고 빠르게 채울 수 있을까요?

여기에 연구팀이 개발한 KReTTaH(Kernel Regression with Tensor Trains and Hadamard Overparameterization)라는 새로운 방법이 등장했습니다. KReTTaH를 눈앞의 퍼즐을 풀기 위해 수천 개의 다른 퍼즐을 암기할 필요가 없는, 아주 영리한 패턴 탐색 탐정이라고 생각해 보십시오. 단순히 추측하는 대신, KReTTaH는 '커널 회귀(kernel regression)'라는 영리한 수학적 기법을 사용하여 자신이 가지고 있는 조각들 사이의 숨겨된 비선형적 연결 고리를 이해합니다.

이것이 어떻게 작동하는지 쉬운 언어로 설명해 드리겠습니다. 데이터가 거대한 다차원 점토 덩고리라고 상상해 보십시오. KReTTaH는 점토 덩어리 전체를 한꺼번에 조각하려 하지 않습니다. 대신 문제를 일련의 작고 관리 가능한 '열차 칸'(이것이 '텐서 트레인(Tensor Train)' 부분입니다)으로 분해합니다. 이 칸들은 서로 연결되어 있으며, 그 연결 방식은 특정하고 효율적인 형태로 제한되어 있어 수학적 계산이 너무 무거워지는 것을 막아줍니다.

하지만 진짜 마법 같은 비결은 여기에 있습니다. KReTTaH는 또한 '하다마드 과잉 매개변수화(Hadamard overparameterization)'라는 기술을 사용합니다. 여러분이 건초더미에서 특정 바늘을 찾으려고 한다고 가정해 봅시다. 단지 하나의 바늘을 찾는 대신, 여러 층의 바늘이 있다고 가정하되, 반드시 필요한 경우가 아니면 대부분의 바늘은 보이지 않도록(0이 되도록) 만드는 규칙을 추가하는 것입니다. 이는 모델이 '희소(sparse)'하게 만들어지도록 강제하며, 즉 모델이 가장 중요하고 의미 있는 패턴만을 남기고 노이즈는 버리도록 만듭니다. 이는 마치 거대한 돌덩어리에서 시작하여 조각상이 아닌 부분들을 깎아내어 깨끗하고 효율적인 형태를 남기는 조각가와 같습니다.

연구진은 이 새로운 탐정을 두 가지 매우 다르고 도전적인 퍼즐에 테스트했습니다. 첫 번째로, 그들은 인간 뇌의 4D 기능적 MRI(fMRI) 스캔을 재구성했습니다. 이것은 시간의 흐름에 따른 뇌 활동의 3D 영화와 같지만, 많은 프레임이 누락된 상태입니다. KReTTäH는 다른 최고 수준의 방법들보다 더 높은 정확도를 보이면서도 훨씬 빠르게 뇌 활동의 빈 부분을 성공적으로 채워 넣었습니다. 두로, 그들은 실제 네트워크(매사추세츠와 베를린의 도로 등)의 교통 흐로 데이터를 테스트했습니다. 그들은 모니터링되지 않는 도로의 누락된 교통 속도를 예측하려 했습니다. 결과적으로, KReTTaH는 데이터가 매우 희소한 상황에서도 다른 방법들보다 더 잘 예측해 냈습니다.

KReTTaH가 특별한 이유는 스스로 설정을 자동으로 파악하기 때문입니다. 보통 과학자들은 최상의 결과를 얻기 위해 '하이퍼파라미터(hyperparameters)'라고 불리는 노브와 다이얼을 수동으로 조정하는 데 수 시간을 소비해야 합니다. 그러나 KReTTaH는 특수한 수학적 지형(리만 다양체, Riemannian manifold)을 사용하여 스스로 최적의 해답을 향해 경사를 따라 내려가며, 인간의 도움 없이도 완벽한 설정을 찾아냅니다.

이 논문은 이 접근 방식이 단순한 이론적 아이디어가 아니라 실제로 작동함을 보여줍니다. 실제 뇌 스캔 데이터와 실제 교통 데이터를 사용한 시뮬레이션에서, KRe\TTAH는 기존의 최첨단 방법들보다 일관되게 더 정확한 재구성을 만들어냈습니다. 이는 매우 높은 정확도와 계산 효율성을 동시에 달성했으며, 거대한 학습 데이터셋이나 도구를 조정하는 데 며칠을 허비하지 않고도 복잡한 다차원 퍼즐의 빈 조각을 채울 수 있음을 입증했습니다. 이는 스마트한 기하학적 구조와 약간의 '과잉 생각(과잉 매개변수화)'을 결합한 뒤 이를 본질적인 것들로 다듬어내는 과정이, 오늘 우리가 직면한 가장 지저분한 데이터 문제들을 해결할 수 있음을 시사합니다.

기술 요약: 텐서 트레인과 하다마르 과잉 매개변수화를 이용한 커널 회귀 (KReTTaH)

문제 정의

자연스럽게 텐서로 표현되는 다차원 데이터는 데이터 수집 과정의 불완전함으로 인해 결측치를 포함하는 경우가 빈번하다. 전통적인 텐서 완성(Tensor Completion, TC) 방법들은 선형 텐서 분해 모델(예: CPD, Tucker, Tensor Train)에 의존하는 경우가 많으나, 이는 효과적이긴 하지만 많은 응용 분야에서 잠재된 강력한 비선기적 관계를 명시적으로 모델링하는 데 실패한다. 또한, 기존의 커널 기반 텐서 방법들은 제한적인 유일성 조건(CPD), 회전 모호성(Tucker), 높은 계산 복잡도(베이지안 추론), 또는 교차 검증을 통한 비용이 많이 드는 수동 하이퍼파라미터 튜닝의 필요성 등의 한계를 겪고 있다. 게다가 최신 기법 중 상당수는 외부 학습 데이터를 필요로 하는 "블랙박스" 신경망에 의존하여 해석력이 부족하다.

방법론: KReTTaH 프레임워크

본 논문은 다차원 데이터 임퓨테이션(imputation)을 위한 학습 데이터가 필요 없는(training-data-free), 해석 가능하며, 비매개변수적인(nonparametric) 프레임워크인 KReTTaH(Kernel Regression with Tensor Trains and Hadamard Overparameterization)를 소개한다. 핵심 방법론은 임퓨테이션 문제를 재생 커널 힐베르트 공간(RKHS) 내의 회귀 작업으로 재구성하는 것이다.

1. 데이터 모델링 및 회귀:
데이터 텐서에 직접 텐서 트레인(TT) 구조를 부과하는 대신, KReTTaH는 회귀 계수 텐서가 고정 랭크 TT 매니폴드 상에 존재하도록 제약을 가한다. 데이터 텐서 $Y$ 는 다음과 같은 멀티 커널 모델을 사용하여 근사된다:
$Y \approx \sum_{\nu=1}^{N_K} \left( \bigodot_{p=1}^P U_{\nu,p} \right) \times_1 K_\nu \times_1 \left( \bigodot_{q=1}^Q V_{\nu,q} \right)$
여기서:

$K_\nu$ 는 랜드마크 포인트로부터 유도된 커널 행렬이다.
$U_{\nu,p}$ 와 $V_{\nu,q}$ 는 학습 가능한 계수 텐서이다.
$\bigodot$ 은 하다마르(Hadamard, 원소별) 곱을 나타낸다.

2. 하다마르 과잉 매개변수화 (Hadamard Overparameterization, HP):
비매끄러운 $\ell_1$ -노름 정규화를 사용하는 대신, 프레임워크는 하다마르 과잉 매개변수화를 사용하여 희소성(sparsity)을 촉진하고 표현 효율성을 높인다. 계수 텐서들은 여러 작은 텐서들의 하다마르 곱으로 표현된다 ( $U_\nu = \bigodot U_{\nu,p}$ ). 이러한 요소들에 매끄러운 프로베니우스 노름(Frobenius norm) 정규화를 결합하면, HP는 더 희소한 해를 생성하고 파라미터 저장 용량을 줄이는 비볼록 준-노름(quasi-norm) 정규화 효과를 실질적으로 유도한다.

3. 리만 최적화 (Riemannian Optimization):
프레임워크는 카르테시안 곱 리만 매니폴드 상에서 세 가지 세트의 파라미터를 공동 최적화한다:

고정 랭크 TT 매니폴드: 회귀 계수 텐서들은 고정된 TT 랭크를 가진 매니폴드에 제약된다.
양의 정치(Positive-Definite, PD) 행렬 매니폴드: 여러 가우시안 커널의 공분산 행렬은 PD 행렬 매니폴드 상의 학습 가능한 파라미터로 취급된다. 이를 통해 교차 검증을 통해 수행되는 수동 커널 하이퍼파라미터 튜닝(예: 대역폭 선택)의 필요성을 제거한다.
최적화 알고리즘: 역문제(inverse problem)는 라인 서치(line search)를 동반한 리만 경사 하강법(Riemannian Gradient Descent, R-GD)을 사용하여 해결된다. 이 방식은 모든 요소를 선형 궤적을 따라 동시에 업데이트하여, 교대 최소화(alternating minimization) 방식에서 흔히 발생하는 초기화 민감도 및 과잉 팩터링(overfactoring) 문제를 방지한다.

4. 네비게이터 데이터 및 랜드마크 포인트:
희소하게 관측된 데이터를 처리하기 위해, 본 방법은 "네비게이터 데이터"(관측된 항목들의 그룹)를 국소 선형 임베딩(Local Linear Embedding, LLE)을 통해 저차원 표현으로 축소하여 활용한다. 이는 다시 "랜드마크 포인트"로 압축되어 RKHS 특징 공간을 정의한다.

주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

C1: 비선형/비매개변수 모델링(RKHS를 통해), 차원 축소(TT 분해를 통해), 그리고 희소 코딩(하다마르 과잉 매개변수화를 통해)을 통합된 리만 최적화 환경 내에서 구현한 새로운 프레임워크인 KReTTaH를 도입하였다.
C2: 회귀 계수를 위한 명시적 리만 매니폴드 구성을 채택함으로써, 기저 매니폴드가 지정되지 않은 암시적 매니폴드 학습 접근 방식과 대조되는 다차원 데이터 설정을 위한 기존 2차원 데이터 연구를 일반화하였다.
C3: PD 매니폴드에 제약된 학습 가능한 공분산 행렬을 갖는 다중 가우시안 커널을 처리하도록 확장하였다. 이러한 통합은 이전 연구들에서 요구되었던 계산 비용이 많이 드는 수동 튜닝을 우회하여 자동화된 하이퍼파라미터 선택을 가능하게 한다.

실험 결과

저자들은 두 가지 도전적인 응용 분야에서 KReTTaH를 평가하였다:

4D 기능적 자기공명영상(fMRI) 재구성:
- 데이터셋: COBRE (휴지기 상태) 및 BOLD5000 (사건 관련).
- 베이스라인: RTTC (고정 랭크 매니폴드), VKBTR (베이지안 TRD), NCP (커널 기반 CPD).
- 결과: KReTTaH는 모든 샘플링 비율(0.1 ~ 0.5)에서 일관되게 가장 낮은 정규화 평균 제곱근 오차(NRMSE)를 달 기록하였다. 실행 시간 측면에서는 NCP 다음으로 빨랐으며, 메모리 집약적인 VKBTR 및 더 느린 RTTC를 크게 앞질렀다.
동적 그래프 흐름 임퓨테이션 (Dynamic Graph Flow Imputation):
- 데이터셋: Eastern-Massachusetts (EMA) 및 Berlin-Friedrichshain (BF) 네트워크의 교통 흐름 데이터.
- 베이스라인: PS, S-VAR, HodgeNet (신경망 기반), RTTC, STTC, NCP, VKBTR.
- 결과: KReTTaH는 대부분의 시나리오에서 가장 낮은 NRMSE를 달성하여 텐서 기반 및 신경망 기반 방법 모두를 능가하였다. 특히, 특정 HP 설정을 통해 높은 희소성을 달성하면서도(파라미터 저장 용량을 40% 이상 감소) 우수한 정확도를 유지하였다. 다중 커널( $N_K > 1$ ) 사용은 성능을 더욱 향상시켰으며 더 작은 랭크 선택을 가능하게 했다.

의의 및 주장

본 논문은 KReTTaH가 블랙박스 신경망에 의존하는 대신 RKHS 회귀를 통해 해석 가능한 솔루션을 제공하며, 학습 데이터가 필요 없는(training-data-free) 방식으로 작동한다는 점에서 뚜렷한 이점을 가진다고 주장한다. 고정 랭크 TT 매니폴드와 PD 행렬의 풍부한 기하학적 구조를 활용함으로써, KReTTaH는 다음을 달성한다:

자동 하이퍼파라미터 선택: 커널 공분산의 공동 학습을 통해 교차 검증의 부담을 제거한다.
효율성 및 희소성: 하다마르 과잉 매개변수화는 비매끄러운 최적화 없이도 희소성과 차원 축소를 촉진한다.
강건성: 리만 경사 하강법 접근 방식은 블록 좌표 하강법(block coordinate descent) 방식에 비해 초기화 및 과적합에 대한 민감도를 줄인다.

저자들은 KReTTaH가 다차원 데이터 임퓨테이션을 위한 모델링 정확도, 계산 효율성, 그리고 해석성 사이의 균형을 성공적으로 맞춘, 텐서 완성 분야의 중요한 진전이라고 결론짓는다. 향후 방향으로는 자동 랭크 선택 및 스트리밍 데이터로부터의 온라인 학습 확장이 제시되었다.