🤖 machine learning

Probabilistic Block Term Decomposition for the Modelling of Higher-Order Arrays

본 논문은 직교성을 강제하기 위해 von-Mises Fisher 행렬 분포를 활용하는 효율적인 변분 베이지안 블록 항 분해(pBTD)를 제안하며, 이를 통해 노이즈가 있는 고차 텐서 데이터에서 패턴을 강건하게 추론하고 모델 차수를 정량화하는 데 있어 그 효과를 입증한다.

원저자: Jesper Løve Hinrich, Morten Mørup

게시일 2026-08-10

📖 5 분 읽기🧠 심층 분석

CC0 1.0

원저자: Jesper Løve Hinrich, Morten Mørup

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 탐정이 되어 미스터리를 해결하고 있다고 상상해 보십시오. 하지만 단 하나의 범죄 현장이 아니라, 거대하고 다층적인 단서의 도서관을 마주하고 있습니다. 어떤 단서는 단순한 목록(예: 식료품 목록)이고, 어떤 것은 스프레드시트(예: 예산)이며, 가장 흥미로운 것들은 3D 큐브 또는 더 높은 차원의 "하이퍼 큐브" 형태의 데이터입니다. 과학의 세계에서 이러한 것들을 **텐서(tensor)**라고 부릅니다. 이들은 화학(화학 물질이 다양한 빛 아래에서 어떻게 빛을 내는지 추적할 때), 생물학(유전자가 시간과 조건에 따라 어떻게 변하는지 매핑할 때), 또는 심리학(사람들이 다양한 대상에 대해 질문에 어떻게 답하는지 추적할 때) 등 어디에서나 발견될 수 있습니다.

이 거대하고 무질서한 데이터 큐브를 이해하기 위해, 과학자들은 **텐서 분해(tensor decomposition)**라는 기술을 사용합니다. 이것은 복잡한 레고 성을 해체하여 개별 브릭들이 어떻게 조립되었는지 그 원리를 파악하는 것과 같습니다. 오랫동안 과학자들은 두 가지 주요 방식으로 이 문제를 해결해 왔습니다. 하나는 모든 패턴을 완전히 독립적인 선으로 취급하는 방식(마치 단일 레고 브릭을 쌓아 올리는 것과 같음)이고, 다른 하나는 모든 것이 서로 연결된 거대한 웹처럼 취급하는 방식입니다. 하지만 만약 진실이 그 중간 어딘가에 있다면 어떨까요? 만약 당신의 데이터가 여러 개의 별개 "블록"으로 구성되어 있는데, 각 블록은 작은 상호 연결된 웹이지만 블록들끼리는 서로 소통하지 않는 구조라면 어떨까요? 이것이 바로 "블ло크-터름 분해(Block-Term Decomposition, BTD)"이며, 이 방법은 그 완벽한 중간 지점을 찾으려 노력합니다.

하지만 함정이 있습니다. 전통적인 방식은 단 하나의 "최선의 추측"을 찾는 데 의존합니다. 만약 데이터에 노이즈가 많거나 지저지고(예: 어둠 속에서 찍은 사진처럼), 그렇다면 단 하나의 추측은 쉽게 속아서 잘못된 결론에 도달할 수 있습니다. 여기서 새로운 논문이 등장합니다. 단 하나의 정답만을 구하는 대신, 저자들은 더 똑똑한 "확률적" 접근 방식을 제안합니다. 단순히 "이 레고 성의 유일한 진짜 모양은 무엇인가?"라고 묻는 대신, "이 성가 될 수 있는 가능한 모양들은 무엇이며, 각 모양이 나타날 확률은 얼마인가?"라고 묻는 것입니다. **베이지안 추론(Bayesian inference)**이라는 방법을 사용하여, 그들은 단순히 하나의 답을 찾는 것이 아니라 가능성의 풍경을 그려냄으로써, 스스로가 얼마나 불확실한지를 인지하고 무작위 노이즈에 불과한 부분들을 자동으로 무시할 수 있게 합니다.

논문의 새로운 도구: "똑똑한" 레고 조립가

이 논문에서 Jesper Løve Hinrich와 Morten Mørup은 BTD(probabilistic Block Term Decomposition)를 위해 특별히 설계된 매우 효율적인 새로운 버전의 확률적 방법을 소개합니다. 그들의 핵심 아이디어는 미지의 부분을 고정된 숫자가 아닌 분포(가능성의 범위)로 취급함으로써, 현실 세계의 무질서한 데이터를 처리할 수 있는 모델을 구축하는 것입니다.

이를 실현하기 위해, 그들은 데이터의 서로 다른 "블록"들을 어떻게 구별하고 서로 섞이지 않게 할 것인가라는 까다로운 수학적 문제를 해결해야 했습니다. 그들은 블록들이 "직교(orthogonal)" 상태를 유지하도록 강제하는 특수한 수학적 규칙인 **폰 미제스-피셔 분포(von Mises-Fisher distribution)**를 사용하여 이를 수행했습니다. 일상적인 용어로 설명하자면, 직교성이란 방의 모서리처럼 레고 브릭들이 서로 완벽하게 수직을 이루도록 만드는 것을 의미합니다. 이는 다른 방법들에서 흔히 발생하는 문제인 패턴 간의 뒤엉킴을 방지합니다.

그들이 발견한 것: 더 똑똑한 추측과 노이즈 필터링

저자들은 두 가지 방식으로 새로운 pBTD 도구를 테스트했습니다. 첫째는 정확한 정답을 알고 있는 컴퓨터 생성 "가짜" 데이터를 이용한 것이고, 둘째는 산업 화학 공정 데이터와 뇌파(EEG) 기록이라는 두 가지 실제 데이터셋을 이용한 것입니다.

가짜 데이터로 도구를 테스트했을 때, 그들은 놀라운 사실을 발견했습니다. 데이터에 노이즈가 매우 많을 때(예: 허리케인 속에서 속삭임을 듣는 것처럼), 전통적인 방식(최대 우도 추정법 또는 MLE라고 불림)은 노이즈를 패턴에 억지로 끼워 맞추려 시도하며, 본질적으로 "과적합(overfitting)"을 일으켜 엉뚱하고 지저분한 모델을 만들어냈습니다. 반면, 새로운 pBTD 도구는 "이 부분은 그냥 노이즈일 뿐이야"라고 인식할 만큼 똑똑했으며, 말이 되지 않는 부분들을 효과적으로 차단했습니다. 그것은 단순히 답을 찾는 것에 그치지 않고, 언제 답을 찾지 말아야 하는지도 알고 있었습니다.

또한 그들은 이 도구를 사용하여 데이터의 "올바른" 구조를 파악하는 데 사용했습니다. 상자 안에 레고가 들어있는데, 이것으로 하나의 큰 탑을 쌓아야 할지, 몇 개의 작은 탑을 쌓아야 할지, 아니면 평평한 벽을 만들어야 할지 모르는 상황을 상상해 보십시오. pBTB 도구는 **증거 하한값(Evidence Lower Bound, ELBO)**이라는 점수를 사용하여 판사 역할을 하며, 어떤 구조가 데이터에 가장 잘 맞는지를 알려줍니다. 시뮬레이션에서 이 도구는 모델이 너무 많은 조각을 가지고 시작했음에도 불구하고, 대부분의 경우 올able한 블록의 개수와 크기를 성공적으로 식별해 냈습니다. 마치 정원사가 건강한 나무를 드러내기 위해 죽은 가지를 치듯, 불필요한 조각들을 "가지치기"하여 거의 제로에 가까운 크기로 줄여버린 것입니다.

실제 세계의 결과: 화학에서 뇌까지

실제 데이터에 pBTD를 적용했을 때의 결과 역시 유망했습니다.

화학 데이터: 산업용 사출 성형 공정의 데이터셋에서, 이 도구는 모든 것이 상호 연결된 전체 "터커(Tucker)" 모델이 가장 적합하다고 제안했습니다. 그러나 동시에 이 모델의 많은 연결이 매우 약하거나 불확실하다는 점을 보여주었으며, 이를 통해 핵심 구조를 드러내기 위해 연결들을 효과적으로 가지치기했습니다.
뇌 데이터: 손 자극 중의 뇌 활동을 측정한 EEG 데이터셋에서도, 도구는 다시 한번 전체적으로 연결된 모델을 선호했습니다. 하지만 여기서 저자들은 트레이드오프(trade-off)를 언급했습니다. 통계적으로는 전체 모델이 "최선"의 적합도를 보였지만, 더 단순하고 분리된 모델(CPD 모델과 같은)이 인간이 이해하기에는 훨씬 더 쉬웠습니다. 예를 들어, 더 단순한 모델은 특정 뇌 활동 패턴이 왼손이 자극되었을 때 발생하고, 다른 패턴은 오른손이 자극되었을 때 발생한다는 것을 명확하게 보여주었습니다. 복잡하고 완전히 연결된 모델은 수학적으로는 견고했지만, 해석하기는 더 어려웠습니다.

결론

이 논문은 이 새로운 확률적 접근 방식이 가장 단순한 것부터 가장 복잡한 것에 이르기까지 모든 유형의 텐서 분해를 다룰 수 있는 통합된 방법을 제공한다고 결론짓습니다. 이는 과학자들이 데이터에 노이즈가 많을 때도 결과에 대해 더 확신을 가질 수 있도록 "안전망"을 제공하며, 과적합을 방지합니다. 그 이면에 깔린 수학은 매우 무겁지만, 결과적으로 이 도구는 단순히 숫자를 계산하는 것이 아니라 신호와 오류를 구분하는 법을 이해합니다. 저자들은 이 방법이 기존의 방식만큼 빠르면서도, 데이터가 실제로 말하고 있는 바에 대해 훨씬 더 풍부하고 신뢰할 수 있는 그림을 제공한다고 주장합니다. 또한, 속도를 높이기 위해 "변분 추론(variational inference)"이라는 특정 수학적 기법을 사용했지만, 이 프레임워크는 향로에 더 상세한 다른 방법들과도 함께 사용할 수 있을 만큼 유연하다고 언급했습니다. 궁극적으로, 그들은 과학자들에게 다차원의 세계를 바라보는 더 나은 방법을 제시하여, 노이즈 속에서 길을 잃지 않고 패턴을 볼 수 있게 해주었습니다.

기술 요약: 고차 배열 모델링을 위한 확률적 블록 항 분해(Probabilistic Block Term Decomposition)

문제 정의
텐서 분해는 과학적 데이터의 고차 구조를 특징짓는 데 필수적이며, 그중 CP 분해(CPD)와 터커(Tucker) 분해가 가장 널리 사용된다. 블록 항 분해(BTD)는 CPD의 랭크-1 외적(outer product)과 터커의 완전 연결된 다선형 구조 사이의 간극을 메우기 위해 여러 개의 작은 터커 모델을 결합하는 구조적 중간 프레임워크 역할을 한다. 전통적으로 이러한 방법들은 최대 우도 추정(MLE)에 의존하는데, 이는 점 추정치(point estimates)를 제공할 뿐 불확실성 정량화, 노이즈에 대한 강건성, 그리고 원칙적인 모델 차수 선택 메커니즘이 부족하다. CPD와 터커에 대해서는 베이지안 접근법이 개발되었으나, 기존의 확률적 BTD 모델(예: [8])은 표준 MLE 기반 BTD의 핵심인 인자 행렬(factor matrices)의 직교성을 보존하지 못하거나, 특정 블록 구성(예: $(L_r, L_r, 1)$ )으로 제한되는 경우가 많다. 또한, BDT에서 최적의 코어 개수와 그 크기를 결정하는 것은 여전히 과제로 남아 있으며, 대개 휴리스틱 기준을 통해 해결된다.

방법론
저자들은 효율적인 변분 베이지안 확률적 블록 항 분해(pBTD)를 제안한다. 이 방법론의 핵심은 다음과 같다:

생성 모델(Generative Model): 데이터는 $T$ 개의 터커 유사 블록의 합으로 모델링된다. 각 블록의 인자 행렬 $U^{(n)}_t$ 는 스티펠 다양체(Stiefel manifold) 상의 균등 사전 분포를 가진 von Mises-Fisher(vMF) 행렬 분포로부터 추출되어 직교성이 제약된다. 코어 배열 $G_t$ 는 정밀도 행렬 $\Psi_t$ 를 갖는 평균이 0인 정규 분포로 모델링된다.
직교성 강제(Orthogonality Enforcement): 가우시안 인자 분포를 사용했던 이전의 확률적 BTD 시도들과 달리, 본 모델은 vMF 분포를 통해 직교성을 명시적으로 부과함으로써 기존 BTD의 특성과 일치시키고 코어 요소들의 디커플링(decoupling)을 보장한다.
자동 관련성 결정(Automatic Relevance Determination, ARD): 모델 차수 선택과 과적합 방지를 위해 저자들은 코어 배열에 ARD 사전 분포를 적용한다. 정밀도 행렬 $\Psi$ 는 불필요한 슬라이스나 코어 내 요소를 제거(pruning)할 수 있도록 구조화된다. 세 가지 사전 유형(scale, sparsity, ARD)이 고려되었으며, 구현은 희소성(sparsity) 사전 분포에 집중한다.
변분 추론(Variational Inference): 정확한 사후 분포(posterior)를 구하는 것이 불가능하므로, 평균장 변분 근사(mean-field variational approximation)가 사용된다. 사후 분포는 독립적인 분포들의 집합 $Q(\theta)$ $Q (θ)$ 로 근사되며, 최적화 과정은 증거 하한(ELBO)을 최대화한다.
- 인자 행렬: 인자 행렬에 대한 변분 분포는 vMF 분포를 유지하며, 잔차 데이터와 기대 코어 값을 사용하여 업데이트된다.
- 코어 배열: 벡터화된 코어 배열에 대한 변분 분포는 다변량 정규 분포를 따른다. 인자 행렬의 직교성은 공분산 계산을 단순화하여, 코어 요소들이 독립적인 단변량 분포를 갖도록 한다.
- 하이퍼파라미터: 노이즈 정밀도와 코어 사전 분포의 정밀도 파라미터는 변분 업데이트로부터 유도된 감마 분포를 사용하여 업데이트된다.

주요 기여

통합 프레임워크: 본 논문은 CPD(랭크-1 블록을 가진 특수 사례로서)와 터커(단일 블록으로서)를 BTD 구조 내에 자연스럽게 포함하는 통합된 베이지안 프레임워크를 제공한다.
직교 확률적 BTD: vMF 분포를 통해 인자 행렬의 직교 제약을 성공적으로 통합한 확률적 BTD 모델을 도입하였으며, 이는 이전의 확률적 BTD 시도에서 결여되었던 기능이다.
모델 차수 정량화: 프레임워크는 ELBO와 ARD 사전 분포를 활용하여 불필요한 코어 요소를 자동으로 제거하고 적절한 다선형 구조를 결정함으로써, 휴리스틱 모델 선택에 대한 원칙적인 대안을 제시한다.
효율성: 제안된 변분 추론 방식은 기존 MLE 절차와 유사한 계산 복잡도를 달성하여, 베이지안 추론의 이점을 누리면서도 실제 적용이 가능하도록 한다.

결과
저자들은 합성 데이터와 두 개의 실제 데이터셋을 통해 pBTD를 평가하였다:

합성 데이터:
- 강건성: MLE 기반 BTD 방법들(BTD-NLS 및 BTD-minf)과 비교했을 때, pBTD는 노이즈에 대해 우수한 강건성을 보였다. 높은 노이즈 수준에서 MLE 방법들은 노이즈에 과적합된 반면, pBTD는 과적합을 피하기 위해 모델링을 효과적으로 "차단(turn off)"했다.
- 모델 선택: 알려진 참값으로부터 생성된 데이터에 다양한 BTD 구조를 적합시켰을 때, pBTD는 대부분의 경우 ELBO를 통해 올바른 구조를 성공적으로 식별했다. ARD 사전 분포는 과잉 지정된 모델에서 요소를 제거함으로써 모델 오지정(misspecification) 문제를 완화했다.
- 성능: pBTD는 잘못된 모델 차수에서도 MLE 방법보다 낮은 재구성 오차를 달양했으며, BTD-NLS보다 10~15배 빨랐다(BTD-minf보다는 약간 느림).
실제 데이터:
- 유동 주입 데이터(Flow Injection Data): 모델은 완전한 터커 표현을 지원하였으며, ARD가 많은 코어 요소를 거의 0에 가깝게 제거하였다. 추론된 터커 코어는 더 제약된 CPD/BTD 표현에 비해 높은 불확실성을 가진 구성 요소들을 보여주었다.
- EEG 데이터: ELBO는 완전한 터커 모델을 선호하여, 전체 다선형 표현에 대한 선호도를 나타냈다. 그러나 CPD 표현은 첫 번째와 열한 번째 성분에서 좌우 손 자극을 구분해내는 등 더 해석 가능한 결과를 제공하였는데, 이는 터커 및 중간 단계 BTD 모델의 복잡한 블록 상호작용에서 상실되는 명확성이다.

의의 및 주장
본 논문은 제안된 pBTD가 BTD 프레임워크에 베이지안 추론의 이점(특히 불확실성 정량화, 노이즈 모델링, 자동 모델 차수 선택)을 확장하면서도 견고하고 원칙적인 접근 방식을 제공한다고 주장한다. 저자들은 이것이 표준 MLE와 대등한 계산 복잡도를 유지하면서 달성되었다는 점을 강조한다.

본 연구의 의의는 다음과 같다:

분해 파라미터의 불확실성을 정량화하여 점 추정치를 넘어선 분석을 가능하게 한다.
자동 관련성 결정(ARD)을 통해 코어 요소를 제거함으로써 적절한 모델 복잡도(CPD vs. 터커 vs. 중간 BTD)를 선택하는 데 도움을 준다.
CPD, 터커, BTD를 아우르는 통합된 확률적 처리를 제공하여 다선형 데이터 구조에 대한 보다 포괄적인 분석을 용이하게 한다.

저자들은 현재 구현이 변분 추론을 사용하고 있지만, 프레임워크가 MCMC 방법(예: 깁스 샘플링)으로 일반화 가능하다는 점을 언급하였다. 또한, 실제 데이터에서 완전한 터커 모델이 ELBO를 최대화하는 경우가 많지만, CPD와 같은 단순한 구조의 해석력이 때로는 더 우수할 수 있음을 강조하며, 모델 선택 시 통계적 증거와 도메인 특화된 해석력 사이의 균형을 맞추어야 함을 시사하였다.

유사한 논문