📊 statistics

Deep Generalised Mixed Models: a Novel Neural Network Structure for Analysing Hierarchical Data

이 논문은 GrowIt! 청소년 정서 데이터셋과 같은 고차원 종단 연구에서 무작위 결측 데이터로 인한 선택 편향 문제를 해결하기 위해 혼합 효과를 딥러닝에 통합하는 새로운 심층 일반화 혼합 모델 아키텍처를 제안하지만, 이 접근 방식은 현재 모델 불안정성 문제에 직면해 있다.

원저자: Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구들이 매일 어떤 기분인지 이해하려고 노력하고 있다고 상상해 보세요. 당신은 친구들에게 몇 주 동안 하루에도 여러 번 자신의 기분, 스트레스 수치, 그리고 지루함을 체크해 달라고 요청합니다. 이것을 "경험 샘플링(Experience Sampling)"이라고 부르는데, 이는 일 년에 한 번 찍는 커다란 사진 한 장 대신, 한 사람의 삶을 찍는 수천 개의 아주 작은 스냅샷을 찍는 것과 같습니다. 문제는 삶이 엉망이 될 때가 있다는 점입니다. 때때로 친구들은 체크하는 것을 잊어버리거나, 정말 힘든 하루를 보내고 있어서 아예 체크하는 것을 그만두기도 합니다. 데이터 과학의 세계에서 이것을 "결측치(missing data)"라고 부릅니다.

오랫동안 통계학자들은 이를 처리하기 위해 "혼합 모델(Mixed Models)"이라는 도구를 사용해 왔습니다. 이 모델들을 생각할 때, 이들은 일반적인 규칙(대부분의 사람들이 어떻게 느끼는지)을 알고 있으면서도, 각 선수만의 독특한 특징을 기억하기 위해 특별한 노트를 가지고 있는 똑똑한 코치와 같습니다. 하지만 이 구식 코치들은 데이터가 너무 방대하거나 복잡해지면 과부하가 걸립니다. 반면에 현대의 "머신러닝(Machine Learning)" 코치들은 매우 빠르고 방대한 양의 데이터를 처리할 수 있지만, 쉽게 속아 넘어가기도 합니다. 만약 선수가 슬퍼서 경기를 중단했다면, 표준 머신러닝 코치는 그 사실을 그냥 무시하고 선수의 상태가 괜찮다고 추측하여 잘못된 예측을 내놓을 수 있습니다. 과학자들이 던지는 큰 질문은 이것입니다: 우리는 거대한 데이터를 처리할 만큼 충분히 빠르면서도, 사람들이 왜 중도 탈락했는지 그 이유를 이해할 수 있을 만큼 똑똑하여 우리가 틀린 답을 내놓지 않게 할 수 있는 코치를 만들 수 있을까?

이 논문은 **심층 일반화 혼합 모델(Deep Generalised Mixed Model, DGMM)**이라는 새로운 실험적 코치를 소개합니다. 저자인 네덜란드 연구진은 이 새로운 모델이 기존의 통계적 코치와 새로운 머신러닝 코치의 장점을 결합하여 하나의 슈퍼 구조를 만들 수 있는지 알아보고자 했습니다. 그들은 이 새로운 모델을 "신경망(Neural Network)"이라는 유형의 인공지능을 사용하여 구축했는데, 이는 연결된 노드들로 이루어진 디지털 뇌와 같습니다. 구체적으로, 그들은 "변분 오토인코더(Variational Auto-Encoder)"라는 영리한 기술을 사용했습니다. 이것을 두 부분으로 구성된 기계라고 생각할 수 있습니다. 한 부분(인코더)은 사람의 엉망이고 불완전한 일기를 간단한 "숨겨진 기분 상태"의 요약본으로 압축하려고 시도하며, 다른 부분(디코더)은 그 요약본을 다시 확장하여 미래의 일들이 어떻게 될지 예측하려고 시도합니다.

연구진은 이 새로운 모델을 팬데믹 기간 동안 십 대들이 감정을 기록하는 데 사용했던 "GrowIt!"이라는 앱의 실제 데이터를 사용하여 테스트했습니다. 또한, 모델이 어떤 조건에서 어떻게 작동하는지 확인하기 위해 수백 번의 컴퓨터 시뮬레이션을 실행했는데, 여기에는 사람들이 특히 부정적인 기분을 느꼈기 때문에 데이터가 누락되는 상황도 포함되었습니다.

결과는 유망함과 현실적인 점검이 섞여 있었습니다. 데이터가 완벽하고 완전할 때조차, 새로운 DGMM은 표준 머신러닝 모델의 예측 성능에 완전히 미치지 못했으며, 실제로 표준 "순환 신경망(Recurrent Neural Network, RNN)"보다 약간 낮은 정확도를 보였습니다. 그러나 데이터가 엉망이고 누락되었을 때(이는 실제 생활에서 정확히 일어나는 일입니다), 상황은 더 복잡해졌습니다. 십 대들의 실제 데이터 테스트에서, DGMM은 RNN에 비해 전반적인 적합도가 떨어지는 모습을 보였습니다. 하지만 RNN은 "매우 불안정"하여 예측치가 요동치는 모습을 보였습니다. 반면, 어떤 개인들에 대해서는 DGMM이 실제 추세를 RNN보다 더 잘 따라갔는데, RNN은 때때로 기분이 크게 떨어지는 것을 부정확하게 예측하기도 했기 때문입니다.

저자들은 이러한 불안정성이 모델이 설정된 방식에 매우 민감하기 때문일 수 있으며, 십 대들의 데이터가 누락된 특정 방식에 어려움을 겪었기 때문이라고 제안합니다. 그러나 컴퓨터 시뮬레이션에서 모델이 올바르게 작동했을 때는, 중도 탈락한 사람들에 대해 표준 모델들보다 미래를 더 잘 예측했습니다. 모델은 사람들이 연구를 중단한 이유가 더 힘든 시간을 보내고 있었기 때문이라는 단서를 포착해 냈으며, 반면 표준 모델들은 그 단서를 놓쳤습니다.

궁극적으로, 이 논문은 심층 일반화 혼합 모델이 복잡한 인간 행동을 이해하기 위한 강력한 도구가 될 수 있는 매혹적인 새로운 아이디어이지만, 아직 기존의 도구들을 대체할 준비는 되지 않았다는 결론을 내립니다. 이것은 엔진은 훌륭하지만 핸들이 흔들리는 프로토타입 자동차와 같습니다. 연구진은 현재로서는 의사와 심리학자들이 모델이 예측하는 '무엇이 일어날 수도 있었던 일'에 의존하기보다는, 실제로 가지고 있는 데이터를 살펴보는 것이 바람직하다고 주장했습니다. 하지만 그들은 이 구조에 적절한 튜닝과 더 나은 안정성 기술이 더해진다면, 언젠가 우리가 어떻게 느끼고, 생각하고, 시간에 따라 변화하는지를 분석하는 골드 스탠다드(표준)가 될 수 있다고 주장합니다.

기술 요약: 심층 일반화 혼합 모델 (Deep Generalised Mixed Models, DGMM)

문제 제기
본 논문은 경험 표집 방법(Experience Sampling Method, ESM) 데이터와 같이 생각, 감정, 행동의 빈번한 반복 측정을 포함하는 고밀도 종단적 데이터(intensive longitudinal data)를 분석할 때 발생하는 과제들을 다룹니다. 현재의 분석 접근 방식은 다음과 같은 이분법적 한계에 직면해 있습니다:

표준 통계 기법: 혼합 효과 모델(Mixed Effects Models, MEMs)은 불균형 데이터와 탈락(drop-out) 문제를 잘 처리하지만, ESM 데이터 특유의 고차원적이고 복잡한 상관 구조를 모델링하는 데 어려움을 겪으며 경직된 분포 가정에 의존합니다.
머신러닝(ML) / 딥러닝(DL): 순환 신경망(RNN)과 같은 기술은 고차원 구조를 모델링할 수 있지만, 데이터가 무작위 결측(Missing-At-Random, MAR)인 경우 유효한 추론을 제공하지 못하는 경우가 많습니다. 종단 연구에서 탈락은 종종 결과 변수 자체에 의해 유발됩니다(예: 부정적인 감정으로 인해 참여자가 중단하는 경우). 이는 선택 편향(selection bias)을 생성합니다. 표준 ML 임퓨테이션(imputation) 방법(예: 마스킹, 평균 임퓨테이션)은 일반적으로 완전 무작위 결측(Missing-Completely-At-Random, MCAR)을 가정하며, 이는 MAR 시나리오에서 편향된 결과를 초래합니다.

이 두 분야를 결합하려는 기존의 시도들(예: Che et al., 2018)은 결측 메커니즘에 대한 제한적인 가정(예: 결측값이 경험적 평균으로 수렴한다는 가정)에 의존하며, 이는 복잡한 임상 상황에서는 성립하지 않습니다.

방법론
저자들은 혼합 효과 모델을 딥러닝으로 일반화한 새로운 신경망 아키텍처인 **심층 일반화 혼합 모델(Deep Generalised Mixed Model, DGMM)**을 제안합니다.

모델 구조: DGMM은 종단적 결과 $Y_{i,k}$ 의 예측을 두 가지 구성 요소로 분해합니다:
- 고정 효과 ( $\mu_1$ ): 기저 공변량( $X_i$ )과 시간( $T_{i,k}$ )을 입력으로 받는 표준 피드포워드 신경망( $h$ )에 의해 모델링됩니다. 이는 인구 집단 수준의 추세를 포착합니다.
- 변량 효과 ( $\mu_2$ ): 변이형 오토인코더(Variational Auto-Encoder, VAE) 구조에 의해 모델링됩니다.
  - 인코더 ( $e$ ): 관측된 데이터( $Y_i, T_i, X_i$ )를 잠재 공간(latent space)으로 매핑하여, 피험자별 변량 효과 벡터 $b_i$ 의 평균과 분산을 추정합니다.
  - 디코더 ( $d$ ): 이 잠재 분포로부터 샘플링하여 피험자별 편차( $\mu_2$ )를 생성하고, 이를 고정 효과와 결합합니다.
- 분포: 모델은 연결 함수(link function) $G_k(\cdot)$ 를 통해 다양한 결과 분포(가우시안, 감마, 이항 분포 등)를 수용할 수 있습니다.
추정:
- 비선형 변량 효과에 대한 주변 가능도(marginal likelihood)가 다루기 어려운 적분을 포함하기 때문에, 저자들은 **변이 추론(Variational Inference)**을 사용합니다.
- 이들은 재구성 항(Monte Carlo 샘플링을 통해 근사됨)과 표준 정규 사전 분포에 대해 잠재 분포를 규제하는 쿨백-라이블러(Kullback-Leibler, KL) 발산 항으로 구성된 **증거 하한(Evidence Lower Bound, ELBO)**을 최대화합니다.
- 결측 데이터 처리: 입력 크기가 가변적인 MAR 데이터를 처리하기 위해, 저자들은 확률적 근사 기대값 최대화(stochastic approximation EM) 알고리즘을 Robbins–Monro 과정과 결합하여 사용합니다.
  - 결측된 결과값은 반복적으로 임퓨테이션됩니다. 각 에포크(epoch)마다 파라미터는 확률적 경사 하강법을 통해 업데이트되며, 결측값은 Random Walk Metropolis–Hastings(RWMH) 알고리즘을 사용하여 사후 예측 분포로부터 시뮬레이션됩니다.
  - 이를 통해 인코더가 단순히 마스킹하는 것이 아니라, 결측의 패턴을 추론에 활용할 수 있게 합니다.
예측: 새로운 피험자에 대한 동적 예측은 변량 효과와 모델 파라미터의 사후 분포를 적분함으로써 생성되며, 이는 Monte Carlo 샘플링을 통해 근사됩니다.

주요 기여

아키텍처: 고정 효과와 변량 효과를 모두 신경망을 사용하여 추정함으로써, 개인 내(within-person) 및 개인 간(between-person) 이질성을 유연하고 준매개변수적(semi-parametric)으로 모델링할 수 있는, 혼합 효과 모델을 딥러닝으로 일반화한 최초의 프레임워크입니다.
MAR 추론: VAE와 베이지안 데이터 증강(data augmentation)을 결eli하여, 표준 딥러닝 응용 프로그램이 간과하는 MAR 메커니즘 하에서도 유효한 추론을 가능하게 하는 특정 적응 방식을 제공합니다.
일반화 가능성: 모델은 다양한 결과 분포를 지원하며 고차원 설정으로 확장 가능하여, 표준 MEM의 경직성과 RNN의 추론 한계를 극복합니다.

결과
저자들은 GrowIt! 연구(팬데믹 기간 중 청소년 정신 건강 데이터)와 다양한 시뮬레이션 연구를 통해 DGMM을 평가했습니다.

GrowIt! 적용:
- DGMM은 부정적 정동(Negative Affect), 외로움(Loneliness), 지루함(Boredom)을 예측하는 데 적용되었습니다.
- 성능: DGMM은 특히 이진 결과(binary outcomes)에 대해 표준 RNN보다 관측 데이터에 대한 적합도가 낮게 나타났습니다.
- 예측(Forecasting): 두 모델 모두 미래 궤적을 정확하게 예측하는 데 어려움을 겪었습니다. DGMM은 안정적인 선형 모델로 수렴하는 경향을 보였고, RNN은 지나치게 유연하지만 불안정한 예측을 생성했습니다.
- 결론: 저자들은 이러한 하위 최적의 성능을 모델 아키텍처의 근본적인 결함보다는 데이터의 특성(작은 순차적 상관관계, 왜도된 분포, 높은 결측률 ~61%) 때문으로 돌렸으며, 이 특정 데이터셋의 경우 임상적 결정은 복잡한 예측보다는 관측된 데이터에 의존해야 함을 시사했습니다.
시뮬레이션 연구:
- 결측 데이터가 없는 경우: DGMM은 적합도가 좋았으나, 독립적인 테스트 세트에서 RNN보다 약간 낮은 예측 성능을 보였습니다.
- 결측 데이터 (MAR): DGMM은 반복 계산 시 훈련 오차와 예측 성능에서 높은 분산을 보이는 모델 불안정성을 보였습니다. 이는 데이터 임퓨테이션 알고리즘, 변이 추론, 그리고 신경망 초기화 사이의 상호작용 때문으로 분석되었습니다.
- 편향(Bias): 불안정성에도 불구하고, DGMM이 수렴했을 때는 MAR 조건 하에서 RNN보다 적은 편향으로 실제 궤적을 복구해냈으며, 결측 메커니즘을 성공적으로 활용했습니다.
- 임퓨테이션: 데이터 증강 알고리즘은 훈련 데이터의 결측값을 정확하게 임퓨테이션했으나, 어느 정도의 분산은 존재했습니다.

의의 및 주장
본 논문은 DGMM이 비선형 계층적 데이터를 분석하는 데 유망한 아키텍처이지만, 현재는 불안정성 문제(하이퍼파라미터 민감도, 사후 분포 붕괴, 수렴의 분산)를 겪고 있다고 겸허히 주장합니다.

잠재력: DGMM은 표준 ML이 실패하는 MAR 조건 하에서 유효한 추론을 제공할 수 있는 잠재력을 가지고 있으며, 특히 시간이 지남에 따라 더 많은 데이터가 수집될수록 그 가치가 높아집니다.
한계: 현재의 구현은 유연성을 위해 해석 가능성을 희생했습니다. 저자들은 본 연구에서 딥 잠재 변수 표현이 부수적인 결과물(byproduct)로 취급되었다고 언급했습니다.
향러 방향: 저자들은 KL-annealing, $\beta$ -VAE 또는 식별성(identifiability) 보장을 사용하는 기술을 통해 향후 버전에서 안정성을 개선할 수 있다고 제안합니다. 또한 이 아키텍처를 다른 유형의 데이터(예: 의료 영상)로 확장하고, 잠재 차원을 비지도 학습 과제(클러스터링)나 생존 분석(time-to-event)의 결합 모델링에 활용할 것을 제안합니다.

요약하자면, DGMM은 종단적 데이터를 위한 통계적 혼합 모델과 딥러닝을 통합하는 이론적 진보를 나타내며 MAR 데이터를 처리하는 메커니즘을 제공하지만, 현재는 훈련 불안정성과 테스트된 데이터셋의 특이성으로 인해 실질적인 활용도가 제한적입니다.

유사한 논문