Latent States in Neural Networks: Recovering the Temporal Structure of Drifting Data from Model Weights

기술 요약: 신경망의 잠재 상태 (Latent States)

문제 정의
학습 시스템의 훈련 역학(training dynamics)은 연속적인 진화보다는 위상 전이(phase transitions)를 보이는 경우가 많다. 이러한 현상은 연속적인 경험이 불연속적인 사건들로 분절되어 인식되는 인간의 지각 과정을 반영한다. 이전 연구들은 자극에 대한 참조 없이도 은닉 마르코프 모델(HMM)을 사용하여 인간의 피질 활동으로부터 이러한 사건 구조(event structures)를 복구할 수 있음을 보여주었으나, 시계열적으로 표류하는 데이터 스트림(drifting data streams)에 대해 학습하는 인공 신경망에도 이와 유사한 이산적 레짐(discrete regimes)이 존재하는지는 여전히 불분명하다. 구체적으로, 본 논문은 표류하는 데이터 스트림의 "사건 구조"—즉, 일관된 레짐 간의 전환으로 특징지어지는 구조—가 모델 가중치의 궤적(trajectory)만으로 복구될 수 있는지, 그리고 복구된 잠재 상태가 기능적 일반화 성능을 예측할 수 있는지를 조사한다.

방법론
본 연구는 시간적 표류가 나타나는 것으로 알려진 두 가지 도메인, 즉 다중 모달 오정보 탐지(Fakeddit 데이터셋)와 감성 분석(Yelp 데이터셋)을 통해 이 프레임워크를 평가한다. 방법론은 다음 단계로 진행된다:

1. 시간적 윈도우 분할 (Temporal Windowing): 데이터셋을 중복되지 않는 연대순 윈도우(Fakeddit의 경우 60일, Yelp의 경우 90일)로 분할한다. 각 윈도우는 클래스 균형을 보장하기 위해 층화 추출(stratified subsampling)을 통해 고정된 크기로 다운샘플링된다.
2. 독립적 모델 훈련 (Independent Model Training): 각 윈도우의 데이터에 대해 분류기를 독립적으로 훈련시킨다. Fakeddit의 경우, RoBERTa와 ResNet-50 특징을 결합한 6-way 멀티모달 MLP를 사용한다. Yelp의 경우, RoBERTa 특징을 사용하는 5-way MLP를 사용한다. 확률성을 고려하여 각 윈도우는 10개의 서로 다른 무작위 시드(random seeds)로 훈련된다.
3. 가중치 추출 및 정렬 (Weight Extraction and Alignment): 훈련된 각 모델의 가중치를 추출한다. 은닉 유닛의 순열 대칭성(permutation symmetry) 문제를 해결하기 위해, 들어오고 나가는 가중치의 '정렬 시그니처(alignment signature)'를 기반으로 한 반복적 헝가리안 매칭(iterative Hungarian matching)을 사용하여 윈도우 내 시드 간 가중치를 정렬한다.
4. 차원 축소 (Dimensionality Reduction): 정렬된 가중치 벡터를 평탄화(flatten)한 후, 주성분 분석(PCA)을 사용하여 저차원 공간으로 투영한다. 결과 좌표는 z-점수 정규화를 거친다.
5. HMM 적합 (HMM Fitting): 연대순으로 정렬된 윈도우 중심점 시퀀스에 대해 좌측-우측 토폴로지(상태 재귀를 금지함)를 가진 은닉 마르코프 모델(HMM)을 적합시킨다. 잠재 상태의 수($K$)는 베이지안 정보 기준(BIC)과 시드 제외 교차 검증(leave-one-seed-out cross-validation)을 통해 선택된다.
6. 평가 (Evaluation):
   • 일반화 테스트 (Generalization Test): 윈도우 $i$에서 훈련된 모델을 윈도우 $j$의 테스트 데이터로 전이할 때의 매크로 F1 점수를, $i$와 $j$가 동일한 HMM 상태를 공유하는 경우와 상태 경계를 가로지르는 경우로 나누어 비교한다.
   • 통제 변수 (Controls): 분석 시 시간적 근접성(lag)과 클래스 분포의 발산(Jensen-Shannon Divergence, JSD로 측정)을 통제한다.
   • 베이스라인 (Baselines): 결과를 단순하게 동일한 크기의 연속 블록으로 분할하는 나이브 베이스라인과 비교한다.

주요 결과

1. 일관된 궤적 (Coherent Trajectories): 정렬 후, 모델 가중치는 무작위 시드에 의해 클러스터링되는 대신, PCA 공간을 통해 시간의 흐름에 따라 이동하며 일관된 궤적을 그린다.
2. 잠재 상태 복구 (Latent State Recovery): HMM은 타임라인을 분할하는 잠재 상태를 성공적으로 복구하였다 (Fakeddit 11개 상태, Yelp 16개 상태 중 15개 방문).
3. 내부 상태 일반화 이점 (Within-State Generalization Advantage): 훈련 및 테스트 윈도우가 동일한 잠재 상태에 속할 때, 상태 경계를 가로지를 때보다 모델의 일반화 성능이 유의미하게 높았다.
   • Fakeddit: 매크로 F1 점수에서 +0.1092의 차이 발생 (내부 vs. 경계 간).
   • Yelp: 매크로 F1 점수에서 +0.0184의 차이 발생.
   • 이러한 이점은 거리 조건부 순열 검정(distance-conditioned permutation tests)을 통해 시간적 근접성을 통제한 후에도 지속된다.
4. 나이브 베이스라인 대비 우월성 (Superiority to Naive Baselines): HMM 기반 세그멘테이션은 동일 크기 연속 분할 방식보다 일반화 격차(generalization gap) 측면에서 통계적으로 유의미한 개선을 보여주었으나, 동일 크기 베이스라인 역시 상당 부분의 효과를 포착한다는 점에서 데이터가 몇 개의 큰 레짐 변화에 의해 지배되고 있음을 시사한다.
5. 데이터 분포와의 상관관계 (Correlation with Data Distribution): 복구된 상태는 가중치 공간의 유클리드 거리보다 데이터의 클래스 분포 변화(JSD)와 더 강하게 상관된다.
   • Fakeddit: 클래스 분포 발산과 전이 성능 사이의 강한 상관관계 ($\rho = -0.878$).
   • Yelp: 약하지만 유의미한 상관관계 ($\rho = -0.407$).
6. 잔차 분석 (Residual Analysis): 클래스 발산과 시간적 지연(lag)을 제거한 후에도, '내부 상태' 지표는 특히 Fakedlit에서 전이 성능을 예측하는 유의미한 변수로 남았다. 이는 해당 상태들이 단순한 라벨 주변부 변화(label marginal shifts)를 넘어 전이에 유효한 구조를 포착하고 있음을 나타낸다.

의의 및 주장
본 논문은 인간 신경과학에서 관찰되었던 사건 분절(event-segmentation) 프레임워크가 표류하는 데이터에 노출된 인공 학습자에게도 적용됨을 입증한다고 주장한다. 주요 기여는 다음과 같다:

• 레짐의 복구: 세그멘테이션 과정 중에 밑바탕이 되는 데이터 분포에 접근하지 않고도, 오직 모델 가중치의 궤적 분석만으로 이산적인 시간적 레짐을 복구할 수 있다.
• 기능적 관련성: 복구된 잠재 상태는 단순히 기하학적 아티팩트가 아니다. 이들은 모델이 더 안정적으로 일반화되는 단계와 일치한다. 이러한 "내부 상태"의 일관성은 인간의 기억에서 나타나는 사건 경계의 행동적 결과와 평행을 이룬다.
• 데이터 vs. 가중치 기하학: 상태는 가중치 공간의 기하학을 통해 추정되지만, 실제 데이터의 클래스 분포와 더 밀접하게 정렬된다. 그러나 클래스 발산을 통제한 후에도 내부 상태의 이점이 유지된다는 사실은, 가중치가 라벨 분포만으로는 완전히 포착되지 않는 전이 관련 구조를 인코딩하고 있음을 시사한다.

저자들은 Yelp 데이터셋에서 효과가 약화된 점을 언급하며, 이는 Fakeddit에 비해 라벨 분포가 더 안정적이기 때문일 것이라고 설명한다. 결론적으로, 이 방법은 전이에 유효한 구조를 성공적으로 복구하지만, 직접적인 데이터 통계 대비 가중치 유래 세그멘테이션의 구체적인 기여도는 표류의 성격(예: 라벨 변화 vs. 공변량 변화)에 따라 달라질 수 있다고 밝힌다. 본 연구는 이러한 경계의 기계적 동인을 설명하는 것이 아니라, 그 존재와 예측적 유용성을 확립하는 데 목적이 있다.