기술 요약: 암기의 기하학 (The Geometry of Memorization)

문제 정의

Flow Matching과 같은 연속 시간 생성 프레임워크는 시간 의존적 속도장(velocity fields)을 최적화함으로써 베이스 도메인과 타겟 도메인 사이의 확률 경로를 구축한다. 최적 운송 이론(optimal transport theory)은 전역적 최적성에서 직선 궤적을 시사하지만, 경험적으로 학습된 신경망은 아키텍처와 데이터셋의 특성에 영향을 받아 복잡하고 비선형적인 경로 변형을 발달시키기도 한다.

이 분야의 핵심 과제는 고용량 모델이 연속적인 잠재 공간을 이산적인 훈련 샘플로 붕괴시킴으로써 발생하는 **생성적 암기(generative memorization)**를 진단하는 것이다. 기존의 진단 방법들은 주로 **외재적(extrinsic)**이고 **데이터 의존적(data-dependent)**이며, 훈련 풀에 대한 사후 최근접 이웃 탐색이나 멤버십 추론 공격에 의존한다. 이러한 접근 방식은 훈련 데이터에 대한 접근 권한과 외부 베이스라인을 필요로 하며, 이는 데이터 프라이버시나 가용성이 제한된 감사(auditing) 시나리오에서 유용성을 제한한다. 또한, 정밀한 공간 미분(예: 전체 공간 자코비안 구축)을 통해 이러한 모델의 내부 기하학을 추적하는 것은 고차원 이미지 모델의 경우 계산적으로 불가능하다. 이는 $d$ 차원의 앰비언트 차원에 대해 $O(d)$ 번의 역전파(backward pass)를 요구하기 때문이다.

방법론: 유한 시간 스펙트럼 민감도 (Finite-Time Spectral Sensitivity, FTSS)

이러한 한계를 해결하기 위해, 본 논문은 유한 시간 스펙트럼 민감도(FTSS), $g(t)$를 도입한다. 이는 상태 전이 행렬(state-transition matrix)의 제곱평균제곱근(RMS) 특이값을 추적함으로써 Flow Matching 모델의 기하학을 드러내도록 설계된 그래디언트 프리(gradient-free), 순전파(forward-pass) 기반 메트릭이다.

수학적 기초

FTSS는 상미분 방정식(ODE) $dx_t/dt = v_\theta(x_t, t)$에 의해 제어되는 궤적을 따르는 미소 섭동(infinitesimal perturbations) $\delta_t$의 전파를 기반으로 정의된다.

1. 정의: $g(t)$는 단위 구 $S^{d-1}$ 상의 등방성 섭동(isotropic perturbations)에 작용하는 플로우 맵 $\phi_{t \to 1}$의 기대 방향 노름(expected directional norm)을 측정한다.
2. 스펙트럼 해석: 정리 2.2는 $g(t)$가 상태 전이 행렬 $\Phi(1, t; x_t)$의 RMS 특이값과 직접적으로 동등함을 입증한다. 구체적으로, $g(t)^2$는 기대 평균 제곱 특이값을 나타낸다:
   $$g(t)^2 = \frac{1}{d} \mathbb{E}_{x_t} \left[ \sum_{i=1}^d \sigma_i^2(t; x_t) \right]$$
3. 행렬식(Determinant) 대비 장점: 자코비안 행렬식은 한 축이 확장될 때 다른 축이 수축하는 경우(예: $\sigma_1 \to 0, \sigma_2 \to \infty$) 차원 붕괴를 은폐할 수 있는 반면, FTSS는 스펙트럼을 가산적으로 집계한다. 이를 통해 국소적 차원 붕괴가 이상치 확장(outlier expansion)에 의해 가려지지 않도록 보장한다.
4. 엔트로피 경계: 본 논문은 생성된 타겟 분포의 미분 엔트로피에 대한 상한을 유도하며, 전역적 FTSS $g(0)$의 감소가 생성된 분포의 정보 용량을 근본적으로 제한함을 보여준다.

계산 구현

조밀한 자코비안 구축의 $O(d)$ 비용을 피하기 위해, 저자들은 알고리즘 1인 병렬화된 그래디언트 프리 몬테카를로 추정기를 제안한다.

• 메커니즘: 알고리즘은 캐싱된 중간 상태에 등방성 섭동 $\epsilon u$를 주입하고, 이를 순전파 궤적 시뮬레이션을 통해 종단 시간까지 전파한 뒤 RMS 이득(gain)을 계산한다.
• 복잡도: 비용은 $O(K \cdot T \cdot \text{Cost}(\phi))$이며, 여기서 $K$는 궤적의 수이고 $T$는 시간 그리드 크기이다. 이는 오직 순전파만을 필요로 하므로 고차원 모델에 대해서도 확장 가능하다.

주요 기여

1. FTSS의 정형화: 본 논문은 $g(t)$를 고유한 기하학적 관측량으로 정형화하고, 이것이 상태 전이 행렬의 RMS 특이값과 동등함을 증명하며 안정적 랭크(stable rank)의 연속적인 대리 지표(proxy)임을 입증한다.
2. 이론적 경계: 산술-기하 평균 부등식을 사용하여, 저자들은 국소 RMS 특이값에 의해 점별(pointwise) 절대 자코비안 행렬식이 제한됨을 보인다. 이는 생성된 분포의 미분 엔트로피에 대한 명시적인 상한에 대한 증리로 이어진다(정리 2.5).
3. 스펙트럼 붕괴 비율 ($M$): 저자들은 $M := g_{\min} / g_{\min}^{\text{full}}$인 메트릭을 정의한다. 여기서 $g_{\min}$은 궤적 생성 중 최소 FTSS 값이다. 그들은 이 비율이 일반화에서 암기로의 전이를 특징짓는다는 것을 입증한다.
4. 내부 기하학적 감사: 본 논문은 순수하게 내부 궤적 역학만을 사용하여 생성적 암기를 탐지하는 프레임워크(알고리즘 2)를 제안한다. 이는 외부 멤버십 쿼리나 베이스라인 데이터 비교의 필요성을 제거한다.

실증 결과

본 논문은 다양한 학습 데이터 크기, 모델 아키텍처 및 데이터셋에 따른 스펙트럼 붕괴의 실증적 특성을 제시한다.

• 스펙트럼 붕패 현상: 모델이 암기하는 저데이터 환경(low-data regimes)에서는 궤적 생성의 후기 단계($t \to 1$)에서 뚜렷한 "스펙트럼 붕괴"를 보이는 FTSS 곡선이 나타난다. 속도장은 희소하고 이산적인 훈련 타겟에 도달하기 위해 경로의 고차원 흐름을 저차원으로 "조인다(pinches)".
• 진단 정확도: 스펙트럼 붕괴 비율 $M$은 과적합된 연속 시간 모델을 정확하게 식별한다. 일반화하는 모델은 안정적인 유효 차원(안정적인 $g(t)$)을 유지하는 반면, 과적합은 $g_{\min}$의 상당한 감소를 초래하여 낮은 $M$ 값을 유발한다.
• 확장성: 이 방법은 정확한 자코비안 기반 진단이 계산적으로 불가능한 모델들을 성공적으로 감사한다.

의의 및 주장

본 논문은 FTSS가 생성적 암기에 대한 확장 가능한 내재적 진단 도구라고 주장한다. 외재적인 데이터 비교에서 내부 기하학적 특성으로 초점을 전환함으로써, 이 프레임워크는 훈련 풀에 대한 접근 없이도 과적합을 탐지할 수 있게 한다. 저자들은 암기가 단순한 통계적 아티팩트가 아니라, 플로우의 스펙트럼 특성의 붕괴로 특징지어지는 운송 맵(transport map)의 **구조적 병리(structural pathology)**라고 상정한다. 이 접근 방식은 생성 모델의 감정에 대한 새로운 관점을 제공하며, 속도장의 기하학을 생성된 분포의 정보 용량 및 안정성과 직접 연결한다.