Local Diagnostics of Continuous Normalizing Flow for Out-of-Distribution Detection

기술 요약: 연속 정규화 흐름(Continuous Normalizing Flow)의 국소 진단을 통한 분포 외(Out-of-Distribution) 탐지

문제 정의
본 논문은 고차원 데이터 공간, 특히 타겟 관측치가 해당 데이터의 부분 공간(subspace) 내에 존재하는 경우의 분포 외(OOD) 탐지 과제를 다룹로다. 주요 장애물은 "우도 역설(likelihood paradox)"로, 이는 딥 생성 모델(DGM), 특히 연속 정규법 흐름(CNF)이 분포 내(ID) 데이터보다 분포 외(OOD) 샘플에 더 높은 우도를 잘못 할당하는 현상입니다. 이러한 현상은 저수준의 구조적 세부 사항(예: 배경 통계 또는 픽셀 상관관계)을 고수준의 의미론적 일관성보다 우선시하는 DGM의 귀납적 편향(inductive bias)에 기인합니다. 기존 방법들은 우도 비(likelihood ratio)나 입력 복잡성을 통해 이를 완화하려 시도하지만, DGM을 정적인 확률 추정기로 취급하여 모델의 훈련 및 추론 과정에 내재된 풍부한 동역학적 정보를 간과하는 경편이 있습니다.

방법론
저자들은 관련 구성 요소(타겟 부분 공간)에 대한 밀도를 격리하여 추정하는 한편, 나머지 구성 요소를 컨텍스트로 활용하도록 설계된 라그랑주 부분 흐름(Lagrangian Sub-Flow, LSF) 프레임워크를 제안합니다. 이 방법론은 유체 역학에 기반하며 세 가지 핵심 기술 구성 요소를 포함합니다:

1. 라그랑주 부분 흐름 프레임워크:

   • 저자들은 주변 흐름 공간 $\mathbb{R}^D$를 타겟 부분 공간 $S$와 상보적 컨텍스트 공간 $C$로 분해합니다.
   • 이들은 **"차원 간 밀도 누출(inter-dimensional density leakage)"**이라 명명된 결정적인 문제를 식별했습니다. 이는 컨텍스트 공간 $C$의 진화가 타겟 부분 공간 $S$로 확률 질량을 유입시키거나 유출시켜, 국소 질량 보존을 위반하고 고유한 국소 운동학적 신호를 가리는 현상입니다.
   • 이를 해결하기 위해 저자들은 운동학적 밀봉(kinematic sealing) 메커니즘을 도입합니다. 이는 원래의 속도장 $v(x, t)$를 $C$에서의 속도 성분을 제거($v_C = 0$)함으로써 부분 공간 $S$로 투영하는 과정을 포함합니다. 이는 전역적 동역학 시스템을 재정의하지 않으면서도, 자율적인 부분 흐름을 가능하게 하여 유효한 국소 연속 방정식을 복원하는 "단단한 튜브(stiff tube)"를 생성합니다.

2. 부분 흐ло우 허치슨 트레이스 추정기(Sub-flow Hutchinson's Trace Estimator):

   • 밀봉된 부분 경로를 따라 밀도 진화를 정량화하기 위해, 저자들은 부분 흐름을 위한 즉각적인 변수 변환 공식을 도출합니다.
   • 저자들은 부분 흐름 자코비안(Jacobian)의 트레이스를 효율적으로 추정하기 위한 확률적 도구를 제안합니다. 운동학적 투영을 활용함으로써, 부분 흐름 자코비안의 트레이스가 특정 프로빙 벡터(probing vectors)에 투영된 전체 흐름 자코비안의 트레이스와 동일함을 보여줍니다. 이를 통해 적은 수의 자코비안-벡터 곱(JVP)만을 사용하여 고차원 신경 벡터장에 대해 효율적인 추정이 가능해집니다.

3. 진단 지표:
   논문은 (음성 분야의 오발음 탐지를 위한) 여러 지표를 정의합니다:

   • 우도 기반: 부분 표현의 로그 우도($LL$), 잠재 공간에서의 사전 적합도($PRIOR$), 반경 거리 보정($RAD$).
   • 기하학적/휴리스틱: ID 샘플에서 기대되는 직선 최적 운송(Optimal Transport, OT) 경로로부터의 이탈을 측정하는 지표들입니다. 여기에는 DISP(변위 대 경로 길이의 비율)와 COS(OT 경로와 화이트닝 경로 사이의 통합 코사인 유사도)가 포함됩니다.

주요 기여

• LSF 프레임워크: 트랜스포머 기반 CNF에서의 전역적 결합 문제를 식별하고, 전역적 컨텍스트를 보존하면서 국소적 특성을 조사할 수 있는 라그랑주 부분 흐름 프레임워크를 제안했습니다.
• 확률적 도구: 로컬 진단 신호와 전역적 진화를 분리하기 위한 효율적인 도구, 특히 부분 흐름 허치슨 트레이스 추정기를 개발했습니다.
• 음성 적용: CNF 기반 음성 생성 모델(F5-TTS)을 이용한 제로샷 음소 단위 오발음 탐지 영역에서 이 도구들을 입증했습니다.
• 기하학적 분석: 학습된 벡터장의 기하학적 특성을 시각화하고 논의함으로써, 기하학적 불일치가 밀도 변동보다 OOD 탐지에 더 민감한 지표임을 보여주었습니다.

결과
저자들은 제로샷 음소 단위 오발음 탐지를 위해 CMU Kids 데이터셋에서 방법론을 평가했습니다.

• 우도 vs. 기하학: 우도 기반 지표(GOP-LL, GOP-PRIOR)는 기하학적 방법(GOP-DISP, GOP-COS)보다 성능이 낮았습니다. 이는 오발음된 샘플이 때때로 올바른 샘플보다 더 높은 우도를 나타내는 "우도 역설"을 확인시켜 줍니다.
• 상대적 vs. 절대적: 상대적 척도(배경 모델 또는 컨텍스트와 비교)가 일반적으로 절대적 척도보다 우수한 성능을 보였습니다.
• 성능: 기하학적 지표인 GOP-COS(상대적)는 0.738의 AUC를 달성하여 전통적인 GMM 기반 방법(0.723)을 능가했으나, SOTA 판별 모델인 GOP-CTC-SF(0.915)에는 미치지 못했습니다.
• 합성 데이터 검증: 합성 데이터 실험을 통해 밀봉 메커니즘이 상보적 차원으로부터의 밀도 오염을 성공적으로 방지하여, 타겟 매니폴드 상에서 매끄럽고 완전한 밀도 추정을 수행함을 입증했습니다.

의의 및 주장
본 논문은 CNF의 진정한 진단 능력은 총체적인 우도 점수가 아니라, 고차원 매니폴드 내의 국소적이고 미세한 궤적에 있다는 점을 주장합니다. 전역적 흐름을 컨텍스트 특화된 부분 흐름으로 분해함으로써, 이 방법은 전역적 평균화에 의해 가려질 수 있는 구조적 불일치를 포착합니다.

저자들은 기하학적 불일치(기대되는 흐름 궤적으로부터의 이탈)가 CNF 기반 모델에서 단순한 밀도 변동보다 더 민감한 OOD 탐지 지표 역할을 한다고 결론짓습니다. 이 방법이 이 특정 작업에서 전통적인 판별 모델과 대등한 성능을 달성하기는 했으나, SOTA 판별 접근법에는 미치지 못했습니다. 본 연구는 CNF를 부분 공간 OOD 탐지에 사용한 첫 시도로서, 향-후 연구가 컴퓨터 비전이나 센서 시스템과 같은 다른 도메인으로의 일반화 가능성을 검증해야 함을 시사합니다.