Data-Based Dynamical Systems Reconstruction: An Adequacy/Reliability Test

기술 요약: 데이터 기반 동적 시스템 재구성: 적합성/신뢰성 검정

문제 정의
본 논문은 노이즈가 포함된 실험 데이터로부터 확률적 동적 시스템(stochastic dynamical systems)을 재구성하는 과정을 검증하는 데 따르는 과제를 다룬다. 신경망과 같은 머신러닝의 발전과 쿠프만 연산자(Koopman operators)와 같은 연속적 접근 방식은 시계열로부터 동적 규칙을 재구성하는 능력을 향상시켰으나, 이러한 재구성을 검증하는 작업은 여전히 문제가 되고 있다.

표준적인 검증 전략은 일반적으로 훈련 중 손실 함수(loss function)를 최소화하거나, 홀드아웃 데이터(held-out data)에 대해 독립적인 지표(예: 쿨백-라이블러 발산, 와서스타인 거리)를 사용하는 방식에 의존한다. 저자들은 이러한 접근 방식이 확률적 시스템에 대해 두 가지 주요 이유로 불충분하다고 주장한다:

1. 이론적 보장의 부재: 생성 프로세스가 결정론적이라고 가정할 수 없는 시스템의 경우, 결정론적 시스템에서와 달리 궤적 재구성이 이론적으로 보장되지 않는다.
2. 지표의 한동 및 퇴화(Degeneracy): 표준 지표들은 확률적 궤적의 본질적인 가변성으로 인해 시스템 간의 차이를 견고하게 구별하지 못하는 경우가 많다. 또한, "퇴화"(서로 다른 모델 파라미터가 동일한 관측 가능한 출력을 생성하는 현상)와 "비식별성(non-identifiability)"은 보편적인 오차 임계값을 정의하기 어렵게 만든다. 한 지표에서의 "작은" 오차가 적절한 재구성을 보장하지 않을 수 있으며, 서로 다른 지표들이 동일한 데이터에 대해 상충되는 평가를 내릴 수 있다.

방법론: 적합성/신뢰성(Adequacy/Reliability, AR) 검정
임의적인 오차 임계값과 표준 지표의 한계를 극복하기 위해, 저자들은 후보 재구성 모델로부터 생성된 궤적 집합과 대상 시계열이 얼마나 잘 "섞이는지(blends in)"를 평가하는 2단계 탐색적 테스트인 적합성/신뢰성(AR) 검정을 제안한다. 이 테스트는 점 단위의 궤적 매칭이 아닌 데이터의 기하학적 구조(상태 변수의 히스토그램)를 기반으로 작동한다.

테스트는 다음 두 단계로 구성된다:

1. 1단계: 전형성 검정 (Tukey의 사분위수 범위)

   • 목적: 대상 데이터의 히스토그램이 후보 모델에 의해 생성된 히스토그램 분포와 비교했을 때 "전형적(typical)"인지 결정한다.
   • 메커니즘: 히스토그램의 각 빈(bin)에 대해, 대상 값이 모델에서 생성된 $N$개의 시행 히스토그램 값 집합과 비교된다. Tukey의 IQR 방식을 사용하며(표준 허용 계수 $f=1.5$ 적용), 대상 빈은 이상치(outlier) 또는 전형적인 값으로 분류된다.
   • 지표: "전형성 지수($TI_s$)"는 이상치가 아닌 빈들로 구성된 대상 히스토그램의 면적으로 계산된다. 만약 $TI_s$가 IQR 범위의 하한(또는 사용자 정의 임계값 $1-\alpha$)을 초과하면 대상은 "전형적"인 것으로 간주된다. 그렇지 않으면 모델은 부적합한 것으로 판정되어 기각된다.

2. 2단계: 규칙성 검정 (통계적 부호 검정)

   • 목적: 대상 히스토그램의 국소적 변동이 모델의 역학(dynamics)과 통계적으로 일치하는지 평가한다.
   • 메커니즘: 1단계에서 전형적이라고 분류된 빈들에 대해, 대상 값과 시행 집합의 중앙값 사이의 편차를 분석한다. 비모수적 부호 검정(sign test)을 적용하여, 이러한 편차의 부호가 대상 시스템과 시행 집합이 동일한 기저 역학을 공유한다는 귀무가설 하에서 기대되는 이항 분포($p=0.5$)를 따르는지 확인한다.
   • 지표: p-값이 유의 수준 $\alpha$(통상 0.05)보다 크면, 재구성은 "규칙적(regular)"이며 적합한 것으로 간주된다. p-값이 더 낮으면 변동이 일관되지 않은 것으로 간주되어 모델은 기각된다.

주요 결과
저자들은 가우시안 노이즈가 추가된 4가지 대표 모델인 Chua 및 Lorenz(카오스 시스템)와 FitzHugh-Nagumo(FHN) 및 Lambda-Omega($\Lambda\Omega$)(진동 시스템)를 사용하여 AR 검정을 검증하였다.

• 표준 지표의 실패: FHN 및 Lorenz 시스템의 노이즈 시뮬레이션에서, 표준 지표(KL-divergence, Wasserstein distance, Hellinger distance)는 높은 가변성을 보였다(Lorenz의 경우 변동 계수 최대 60%). 이러한 지표들은 여러 번의 시행이 동일한 시스템으로부터 생성되었음을 견고하게 인식하지 못했으며, 종종 이상치로 판정되거나 zero로 수렴하지 못하는 결과를 낳았다.
• AR 검정의 성공: 조각 선형 순환 신경망(PLRNN)을 통해 재구성된 확률적 Lorenz 시스템에 AR 검정을 적용했을 때, 검정은 재구성이 적합함을 올바르게 식별하였다. 대상 데이터는 "전형적"(높은 $TI_s > 0.95$)이자 "규칙적"(부호 검정 통과)인 것으로 분류된 반면, 표준 지표들은 넓은 분산과 불확сно한 결과를 보였다.
• 안정성: 테스트 결과는 노이즈 수준이 과도하지 않은 한, 시행 횟수가 증가함에 따라 안정적인 것으로 나타났다. 높은 노이즈 수준은 결과에 일부 가변성을 도입하지만, 테스트는 일반적으로 일관된 분류로 수렴하였다.
• 퇴화의 영향: 연구는 시스템의 퇴화가 테스트의 적용 가능성을 제한한다는 점을 강조하였다.
  • 서로 다른 파라미터가 동일한 리미트 사이클을 생성하는 고도로 퇴화된 $\Lambda\Omega$ 모델의 경우, 특히 과도 역학(transient dynamics)이 충분히 활성화되지 않는 낮은 노이즈 수준에서 테스트가 참조 시스템과 퇴화된 변형 모델을 구분하는 데 어려움을 겪었다.
  • 구조적 퇴화가 적은 FHN 모델의 경우, 테스트가 시스템을 더 효과적으로 구분하였으나, 시스템이 약간만 달라도 높은 노이즈 수준에서 위양성(false positive)이 발생하였다.
• 재구성 편향: 중요한 발견 중 하나는, 원래 시스템이 "비전형적"(희귀한) 궤적을 생성한 경우 AR 검정이 원래 시스템보다 재구성된 모델을 선호할 수 있다는 점이다. 이 특정 궤적에 훈련된 재구성 모델은, 대상 궤적이 원래 시스템의 더 넓은 앙상블 내에서 보이는 것보다 더 "전형적"으로 보이도록 만드는 시행 집합을 생성할 수 있다.

의의 및 주장
본 논문은 확률적 동적 시스템 재구성을 검증하기 위한 보편적이고 모델 불가지론적인(model-agnostic) 프레임워크를 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 임계값 독립성: AR 검정은 맥락에 따라 달라지는 임의의 오차 허용 임계값을 피한다. 대신, 후보 모델 자체의 시행 변동성을 바탕으로 "허용 범위"를 동적으로 설정한다.
2. 탐색적 성격: 엄격한 확률적 가정에 의존하는 전통적인 통계적 추론과 달리, AR 검정은 탐색적 데이터 분석 도구로 프레임화된다. 이는 에르고디시성(ergodicity) 가정이나 시스템의 카디널리티(cardinality)에 대한 특정 가설 없이, 강건한 통계적 요약(IQR, 중앙값, 부호 검정)을 사용하여 재구성 품질을 안내한다.
3. 확률성 처리: 점 단위의 궤적 매칭이 아닌 기하학적 구조(히스토그램)와 데이터의 통계적 혼합에 집중함으로써, 확률적 궤적이 유일하지 않다는 근본적인 한계를 해결한다.
4. 데이터 효율성: 이 방법은 전체 데이터셋을 모델 피팅에 사용할 수 있게 하며, 검증 테스트를 사후적(a posteriori)으로 적용한다. 이는 데이터를 별도의 훈련 및 검증 세트로 나눌 필요가 없으므로 데이터가 제한적인 시나리오에서 특히 가치가 있다.

저자들은 AR 검정이 절대적인 "좋음/나쁨" 분류를 제공하는 것은 아니지만, 재구성된 시스템의 역학이 대상 데이터의 통계적 및 기하학적 특성과 일치하는지를 판단하는 엄밀한 상대적 평가를 제공한다고 결론짓는다. 그들은 극단적인 퇴화가 발생하는 경우 테스트가 경쟁 모델을 구분하지 못할 수 있음을 인정하면서도, 재구성이 대상 시스템의 필수적인 가변성을 포착하지 못할 때 이를 성공적으로 식별해 낸다고 밝히고 있다.