기술 요약: Aionoscope

문제 정의

시계열 파운데이션 모델은 일반적으로 예측(forecasting) 또는 분류(classification) 능력을 기준으로 평가되지만, 이러한 지표들은 모델의 잠재 표현(latent representations)이 사용자가 검사하고자 하는 특정 **프로세스 상태(process state)**를 보존하고 있는지 여부는 드러내지 못한다. 이벤트 타이밍, 위상(phase), 진폭(amplitude), 주파수(frequency) 또는 레짐 변수(regime variables)와 같은 핵심 변수들은, 모델이 정확한 단기 예측을 생성하더라도 압축되거나 손실될 수 있다. 이러한 간극은 특히 고용량 운영 스트림(예: 모니터링, 금융, 로보틱스)에서 문제가 되는데, 이 경우 희귀 이벤트나 레짐 변화는 분포의 꼬리 부분에 아주 작게 존재하며, 평균 손실(average losses)은 흔한 배경 동작의 표현에 보상을 주기 때문이다. 기존의 실제 세계 벤치마크들은 직접적인 잠재 프로세스 상태에 접근하는 기능이 부족하며, 대신 희소하거나, 지연되거나, 얽혀 있는 레이블에 의존한다.

방법론: Aionoscope

본 논문은 동결된(frozen) 시계열 표현 내의 잠재 상태 접근성을 디버깅하기 위해 설계된 생성기 기반 진단 도구인 Aionoscope를 소개한다. 이 방법론은 프로세스 생성과 관측 렌더링을 분리하는 **Process-to-View 계약(contract)**에 기반한다.

1. 생성기 (원시 프로세스 혼합물, Primitive Process Mixtures)

Aionoscope는 정확한 그라운드 트루스를 가진 합성 시계열 스트림을 생성하기 위해 제어된 생성기를 사용한다.

• 프로세스 ($z_i$): 활성 성분, 레짐, 주파수, 진폭, 기울기(slope), 오프셋, 위상, 타이밍을 포함하는 잠재 상태를 샘플링한다.
• 뷰 ($x_i$): 혼합(mixing), 노이즈 및 불필요한 변동(nuisance variation)을 통해 잠재 상태를 관측된 시계열으로 렌더링한다.
• 레이블: 시스템은 동일한 잠재 상태로부터 유도된 정확한 범주형 레이블($y^{cat}_i$, 활성 성분 표시)과 밀집 레이블($y^{dense}_i$, 타이밍 및 크기와 같은 연속적 파라미터)을 출력한다.
• 혼합 복잡도: 본 벤치마크는 격리(isolation) 대 간섭(interference)을 테스트하기 위해 샘플당 활성 성분의 개수 $k \in \{1, 2, 3\}$를 평가한다.
• 구성 요소: "Primitive Process Mixtures" 인스턴스는 14가지의 구성 요소 유형(예: 상수, 노이즈, 추세, 주기적 신호, 국소적 이벤트)과 34가지의 밀집 파라미터를 사용한다.

2. 평가 프로토콜

평가는 동결된 표현에 대한 **풀링된 선형 접근성(pooled linear accessibility)**을 테스트한다.

• 동결된 모델 (Frozen Models): 37개의 모델-어댑터 시스템이 고유의 입력 길이를 사용하여 평가된다.
• 리드아웃 (Readout): 특징(features)은 동결된 모델의 모든 레이어에서 추출되어 샘플당 하나의 벡터로 평균 풀링(mean-pooled)된 후, 경량 선형 프로브(linear probes)로 전달된다.
• 프로브 (Probes):
  • 범주형 프로브 (Categorical Probe): 활성 성분을 예측한다 (AUROC로 측정).
  • 밀집 프로브 (Dense Probe): 연속적 파라미터를 예측한다 (활성 성분만 손실 함수에 포함되는 마스크드 $R^2$로 측정).
• 베이스라인 (Baselines): 고정된 특징 베이스라인(원시 파형, FFT, 통계량)과 오라클 로우(generator labels를 직접 노출함)를 포함하여 작업 난이도와 프로브 스택의 역량을 보정한다.

주요 기여

1. 생성기 기반 진단 도구: 프로세스 생성과 관측 렌더링을 분리하여 정확한 범주형 및 밀집 그라운드 트루스를 허용하는 "Process-to-View" 계약을 도입한다.
2. 상태-접근성 프로브 프로토콜: 결정론적 시드 스트림, 네이티브 길이의 동결된 표현, 레이어별 풀링된 선형 프로브를 사용하여 잠재 상태 접근성을 측정하는 표준화된 프로토콜을 정의한다.
3. 조대(Coarse)-대-밀집(Dense) 진단 결과: 모델이 무엇이 존재하는지는 쉽게 복구할 수 있지만(조대 접근성), 어떻게 파라미터화되어 있는지(밀집 접근성)는 복구하는 데 실패한다는 체계적인 불일치를 입증한다.

결과

37개 시스템에 대한 평가 결과, 조대 접근성과 미세한 접근성 사이의 상당한 격차가 드러났다.

• 범주형 대 밀집 불일치: 대부분의 시스템은 높은 범주형 AUROC(종종 >0.90)를 달행하여 신호 성분의 존재를 식별할 수 있음을 보여준다. 그러나 밀집 파라미터 복구는 현저히 낮다. 관찰된 최고 평균 마스크드 $R^2$는 0.689인 반면, 밀집 특징 오라클은 0.999에 도달한다.
• 실패 모드: 표현 방식은 일반적인 신호 유형은 올바르게 식별하더라도 타이밍, 위상, 진폭, 주파수 및 레짐 변수와 같은 핵심 변수를 숨기는 경우가 많다.
• 레이어별 가변성: 밀집 복구에 가장 좋은 레이어는 종종 최종 레이어가 아닌 곳에서 나타난다(111회 실행 중 88회). 이는 최종 레이어만을 사용하는 평가가 접근 가능한 상태 정보를 놓칠 수 있음을 시사한다.
• 혼합 복잡도: $k=1$(단일 성분) 복구는 종종 포화 상태에 도달하지만, $k=3$(다중 간섭 성분)은 뚜렷한 실패 프로파일을 드러내며 시스템을 더 효과적으로 구분한다.
• 패밀리 트렌드: Mantis 계열의 시스템은 이미지 전이 모델(예: TiConvNext)에 비해 더 강한 밀집 복구 성능을 보였으나, 이미지 전이 모델은 높은 범주형 성능을 보이면서도 낮은 밀집 영역에 밀집되는 경향을 보였다.

의의 및 주장

본 논문은 Aionoscope를 **진단적 단위 테스트(diagnostic unit test)**이자 **가설 생성 스캐폴드(hypothesis-generating scaffold)**로 규정하며, 이를 안정적인 리더보드나 실제 작업 전이 성능에 대한 주장으로 사용하지 않는다.

• 진단적 가치: 이 도구는 "어떤 종류의 신호가 존재하는가"에 관한 정보는 유용해 보이지만, 디버깅, 제어 또는 의사결정 지원에 필요한 정밀한 상태 변수는 숨기고 있는 특정 실패 모드를 표면화한다.
• 한계점: 저자들은 결과가 단일 훈련 스트림, 하나의 프로브-시드 스케줄, 그리고 네이티브 길이 어댑터에 조건부임을 강조한다. 부정적인 결과(낮은 $R^2$)는 정보가 표현 내에 존재하지 않음을 의미하는 것이 아니라, 풀링된 선형 리드아웃 하에서의 접근 불가능성을 의미한다(비선형 또는 토큰 수준의 리드아웃을 통해 복구될 수도 있음).
• 향후 과제: 논문은 통제된 합성 스냅샷을 넘어 가기 위해 더 풍부한 리드아웃 연구, 숨겨진 평가 스트림, 그리고 실제 데이터 분포에 대한 검증을 촉구한다.

요약하자면, Aionoscope는 시계열 파운데이션 모델이 진단, 제어 또는 의사결정 지원에 필요한 잠재 프로세스 상태를 보존하는지를 감사하기 위한 통제된 환경을 제공하며, 높은 예측 또는 분류 성능이 반드시 내부의 밀집 상태 변수에 대한 접근성을 보장하는 것은 아님을 밝혀낸다.