Naturalness Predicts but Does Not Cause Transferability in Image Encodings of Real-World Streams

기술 요약: 자연스러움은 실제 세계 스트림의 이미지 인코딩에 대한 전이 가능성을 예측하지만, 그 원인은 아니다

문제 제기
응용 패턴 인식 분야에서, 1차원 신호(예: 시계열)를 자연 사진으로 사전 학습된 합성곱 또는 트랜스포머 백본을 활용할 수 있도록 이미지로 변환하는 것은 흔한 관행이다. 이러한 인코딩(Gramian Angular Fields, Markov Transition Fields, recurrence plots 등)은 다운스트림 정확도에 의해 평가되지만, 생성된 이미지의 시각적 특성은 거의 조사되지 않는다. 이는 중요한 질문을 제기한다. 즉, 동결된(frozen) 백본에 대해, 인코딩의 전이 정확도가 해당 인코딩의 이미지 분포가 자연 사진과 얼마나 밀접하게 일치하는지에 따라 달라지는가? 자연 이미지는 $|f|^{-2}$로 감소하는 방사형 평균 전력 스펙트럼(radially averaged power spectrum)이라는 특정 통계적 규칙성($1/f$ 법칙)을 보인다. 본 연구에서 테스트하는 가설은, 이 "자연스러운" 스펙트럼 법칙을 따르는 인코딩이 자연 장면 통계에 맞춰 튜닝된 동결된 백본에 더 잘 전이되는지 여부이다.

방법론
저자들은 공공 API로부터 수집된 299개의 이질적인 현재값 계열(weather, air quality, earthquakes, commodities, equities, cryptocurrencies, foreign exchange, community attention, space weather 포함)로 구성된 코퍼스인 WorldStream을 소개한다. 데이터셋은 9개 클래스의 소스 패밀리 인식 작업을 위해 3,143개의 시간적 분할 윈도우(70% 훈련, 30% 테스트)로 구조화되어 있다.

시각적 자연스러움과 전이 가능성 사이의 관계를 조사하기 위해, 저자들은 두 가지 주요 실험 전략을 채택한다:

1. 비교 평가: 7가지 서로 다른 이미지 인코딩(line plots, spectrograms, Gramian fields, Markov fields, recurrence plots 및 제안된 spectral encoder 포함)을 6개의 동결된 사전 학습 백본(ResNet-50, ViT-B/16, CLIP ViT-B/16, DINOv2 변형, ConvNeXt-L)에 대해 평가한다. 전이 정확도는 표준화된 특징에 대한 선형 프로브(linear probe)를 통해 측정된다.
2. 제어된 개입(Controlled Interventions): 인과관계를 격리하기 위해, 저자들은 새로운 **가역적 스펙트럼 인코더(invertible spectral encoder)**를 사용한다. 이 인코더는 진폭 포락선(amplitude envelope)이 단일 스펙트럼 지수 $\beta$ ($am \propto |f|^{-\beta/2}$)에 의해 제어되는 2D DFT를 통해 신호 $x$를 이미지 $I$로 매핑한다.
   • 개입 1 (스펙트럼 변화): 저자들은 인코딩된 신호의 내용은 고정시킨 채, $\beta$를 변화시켜 이미지의 전력 스펙트럼을 자연적인 $1/f^2$ 법칙($\beta \approx 2$) 쪽으로 혹은 그 반대로 이동시킨다.
   • 개입 2 (위상 스크램블링): 저자들은 기존 인코딩(recurrence plots 및 Gramian fields)의 푸리에 위상(Fourier phases)을 무작위화하여, 전력 스펙트럼은 정확히 유지하면서 국소적 공간 구조(local spatial structure)를 파괴한다.

인코딩의 "자연스러움"은 자연 이미지(Imagenette)에 대한 Fréchet Inception Distance(FID)를 사용하여 정량화된다.

주요 결과

1. 상관관계 vs 인과관계: 42개의 인코딩-백본 쌍($7 \times 6$) 전체에서, FID와 동결 전이 정확도 사이에 강한 음의 상관관계(Spearman $\rho = -0.72$)가 나타났다. 더 "자연스럽게" 보이는(낮은 FID) 인코딩이 일반적으로 더 높은 정확도를 달성한다.
2. 스펙트럼 자연스러움은 인과적이지 않음: 첫 번째 개입에서, $\beta$를 변화시키는 것은 FID를 자연적 값인 $\beta \approx 2$ 근처에서 최소화하는 데 성공했다. 그러나 전이 정확도는 전체 스윕(sweep) 동안 낮은 수준(13.9%–23.6%)에서 평탄하게 유지되었으며, $\beta \approx 2$에서 정점을 보이지 않았다. 이 제어된 설정에서의 FID와 정확도 간의 상관관계는 약했다(Pearson $-0.32$). 이는 자연 이미지의 스펙트럼 기울기를 맞추는 것 자체가 반드시 전이 가능성을 향상시키지는 않음을 입증한다.
3. 국소 구조가 동인(Driver)임: 두 번째 개입에서, 위상 스크램블링은 스펙트럼을 일정하게 유지하면서 국소 구조를 파괴했다. 이때 FID와 정확도는 함께 급격히 저하되었다(Pearson $-0.89$). 이는 기초 실험에서 관찰된 교차 인코딩 상관관계가 스펙트럼 자연스러움이 아니라 국소 이미지 구조에 의해 매개됨을 나타낸다. FID를 위한 Inception 네트워크와 비전 백본 모두 국소 수용 영역(local receptive fields)에 의존한다. Gramian fields와 같이 국소적 쌍 관계(pairwise relations)를 보존하는 인코딩은 읽기 가능한 반면, 글로벌 푸리에 합성(제안된 인코더)은 정보를 전역적으로 분산시켜 이러한 아키텍처가 읽을 수 없게 만든다.
4. 미세 조정(Fine-Tuning)의 한계: 백본의 완전한 엔드투엔드 미세 조정은 구조화된 베이스라인의 성능을 개선했지만(약 6775% 도달), 스펙트럼 인코더의 격차를 좁히는 데는 실패했다(약 2527%에 머묾). 이는 결함이 구조적 문제(국소적 배열의 부재)이지, 동결된 전이의 특정 제한 사항이 아님을 확인시켜 준다.

의의 및 주장
본 논문은 시각적 "자연스러움"(FID로 측정됨)이 신호-이미지 인코딩에 대한 전이 정확도의 강력한 예측 변수이지만, 그 원인은 아니라고 주장한다. 상관관계가 존재하는 이유는 자연스럽게 보이는 인코딩들(예: Gramian fields와 같은 구성 방식 덕분에)이 합성곱 및 트랜스포머 백본이 읽도록 설계된 국소적 공간 구조를 함께 보존하기 때문이다. 단순히 인코딩이 자연 이미지의 $1/f$ 스펙트럼 법칙을 따르도록 강제하는 것은, 국소적 구조가 부재할 경우 전이 가능성을 향상시키지 못한다.

또한, 저자들은 제안된 스펙트럼 인코더가 **가역적(invertible)**임을 입증한다. 이 인코더는 동결된 백본의 인식 입력으로서는 낮은 성능을 보임에도 불구하고, 손실 없는 시각화 도구로서 기능한다. 8비트 이미지는 높은 충실도(PSNR > 72.9 dB)로 원래의 신호로 역전환될 수 있으며, 이를 통해 데이터를 수학적으로 정확하게 밑바닥의 세계 상태를 나타내는 음영 기복 지형(shaded-relief landforms)으로 렌더링할 수 있다.

저자들은 "자연스러움" 지표가 이 문맥에서 국소적 구조적 무결성(local structural integrity)의 대리 지표(proxy)라고 결론지으며, 향에 대한 인코딩은 사전 학습된 비전 모델로의 전이 가능성을 보장하기 위해 글로벌 스펙트럼 매칭보다 국소적 레이아웃을 우선시해야 한다고 제언한다.