🤖 machine learning

TinyCast: Probabilistic Zero-Shot Forecasting with Computed Periodicity

TinyCast는 제로 파라미터 스펙트럼 검출기를 통해 주기성을 명시적으로 계산함으로써 최첨단 확률적 정확도를 달성하는 단 146,505개의 파라미터만을 가진 초경량, 어텐션 프리(attention-free) 제로샷 예측 모델로, 신호별 피팅 없이 임베디드 장치에서의 효율적인 엔드 투 엔드 배포를 가능하게 합니다.

원저자: Armin Steinhauser

게시일 2026-08-18

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Armin Steinhauser

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

시계열 예측은 시간에 따라 변화하는 데이터 스트림에서 다음에 올 것이 무엇인지 예측하는 예술입니다. 이는 전력망, 공장 현장, 기상 관측소 등의 의사결정을 뒷받는 엔진이며, 신호의 미래 값을 아는 것이 시스템으로 하여금 대비하고, 조정하거나, 경고를 보낼 수 있게 합니다. 수십 년 동안 표준적인 접근 방식은 모든 개별 신호마다 고유한 모델을 필요로 했으며, 그 하나의 데이터 스트림에 특화되어 훈련되었습니다. 이 방식은 작동은 했지만, 무겁고 느렸으며, 새로운 센서가 등장할 때마다 새로운 훈련 사이클을 요구했습니다. 최근에는 방대한 다양한 신호 라이브ка리를 학습하여 추가 훈련 없이도 보이지 않는 신호를 예측할 수 있는 '파운데이션 모델(foundation models)'이라는 새로운 세대가 등장했습니다. 이 모델들은 강력하지만, 모델이 생각하는 방식을 정의하는 내부 설정인 파라미터(매개변수)가 수백만 개에 달할 정도로 거대합니다. 이러한 크기는 엔지니어가 정확하면서도 아주 작은 메모리 공간에도 들어갈 만큼 가벼운 예측을 필요로 하는 일상적인 기기 속의 작고 저전력인 칩에서 실행하는 것을 불가능하게 만듭니다.

RAWS Labs의 한 연구자는 이 특정 문제를 해결하기 위해 설계된 TinyCast라는 새로운 모델을 선보였습니다. 그들은 간단한 질문을 던졌습니다. 만약 모델이 패턴을 처음부터 학습하는 대신 약간의 수학을 사용하여 패턴을 찾는 것을 허용한다면, 확률적 예측기는 얼마나 작아질 수 있는가? 그들이 찾아낸 답은 단 146,505개의 파라미터만을 가진 모델이었으며, 이는 주요 벤치마크에서 기록된 가장 작은 제로샷(zero-shot) 예측기입니다. 거대한 모델들이 수십억 번의 계산을 통해 계절과 주기의 리듬을 암기하려고 노력하는 것과 달리, TinyCast는 관찰되는 데이터로부터 지배적인 리듬을 직접 계산합니다. 그런 다음 데이터를 이 리듬을 중심으로 접어(fold), 모델이 아주 적은 양의 학습 능력으로 나머지 패턴에 집중할 수 있도록 합니다. 그 결과, 이 시스템은 단일 마이크로컨트롤러 칩에서 완전히 실행될 수 있으며, 단 하나의 추측치가 아니라 전체 범위의 가능한 미래 결과들을 생성해 냅니다. 이 모든 과정은 새로운 신호를 만날 때마다 재훈련할 필요 없이 이루어집니다.

TinyCast의 핵심 아이디어는 매우 작은 크기에서는 신경망이 주기성을 발견하도록 가르치는 것보다 신호의 주기성을 측정하는 것이 더 효율적이라는 것입니다. 주기성이란 데이터의 반복되는 주기, 예를 들어 전력 사용량의 일간 상승과 하락 또는 교통량의 주간 패턴과 같은 것을 의미합니다. 더 큰 모델에서는 컴퓨터가 수천 개의 사례를 봄으로써 이러한 주기를 학습해야 합니다. 그러나 TinyCast는 제로 파라미터 스펙트럼 검출기(zero-parameter spectral detector)를 사용하는데, 이는 데이터 스트림을 분석하여 가장 강한 반복 주파수를 즉각적으로 찾아내는 수학적 도구입니다. 이 도구는 저장할 메모리도, 학습할 훈련도 필요하지 않습니다. 단순히 리듬을 계산할 뿐입니다. 일단 모델이 주기를 알게 되면, 데이터의 문맥(context)을 그 리듬 위로 접어서, 마치 데이터 포인트들을 하나의 주기에 따라 겹쳐 쌓는 것처럼 정렬합니다. 이 과정은 모델에게 문제의 가장 중요한 구조를 '공짜'로 전달함으로써, 모델의 제한된 학습 가능 파라미터가 수학적으로 예측할 수 없는 더 복잡하고 불규칙한 부분에 집중할 수 있게 해줍니다.

모델의 아키텍처는 임베디드 하드웨어의 제약 조건에 친화적인 연산들로 완전히 구축되었습니다. 이 모델은 더 큰 모델들이 사용하는 복잡한 어텐션(attention) 메커니즘을 피하는데, 이는 작은 칩에서 실행하기 어렵기 때문입니다. 대신, 이 모델은 데이터의 먼 거리까지 살펴보며 긴 범위의 패턴을 포착하면서도 방대한 메모리를 필요로 하지 않는 필터의 일종인 확장 합성곱(dilated convolutions)을 사용합니다. 모델은 데이터를 블록 단위로 처리하며, 다음 48단계에 대해 분위수(quantiles)라고 알려진 9개의 서로 다른 가능한 결과 세트를 예측합니다. 이 분위수들은 완전한 확률 분포를 나타내며, 사용자에게 단순히 다음 값이 무엇일지뿐만 아니라 모델이 그 예측에 대해 얼마나 확신하는지를 알려줍니다. 이는 제어 시스템이나 경보 임계값이 단순한 점 추정치가 아니라 불확실성의 범위를 이해하는 데 의존한다는 점에서 매우 중요한 차이입니다. 전체 시스템은 고정된 메모리 윈도우 내에서 실행되도록 설계되어, 예측 지평(prediction horizon)이 확장됨에 따라 메모리 사용량이 늘어나지 않으며, 실시간 애플리케이션을 위한 안정성과 예측 가능성을 제공합니다.

테스트에서 TinyCast는 그 작은 규모에도 불구하고 놀라울 정도로 경쟁력 있는 모습을 보였습니다. 시계열 예측의 표준 테스트인 GIFT-Eval 벤치마크에서, Tiny-Cast는 크기로 측정 가능한 모든 다른 제로샷 모델보다 뛰어난 성능을 보였으며, 140만 개 미만의 파라미터를 가지면서 완전한 예측 분포를 성공적으로 방출한 유일한 모델이었습니다. 최대 28배 더 많은 설정을 가진 훨씬 더 큰 모델들이 약간 더 높은 점수를 기록하기도 했지만, TinyCast는 크기와 정확성이 만나는 새로운 경계를 정의했습니다. 이는 주기적 구조를 명시적으로 계산함으로써, 일반적으로 요구되는 막대한 계산 예산 없이도 높은 정확도를 달elle 수 있음을 입증했습니다. 또한 연구자는 모델을 8비트 정수 형식으로 압축할 수 있음을 보여주었는데, 이를 통해 외부 네트워크나 호스트 컴퓨터 없이도 표준 임베디드 개발 보드에서 실행할 수 있습니다.

이 모델을 실제 장치에 배포한 것은 실용적인 유용성을 강조했습니다. 연구자는 산업 및 소비자 가전에서 흔히 사용되는 마이크로컨트롤러인 STM32H753에서 모델을 성공적으로 실행했습니다. 모델 가중치와 필요한 런타임을 포함한 전체 시스템은 약 138킬로바이트의 저장 공간만을 사용하며 장치의 메모리에 들어갔습니다. 모델은 전체 데이터 문맥을 처리하고 단 4초 남짓한 시간에 예측을 생성할 수 있었는데, 이는 많은 실시간 모니터링 작업에 충분한 속도입니다. 결정적으로, 이 모델은 신호별 맞춤형 적합(per-signal fitting) 과정 없이도 작동했으므로, 동일한 펌웨어 이미지를 서로 다른 유형의 센서를 모니터링하는 대규모 장치 군단에 배포하더라도 즉시 작동할 수 있습니다. 이는 대규모 배포 시 종종 너무 비용이 많이 들고 시간이 오래 걸리는 과정인, 각 장치마다 커스텀 모델을 수집하고 훈련하는 과정을 생략해 줍니다.

연구자는 또한 모델에서 주기성 검출기를 제거했을 때 어떤 일이 발생하는지 탐구했습니다. 모델을 이 구성 요소 없이 재학습시켰을 때 정확도가 떨어졌으며, 이는 주기를 명시적으로 계산하는 것이 성공의 핵심적인 부분임을 확인시켜 주었습니다. 연구자들은 검출기가 단순히 도움이 되는 부가 기능이 아니라, 모델이 예측을 정렬하는 데 의존하는 필수적인 신호를 제공한다는 것을 발견했습니다. 또한, 모델에 사전 계산된 예측치를 입력하는 등 다양한 개입을 통해 테스트를 진행했는데, 이러한 접근 방식은 결과가 좋지 않았습니다. 모델의 강점은 리듬을 처음부터 배우거나 외부 계산에 의依赖하는 것이 아니라, 원시 데이터로부터 리듬을 측정하고 학습된 파라미터를 사용하여 예측을 정교화하는 능력에 있었습니다.

TinyCast의 성공은 우리가 작고 효율적인 모델을 구축하는 방식에 대한 사고의 전환을 시사합니다. 이는 모델이 효과적이기 위해서 반드시 데이터로부터 모든 것을 배워야 한다는 통념에 도전합니다. 대신, 작은 예산에서는 알려진 구조, 예를 들어 계절성 등을 학습하는 대신 고정된 수학적 계산으로 넘기는 것이 더 낫다는 것을 보여줍니다. 이를 통해 모델의 제한된 용량을 예측 불가능한 요소에 집중할 수 있도록 자유롭게 해줍니다. 연구자는 이러한 접근 방식이 시계열에만 국한되지 않는다고 언급했습니다. 학습되는 대신 측정될 수 있는 모든 구조는 명시적으로 계산되어 학습 파라미터로 돌아올 수 있는 용량을 반환할 수 있습니다. TinyCast의 경우, 이러한 트레이드오프 덕분에 모델은 더 크고 복잡한 모델들이 보통 제공하는 풍부한 확률적 예측을 제공하면서도 마이크로컨트롤러에 들어갈 만큼 작아질 수 있었습니다.

이 연구의 함의는 시계열 예측을 넘어 확장됩니다. 이는 정교한 파운데이션 모델 스타일의 기능을 데이터가 생성되고 즉각적인 조치가 필요한 네트워크의 엣지(edge)로 가져오는 것이 가능하다는 것을 보여줍니다. 단순한 명시적 주기성 계산과 경량 신경망을 결합함으로써, 연구자는 강력하면서도 실용적인 도구를 만들어냈습니다. 이는 전력, 메모리, 연결성이 제한된 환경에서 지능형 예측을 배포할 수 있는 길을 제시하며, 기기들이 클라우드로 데이터를 보내거나 커스텀 훈련 사이클을 기다릴 필요 없이 더 스마트한 결정을 내릴 수 있게 합니다. 이 모델은 적절한 설계 선택이 있다면 고성능 예측과 임베디드 제약 사이의 간극을 메울 수 있다는 것을 보여주는 개념 증명입니다.

기술 요약: TinyCast

문제 정의

시계열 예측은 역사적으로 "하나의 데이터셋당 하나의 모델" 체제 하에서 작동해 왔으며, 이는 신호별로 별도의 학습, 검증 및 유지보수를 요구했습니다. 파운데이션 모델은 다양한 코퍼스에서 사전 학습하여 업데이트 없이도 미학습 시계열을 예측하는 제로샷(zero-shot) 예측을 도입했지만, 모델 크기와 사용성 사이에는 여전히 간극이 존재합니다. 확률적 예측(전체 예측 분포를 출력하는 것)이 가능한 기존의 제로샷 모델들은 일반적으로 수백만 개의 파라미터를 필요로 하며, 이는 메모리와 연산 능력이 제한된 임베디드 장치에는 부적합합니다. 또한, 제어 루프나 알람 임계값 설정에 필수적인 불확형 정량화(uncertainty quantification) 측면에서 점 추정치(point estimate)만으로는 불충분한 경우가 많습니다. 핵심 과제는 엄격한 파라미터 예산(1MB 미만) 내에 적합하면서도 경쟁력 있는 정확도를 유지하고, 신경 가속기나 신호별 적합 과정 없이도 동작하는 확률적 제로샷 예측기를 구축하는 것입니다.

방법론

TinyCast는 파라미터 예산이 적을 때 계절성을 "재발견"하는 데 사용하는 용량은 다른 구조를 모델링할 용량을 잃는 것과 같다는 전제하에 설계된 어텐션 프리(attention-free) 아키텍처입니다. 즉, 주기성을 학습하는 대신 이를 명시적으로 계산합니다.

핵심 아키텍처

모델은 네 가지 주요 구성 요소로 이루어져 있습니다:

제로 파라미터 주기성 탐지기(Zero-Parameter Periodicity Detector): 학습된 파라미터가 적용되기 전, 모델은 디트렌드(detrended)된 컨텍스트에 대해 단 한 번의 실수 값 고속 푸리에 변환(rFFT)을 수행합니다. 이후 피셔의 유의성 검정(Bonferroni 교정 적용)을 통해 지배적인 주기를 식별합니다. 최대 4개의 주기가 유지되며, 특정 슬롯이 검정을 통과하지 못하면 그 기여도는 0으로 처리됩니다. 이 연산은 학습 가능한 파라미터를 갖지 않습니다.
위치 인코딩(Positional Encoding): 표준적인 사인파 인코딩과 달리, TinyCast의 위치 인코딩은 탐지된 주기에 의해 매개변수화됩니다. 각 타임 스텝 $t$ 에 대해, 모델은 탐지된 각 주기 $p_k$ 에 대한 위상 쌍 $(\sin(2\pi t/p_k), \cos(2\pi t/p_k))$ 을 생성합니다. 이는 인코딩을 입력 시계열의 특정 계절성과 직접 정렬시킵니다.
다이레이티드 컨볼루션 인코더(Dilated Convolutional Encoder): 컨텍스트는 10개의 잔차 블록(residual blocks) 스택에 의해 처리됩니다. 각 블록은 케이절 패딩(causal padding)과 SwiGLU 피드포워드 레이어를 사용하는 뎁스와이즈 세퍼러블 컨볼루션(depthwise-separable convolutions)을 사용합니다. 다이레이션(dilation)은 기하학적 스케줄( $2^{i-1}$ )을 따르며, 이를 통해 어텐션이나 FFT와 같이 정수 런타임에 적대적인 전역 혼합 연산자 없이도 2047의 수용 영역(receptive field)에 도달할 수 있습니다(2048-스텝 컨텍스트 전체를 커버).
블록-자기회귀 분위수 디코더(Block-Autoregressive Quantile Decoder): 디코더는 48 스텝의 블록에 대해 9개의 명목 분위수 추정치(데실 0.1부터 0.9까지)를 출력합니다. 미래의 각 위치에 대해 다음 세 가지 리드아웃(readout)을 사용하여 쿼리를 구성합니다:
- 풀드 서머리(Pooled Summary): 평균 인코더 상태와 마지막 상태의 결합.
- 위상 빈닝(Phase Binning): 인코더 상태를 탐지된 주기에 따라 접습니다(fold). 동일한 위상 빈(cycle 내)을 공유하는 상태들을 평균하여 계절적 템플릿을 생성합니다. 이는 해당 아키텍처 패밀리 내에서 정확도에 가장 크게 기여하는 부분입니다.
- 퓨처-컨브 보정(Future-Conv Correction): 동일한 위상에서의 과거 정규화된 값들의 평균을 기반으로 한 초안(draft)을 작성하고, 이를 작은 케이절 컨볼루션 네트워크로 정교화하여 국소적 역학을 포착합니다.

모델은 블록 단위로 작동합니다: 48 스텝을 예측하고, 블록의 중앙값을 컨텍스트에 다시 피드하며, 요청된 호라이즌(horizon) 동안 이를 반복합니다.

훈련 및 추론

훈련: 모델은 GIFT-Eval-Pretrain(테스트 세트 중복 제거 필터링 적용)과 Chronos KernelSynth 데이터, 그리고 합성 샤드(synthetic shards)를 통해 사전 학습됩니다. 4개의 자기회고 블록에 대해 스케줄드 샘플링 전략을 사용합니다. 손실 함수는 9-분위수 핀볼 손실(pinball loss)과 단순 계절성 복사본이 중앙값 예측보다 성능이 좋을 경우에만 모델에 페널티를 부여하는 "게이티드 커밋팅(gated committing)" 항을 결합합니다.
추론: 아키텍처는 정적 INT8 양자화를 위해 설계되었습니다. 모든 학습된 연산은 컨볼루션, 행렬 곱셈, 정규화 또는 엘리먼트와이즈 게이트입니다. 비선형 연산(정규화, SiLU 게이트)은 FP32 "아일랜드"로 남지만, 핵심 혼합 경로는 임베디드 정수 런타임(예: CMSIS-NN)과 완전히 호환됩니다. 모델은 호스트와의 상호 작용이나 신호별 재학습 없이 단일 코어 Cortex-M7 장치에서 엔드 투 엔드로 실행됩니다.

주요 기여

학습된 주기성 대비 계산된 주기성: 본 논문은 지배적인 주기를 스펙트럼 분석을 통해 명시적으로 계산하고 컨텍스트를 위상에 따라 접는 것이 주기성을 학습하는 것보다 파라미터 효율적임을 입증합니다. 이를 통해 모델은 제한된 용량을 비주기적 구조를 모델링하는 데 할당할 수 있습니다.
크기-정확도 프런티어: TinyCast(146,505 파라미터)는 확립된 파라미터 수를 가진 모델 중 예측 분포를 출력하는 가장 작은 제로샷 진입 모델입니다. 이는 확률적 정확도 측면에서 더 큰 모델들(예: 200K 파라미터의 Reverso-Nano, 1.4M 파라미터의 TTM-R3)과 대등하거나 이를 능가하며, 크기-정확도 프런티어를 새롭게 정의합니다.
임베디드 배포: 모델은 STM32H753(Cortex-M7)에서 정적 INT8 그래프로서 성공적으로 실행됩니다. 별도의 신호 적합, 네트워크 또는 호스트 의존성 없이 단일 펌웨어 이미지로부터 엔드 투 엔드로 예측을 수행합니다.
통제된 절제 실험(Ablations): 저자는 주기성 탐지기를 제거할 경우 성능이 크게 저하됨(훈련 노이즈 확산의 약 8배)을 보여주는 엄격한 절제 실험을 제공하며, 위상 빈닝이 해당 패밀리 내에서 모델 성공의 가장 큰 기여자임을 밝힙니다.

결과

GIFT-Eval: TinyCast는 정규화된 평균 절대 스케일드 오차(nGMASE) 0.774와 정규화된 가중 분위수 손실(nWQL) 0.545를 달성했습니다. 이는 분포를 출력하는 1.4M 파라미터 미만의 모든 제로샷 모델보다 우수한 성능을 보입니다. 이보다 높은 점수를 기록한 모든 모델은 최소 1.4M 이상의 파라미터를 보유하고 있습니다(약 10배의 예산).
Chronos-ZS: 27개 태스크 벤치마크에서 상대적 MASE 0.880, WQL 0.722를 달 기록하며, 학습 데이터가 필요 없는 방법론 중 선두를 차지했습니다. 다만 점 추정 정확도에서는 통계적 베이스라인(AutoARIMA, AutoTheta)에 약간 뒤처집니다.
fev-bench: 상대적 MASE 0.819, WQL 0.658을 달성하여 모든 통계적 베이스라인을 능가했습니다. 크기가 28배에서 62배 더 큰 대형 뉴럴 모델에는 뒤처지지만, 모델 크기를 고려할 때 경쟁력 있는 수준입니다.
배포 성능: STM32H753에서 모델은 전체 예측(2048 스텝 재인코딩 및 48 스텝 디코딩)을 약 4.08초 만에 완료합니다. INT8 가중치는 약 138 KiB의 플래시 메모리를 점유합니다. 양자화된 모델은 비양자화 호스트 프로필과 비교했을 때 미미한 정확도 저하(~2.1% nGMASE 기준)를 보입니다.

의의 및 주장

본 논문은 TinyCast가 엣지 장치에서 확률적 제로샷 예측의 실현 가능성을 재정의한다고 주장합니다. 계절성 탐지의 부담을 학습된 파라미터에서 고정된 계산(스펙트럼 분석)으로 전환함으로써, 모델은 이전에는 매우 큰 모델이나 신호별 적합 모델에서나 가능했던 수준의 일반성과 정확도를 매우 작은 규모에서 달성했습니다.

저자는 의의가 단순히 파라미터 수에 있는 것이 아니라, 예측의 사용성에 있다고 강조합니다. 확률적 출력은 제어 루프와 알람 시스템이 불확실성에 근거하여 동작할 수 있게 하며, 이는 이전에는 대규모 모델이나 신호별 적합 모델에 국한되었던 기능입니다. 이 연구는 파라미터 예산에 의해 강제된 아키텍처(다이레이티드 컨볼루션, 어텐션 제외)가 우연히 임베디드 정수 런타임의 제약 조건과 완벽하게 일치하며, 이를 통해 단일 펌웨어 이미지가 재학습 없이 다양한 유형의 신호를 처리할 수 있게 한다고 주장합니다.

논문은 한계점에 대해 겸허한 태도를 유지합니다: 모델은 단변량(공변량 무시)이며, 고정된 컨텍스트 윈도우에 의존하고(매 호출 시 전체 이력을 재인코딩), 입력 이력이 탐지기가 작동하기에 너무 짧거나 신호에 주기적 구조가 없을 경우 성능이 완만하지만 눈에 띄게 저하됩니다. 또한 절대적인 정확도 측면에서 거대 파운데이션 모델을 능가한다고 주장하지 않으며, 대신 엄격한 자원 제약 내에서 가능한 영역의 경계를 확장하는 데 집중하고 있습니다.