🤖 machine learning

RocketPFN: Accurate Time Series Classification via In-Context Learning

RocketPFN은 무작위 합성곱 특징 추출과 사전 학습된 정형 파운데이션 모델(TabPFN)을 결합하여, 타겟 데이터에 대한 별도의 학습 없이도 UCR 및 UEA 벤치마크에서 최첨단 정확도를 달성하며 기존의 파운데이션 모델들을 크게 능가하는 학습이 필요 없는 시계열 분류 파이프라인입니다.

원저자: Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 심박수, 주식 시장 트렌드, 또는 지진 진동과 같은 시간 기반의 이야기들이 가득 담긴 거대한 도서관이 있다고 상상해 보세요. 당신의 임무는 새로운 이야기를 읽고 그것이 어떤 종류의 사건인지 즉각적으로 추측하는 것입니다. 이것을 **시계열 분류(Time Series Classification)**라고 부릅니다.

수년 동안, 이를 수행하기 위한 "골드 스탠다드(표준)"는 HC2라고 불리는 매우 복잡하고 강력한 머신러닝 팀이었습니다. HC2를 서로 다른 전문 도구(예: 형상 탐지기, 사전식 조회, 구간 분석기 등)를 사용하는 네 명의 서로 다른 전문가 탐정단이라고 생각해보세요. 그들은 협력하여 사건을 해결합니다. 이들은 믿을 수 없을 정도로 정확하지만, 느리고 비용이 많이 듭니다. 새로운 데이터셋을 "공부"하여 추측을 내놓기까지 몇 시간, 심지어 며칠이 걸리기도 합니다.

그다음에는 파운데이션 모델(Foundation Models)(MOMENT 또는 Mantis와 같은)이라는 더 새롭고 화려한 접근 방식이 등장했습니다. 이들은 사전에 수백만 권의 책을 읽은 "슈퍼 학습자"와 같습니다. 이들의 아이디어는 이미 시간의 언어를 알고 있으므로, 특정 데이터셋을 공부하지 않고도 새로운 사건을 즉각적으로 해결할 수 있어야 한다는 것입니다.

여기, RocketPFN이 등장합니다.

이 논문의 저자들은 RocketPFN이라는 새로운 파이프라인을 구축했습니다. 그들은 간단한 질문을 던졌습니다. 우리가 느리고 비싼 탐정단(HC2)만큼 정확하면서도, 번뜩이는 재치만 있는 슈퍼 학습자들보다 더 똑똑한 시스템을, 아무런 훈련 없이 만들 수 있을까?

그들은 다음의 두 가지 간단한 재료를 사용하여 이 일을 해냈습니다.

1. "랜덤 노이즈" 스캐너 (Rocket)

당신에게 길고 무질서한 데이터 줄이 있다고 상상해 보세요. 모든 숫자의 깊은 의미를 이해하려고 노력하는 대신, RocketPFN은 "랜덤 노이즈 스캐너"를 사용합니다.

비유: 이것은 강물에 수천 개의 무작위 그물을 던지는 것과 같습니다. 특정 물고리를 잡기 위해 그물을 설계하는 것이 아니라, 그냥 무작위로 던지는 것입니다.
마법: 그물들이 무작위임에도 불구하고, 충분히 많은 그물(10,000개!)을 던진다면 놀라울 정도로 좋은 패턴의 조합을 잡아낼 수 있습니다. 어떤 그물은 "정점(peaks)"을 잡고, 다른 그물은 "빈도(frequency, 얼마나 자주 발생하는가)"를 잡습니다.
결론: 이 과정은 복잡한 시간의 이야기를 별도의 학습 없이도 그 형태를 설명할 수 있는 단순한 숫자 리스트(특징들)로 변환합니다.

2. "즉석 전문가" (TabPFN)

랜덤 스캐너가 시간의 이야기를 숫자 리스트로 변환하면, 이를 TabPFN에 전달합니다.

비유: 수백만 개의 서로 다른 수학 문제의 정답을 암기한 천재 학생을 상상해 보세요. 당신이 새로운 문제를 주었을 때, 그들은 공부하거나 시험을 치를 필요가 없습니다. 그들은 그저 문제를 보고 지금 주어진 예시들을 살펴본 뒤, 즉시 이렇게 말합니다. "내가 이전에 봤던 것들에 따르면, 이것은 'A 유형'의 문제처럼 보입니다."
마법: 이 학생(TabPFN)은 실제 시계열 데이터가 아닌 합성 데이터(synthetic data)로 훈련되었습니다. 이 모델은 "인컨텍스트 러닝(In-Context Learning)"을 사용하는데, 이는 지금 당장 당신이 주는 구체적인 예시들을 보고 현장에서 규칙을 파악한다는 것을 의미합니다. 따라서 당신의 데이터에 대해 별도로 "훈련"할 필요가 없습니다.

대규모 실험

저자들은 이 두 가지를 결합했습니다: 랜덤 스캐너 + 즉석 전문가.

그들이 발견한 결과는 다음과 같습니다:

헤비급들을 이기다: 92개의 표준 데이터셋에서, RocketPFN은 느리고 비싼 HC2 탐정단과 정확히 동일한 정확도(90% 정확도)를 달성했습니다.
- 함정: HC2는 훈련하는 데 몇 시간이 걸립니다. 반면 RocketPFN은 실행하는 데 약 30초밖에 걸리지 않습니다. 이는 훈련하는 데 수년을 보낸 마라톤 선수를, 훈련 없이도 바로 달려 나가서 추월해 버린 것과 같습니다.
"슈퍼 학습자"들을 이기다: 그들은 또한 "슈퍼 학습자" 파운데이션 모델(MOMENT, Mantis)을 테스트했습니다. 이 모델들은 방대한 양의 데이터(RocketPFN이 테스트된 바로 그 데이터셋들을 포함하여)로 사전 훈련되었음에도 불구하고, RocketPFN이 여전히 더 뛰어난 성능을 보였습니다.
- 반전: RocketPFN은 슈퍼 학습자들보다 더 적은 특징(더 단순한 데이터)을 사용하면서도 이 성과를 냈습니다. 이것은 마치 20년 동안 공부한 그랜드마스터를 상대로, 20수가 아닌 단 3수의 움직임만으로 체스 게임에서 승리한 것과 같습니다.
"평탄화된" 실패: 그들은 랜덤 스캐너 없이 원시 시계열 데이터를 즉석 전문가에게 직접 입력해 보았습니다. 결과는 처참했습니다(50/50 확률로 찍는 수준).
- 교훈: "랜덤 스캐너"는 필수적입니다. 이것이 시간 기반의 이야기를 즉석 전문가가 실제로 이해할 수 있는 형식으로 번역해 주기 때문입니다. 이 스캐너가 없다면 전문가는 눈이 먼 것과 같습니다.

핵심 요약

이 논문은 시계열 데이터를 이해하기 위해 항상 거대하고 비싼 사전 훈련된 "두뇌"가 필요한 것은 아니라고 결론짓습니다.

때로는 단순한 랜덤 필터와 현장에서 즉석으로 학습하는 똑똑한 사전 훈련된 분류기를 결합하는 것만으로도 최첨단 기술(state-of-the-art)을 이길 수 있습니다. 이는 복잡한 파운데이션 모델의 "마법"이 이 특정 작업에서는 과장되었을 수 있으며, 훨씬 더 단순하고 훈련이 필요 없는 접근 방식이 실제로 극복해야 할 새로운 기준점이 될 수 있음을 시사합니다.

요약하자면: 이 퍼즐을 풀기 위해 슈퍼컴퓨터를 구축할 필요는 없습니다. 때로는 무작위 그물 하나와 기지 넘치는 천재 한 명만 있으면 충분합니다.

기술 요약: RocketPFN

문제 정의

시계열 분류(TSC)는 발작 탐지에서 산업적 결함 진단에 이르기까지 과학 및 공학 분야 전반에서 근본적인 과제로 남아 있습니다. 현재 UCR 및 UEA 아카이브에서 최첨단(SOTA) 위치를 차지하고 있는 HIVE-COTE 2.0 (HC2) 앙상블은 데이터셋당 훈련에 수 시간에서 수 일이 소요되는 막대한 계산 비용을 발생시킵니다. 반면, 최근의 TSC 파운데이션 모델(예: MOMENT, Mantis)은 저차원 시간 임베딩을 학습하기 위해 대규모 사전 학습에 집중하고 있으나, 제로샷 특징 추출기로 사용될 때 효율적인 랜덤 커널 계열(Rocket)이나 HC2를 아직 능가하지 못했습니다.

본 연구에서 다루는 핵심 질문은 훈련이 필요 없는 파이프라인—즉, 랜덤 합성곱 특징 추출과 사전 학습된 정형 데이터 파운데이션 모델을 통한 인컨텍스트(in-context) 분류를 결합하는 방식이—대상 데이터에 대한 어떠한 파라미터 적합(fitting) 없이도 가장 복잡하고 훈련 집약적인 앙상블의 정확도와 일치할 수 있는가 하는 점입니다.

방법론: RocketPFN

RocketPFN은 랜덤 특징 추출과 강력한 인컨텍스트 학습 사이의 간극을 메우기 위해 설계된 2단계 훈련 프리(training-free) 파이프라인입니다.

랜덤 합성곱 특징 추출 (Rocket):
- 입력 시계열은 먼저 z-정규화(z-normalization)됩니다.
- 하위 분류기의 입력 용량을 초과하는 표준 10,000개 커널(20,000개 특징 생성)을 사용하는 대신, 이 방법은 $k=1,000$ 개의 랜덤 합성곱 커널을 가진 $G$ 개의 독립적인 그룹을 생성합니다.
- 각 커널은 두 가지 요약 통계량인 전역 최댓값(global maximum)과 양수 값의 비율(PPV)을 생성합니다.
- 이를 통해 각 그룹당 2,000개의 특징을 가진 $G$ 개의 특징 행렬이 생성되며, 이는 TabPFN v2.5의 입력 제약 조건과 일치합니다.
인컨텍스트 분류 (TabPFN v2.5):
- 각 특징 행렬은 수백만 개의 합성 정형 데이터셋에 대해 사전 학습된 Prior-data Fitted Network인 TabPFN v2.5로 전달됩니다.
- TabPFN은 인컨텍스트 학습을 통해 분류를 수행합니다. 즉, 레이블이 지정된 훈련 세트와 레이블이 없는 테스트 포인트를 컨텍스트로 받아 그래디언트 업데이트 없이 단 한 번의 순전파(forward pass)로 클래스 확률을 예측합니다.
- 최종 예측은 $G$ 개 그룹의 확률 추정치의 평균입니다.

설계 근거: 이 파이프라인은 특징을 단순히 절단하는 대신 여러 개의 작은 그룹을 앙상블함으로써 차원 불일치(Rocket의 20,000개 특징 vs. TabPFN의 2,000개 특징 제한) 문제를 해결합니다. 이를 통해 랜덤 투영의 다양성을 보존하는 동시에, Rocket에서 일반적으로 사용되는 릿지 회귀(ridge regression)와 달리 비선형 결정 경계를 학습하는 TabPFN의 능력을 활용합니다.

주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

훈련 없는 SOTA 정확도: RocketPFN ( $G=10$ )은 92개의 UCR 데이터셋에서 0.900의 평균 정확도를 달성하여 HC2와 통계적으로 일치(Wilcoxon $p=0.50$ )하였으며, HC2 앙상블 내의 모든 개별 분류기를 유의미하게 능가했습니다. 이 과정에는 대상 데이터에 대한 파라미터 적합이 전혀 필요하지 않습니다.
인컨텍스트 학습의 우월성: 동일한 랜덤 합성곱 특징에 대해 표준 릿지 회귀 분류기 대신 TabPFN을 적용했을 때 상당한 정확도 향상(+0.018)을 보였으며, 이는 인컨텍스트 학습이 선형 모델보다 이 영역에서 더 변별력 있는 정보를 추출함을 입증합니다.
시간적 인코딩의 필요성: 펼쳐진(flattened) 시계열 데이터를 TabPFN에 직접 적용할 경우, (ShapeletSim과 같이) 매우 쉬운 작업에서도 거의 무작위 수준의 정확도를 보이는 것을 입증했습니다. 이는 합성곱 특징 추출 단계가 시간적 귀납 편향(temporal inductive bias)을 복구하는 데 필수적임을 보여줍니다.
파운데이션 모델의 벤치마크: RocketPFN은 동일한 하위 분류기(TabPFN)와 결합되었을 때 MOMENT, Mantis, MantisV2와 같은 제로샷 TSC 파운데이션 모델을 유의미하게 능가합니다. 이는 해당 파운데이션 모델들이 UCR 훈련 분량을 포함한 코퍼스로 사전 학습되었음에도 불구하고, 심지어 RocketPFN의 특징 수가 파운데이션 모델의 임베딩 차원보다 적은 경우에도 유지되는 결과입니다.

실험 결과

UCR 아카이브 (92개 데이터셋): RocketPFN ( $G=10$ )은 HC2와 동일한 평균 정확도(0.900)를 달성했습니다. 이는 HC2의 구성 요소들(Arsenal, DrCIF, TDE, STC) 및 InceptionTime, TS-CHIEF와 같은 다른 SOTA 방법론들을 유의미하게 능가합니다 ( $p < 0.005$ ). 예산이 줄어든 경우( $G=1$ , 1,000개 커널)에도 RocketPFN은 모든 HC2 구성 요소보다 성능이 뛰어납니다.
UEA 아카이브 (20개 데이터셋): RocketPFN ( $G=10$ )은 0.747의 평균 정확도를 달성하여 HC2(0.747, $p=0.37$ )와 통계적으로 구별되지 않았으나, 적은 데이터셋 규모로 인해 통계적 검정력에는 한계가 있습니다.
파운데이션 모델 비교: 103개의 UCR 데이터셋에서 RocketPFN ( $G=1, k=100$ )은 MOMENT, Mantis, MantisV2(모두 TabPFN과 결합됨)를 유의미하게 능가했습니다 ( $p < 0.001$ ). 이 결과는 파운데이션 모델들의 임베딩 차원(256–1,024)이 RocketPFN의 200개 특징보다 더 큼에도 불구하고 지속되었습니다.
효율성: 이 파이프라인은 훈련이 필요 없습니다. GPU 상에서 중간값 추론 시간은 $G=10$ 일 때 30초(폴드당), $G=1$ 일 때 3.7초입니다.

의의 및 주장

저자들은 RocketPFN을 제로샷 TSC 파운데이션 모델을 평가하기 위한 **기준점(reference point)**으로 제안합니다. 본 논문은 저차원 시간 임베딩을 학습하기 위해 필요한 높은 사전 학습 비용과 설계 복잡성이, 해당 임베딩이 이 훈련 프리 베이스라인보다 우수한 성능을 보이는 구체적인 조건에서 정당화되어야 한다고 주장합니다.

결과적으로, 제로샷 시간 표현 학습(temporal representation learning)의 기준치가 현재의 파운데이션 모델들이 제시하는 것보다 높다는 것을 시사합니다. 또한, 적절한 특징 추출기(예: 랜덤 합성곱)가 소스 모달리티와 타뷸러 인터페이스 사이의 간극을 메워줄 수 있다면, 정형 데이터 파이-피티드 네트워크(TabPFN과 같은)가 구조화된 정형 데이터 이외의 분류 문제에서도 일반적인 백본 역할을 할 수 있다고 가정합니다.

한계점: 이 접근 방식은 현재 최대 10개의 클래스까지만 지원하는 TabPFN v2.5의 제약으로 인해 25개의 UCR 및 7개의 UEA 데이터셋을 제외합니다. 또한, 20개의 적은 데이터셋 수로 인해 UEA 벤치마크 결과는 결정적이지 않은 것으로 간주되나, 평균 정확도는 여전히 경쟁력이 있습니다. 시간 비교는 제어된 하드웨어 벤치마크라기보다는 구조적 비교(추론 중심 vs. 훈련 중심)입니다.