📊 statistics

Hopformer: Homogeneity-Pursuit Transformer for Time Series Forecasting

Hopformer는 희소성 패턴 집합(Sparsity Pattern Aggregation)을 통해 시간적 패턴을 통합하는 공통의 저분산 추세를 먼저 추출한 다음, LoRA로 미세 조정된 트랜스포머를 통해 잔차 의존성을 모델링함으로써 시계열 예측을 향상시키는 새로운 2단계 트랜스포머 프레임워크이며, 편향-분산 트레이드오프와 일반화에 대한 이론적 보장을 바탕으로 최첨단 성능을 달성한다.

원저자: Wan Zhang, Qinjie Lin, Chan Lee, Weijian Li, Han Liu, Kai Zhang

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wan Zhang, Qinjie Lin, Chan Lee, Weijian Li, Han Liu, Kai Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수정구슬 문제: 혼돈의 세계에서 미래를 예측하기

당신이 날씨를 예측하려고 한다고 상상해 보세요. 당신에게는 기상학에 관한 모든 책을 읽은 초지능형 컴퓨터가 있습니다. 이 컴퓨터는 구름과 바람의 패턴을 포착하는 데는 뛰어나지만, 교통량, 주식 시장, 지역 축제 등 서로 다른 종류의 데이터를 담은 500개의 신문 뭉치를 건네주면 혼란에 빠집니다. 전통적인 기상 모델(기존 방식)은 이 모든 신문을 다 읽으려다 과부하가 걸려 포기할 것입니다. 최신 AI 모델(트랜스포머)은 복잡한 패턴을 찾아내는 뛰어난 탐정 같지만, 단서(데이터)가 너무 많은 출처에서 한꺼번에 들어올 때는 종종 어려움을 겪습니다. 이들은 소음에 정신이 팔리거나, 교통 보고서와 주식 시장 폭락 중 무엇에 더 무게를 두어야 할지 판단하지 못할 수 있습니다.

이것이 **시계열 예측(time series forecasting)**의 핵심 과제입니다. 즉, 방대한 양의 추가 정보(공변량, covariates)가 있을 때, 이 정보가 도움이 될 수는 있지만 너무 무질서하여 직접 사용하기에는 까다로운 상황에서 다음에 일어날 일(예: 매출, 전력 사용량, 질병 확산 등)을 예측하는 것입니다. 목표는 AI가 두통을 느끼지 않게 하면서도, 그 모든 추가 정보를 사용하여 더 나은 추측을 할 수 있는 방법을 찾는 것입니다. 만약 우리가 이를 해결할 수 있다면, 전력망 관리부터 독감 유행 예측에 이르기까지 모든 분야를 위한 더 나은 시스템을 구축할 수 있습니다.

호프포머(Hopformer)의 등장: 2단계 탐정단

이 논문은 **호프포머(Hopformer, Homogeneity-Pursuit Transformer)**라고 불리는 새로운 방법을 소개합니다. 이것을 "너무 많은 단서" 문제를 해결하기 위해 설계된 2단계 탐정 팀이라고 생각해보세요. 호프포머는 지저üst한 신문 더미를 초지능형 AI에 직접 집어넣는 대신, 작업을 두 개의 뚜렷한 단계로 나눕니다.

1단계: "균질화(Homogenization)" 필터 (트렌드 사냥꾼)
먼저, 호프포머는 다양한 전문가들로 구성된 팀이 만든 "필터"를 통해 무질서한 데이터를 통과시킵니다. 여러 명의 탐정이 모인 패널을 상상해 보세요. 한 명은 직선을 좋아하는 수학 천재이고, 다른 한 명은 가지 형태의 패턴을 찾는 나무 타기 전문가이며, 세 번째는 신경망 닌자입니다. 이들은 경제 지표나 센서 데이터와 같은 추가 정보를 살펴보고 미래의 기본적이고 예측 가능한 추세(trend)를 예측하려고 노력합니다.

단 한 명의 탐정만을 선택하는 대신, 호프포머는 **희소 패턴 집합(Sparsity Pattern Aggregation, SPA)**이라는 영리한 기술을 사용합니다. 이는 마치 투표 시스템과 같아서, 현재 작업에 실제로 유능한 탐정이 누구인지 자동으로 파악하고 단순히 추측만 하는 사람들은 무시합니다. 이들은 최고의 아이디어들을 결합하여 하나의 매끄러운 "추세선"을 만들어냅니다. 이 단계는 추가 정보에 의해 발생하는 예측 가능하고 지루한 부분들을 제거합니다. 논문은 이 방법이 너무 단순하거나 너무 복잡한 것 사이의 완벽한 균형을 찾아내며, 전문가들의 의견을 결합하는 거의 최선의 방법임을 수학적으로 증명합니다.

2단계: "잔차(Residual)" 사냥꾼 (패턴 마스터)
예측 가능한 추세가 제거되면 무엇이 남을까요? 바로 무질서하고, 이상하며, 예측 불가능한 찌꺼기들입니다. 수학적으로 이것을 "잔차(residuals)"라고 부릅니다. 예를 들어, 추세는 매출이 상승해야 한다고 말했지만, 갑작스러운 바이럴 밈(meme)으로 인해 기이한 급증이 발생했을 수 있습니다. 여기서 두 번째 단계가 시작됩니다. 호프포머는 이 무질서한 잔차들을 가져와 **트랜스포머(Transformer)**라는 강력한 AI 모델에 입력합니다.

하지만 거대한 AI 전체를 처음부터 다시 학습시키는 대신(이는 시간이 너무 오래 걸리고 에너지도 많이 소비됩니다), 호프포머는 **LoRA(Low-Rank Adaptation)**라는 기술을 사용합니다. 이것은 AI에게 "보조 바퀴"나 작고 조절 가능한 오버레이를 달아주는 것과 같습니다. AI의 뇌 전체를 바꾸는 것이 아니라, 뇌의 아주 작은 부분만을 미세하게 조정하여 잔차의 특이한 점들을 학습하게 하고 나머지 뇌 부분은 그대로 유지합니다. 이 덕분에 과정이 빠르고 효율적입니다.

연구 결과

저자들은 전력 사용량이나 판매 기록과 같은 실제 데이터와, 시스템을 테스트하기 위해 설계된 가상의 데이터(합성 데이터)를 포함한 6개의 데이터셋을 통해 호프포머를 테스트했습니다.

더 뛰어난 성능: 호프포머는 기존의 최첨단 모델들을 능가했습니다. 모든 테스트에서 평균적으로 정확도(MASE라는 지표로 측정됨)를 6.56% 향상시켰습니다. 특정 합성 데이터 케이스에서는 기존의 가장 좋은 방법보다 정확도를 4.45% 개선했습니다.
2단계 팀의 중요성: 첫 번째 단계 없이(AI를 원본 데이터에 바로 사용했을 때) 테스트했을 때는 성과가 좋지 않았습니다. 첫 번째 단계만 단독으로 테스트했을 때는 준수했지만 완벽하지는 않았습니다. 하지만 이 둘을 결합했을 때 마법이 일 듯 효과가 나타났습니다. 첫 번째 단계가 데이터를 정화해주었기에 두 번째 단계의 작업이 훨씬 쉬워진 것입니다.
효율성: 논문은 두 번째 단계에서 "보조 바퀴"(LoRA)를 사용하는 것이 AI 전체를 재학습시키는 것과 거의 동일한 성능을 내면서도 훨씬 적은 컴퓨팅 자원을 사용한다는 것을 보여주었습니다.
단기 및 장기 전망 대응: 저자들이 아주 적은 과거 데이터(짧은 컨텍스트)만 주거나 먼 미래를 예측하도록 요청했을 때도 모델은 강력함을 유지했습니다. 데이터 윈도우를 32단계로 줄였을 때도 호프포머는 경쟁 모델들을 압도적으로 앞질렀습니다.

한계점

논문은 호프포머가 하지 못하는 것에 대해서도 신중하게 언급합니다. 이 모델은 별도의 튜닝 없이 모든 문제에 작동하는 마법 지팡이라고 주장하지 않습니다. 호프포머는 특히 고차원 공변량(많은 양의 추가 데이터)이 있는 상황에 초점을 맞추고 있습니다. 만약 이러한 추가 데이터가 없다면, 호프포머의 첫 번째 단계는 일반적인 모델이 되며, "2단계" 설계의 특별한 이점이 동일한 방식으로 적용되지 않습니다. 또한, 첫 번째 단계의 수학적 타당성은 입증되었으나, 두 번째 단계의 성공 여부는 AI 아키텍처에 따라 달라질 수 있는 미세 조정 방식에 의존한다는 점을 저자들은 실험을 통해 확인하면서도 인정하고 있습니다.

요약하자면, 호프포머는 미래를 예측하는 가장 좋은 방법은 모든 것을 하나의 슈퍼컴퓨터에 던져주는 것이 아니라, 먼저 스마트한 전문가 팀을 통해 명백한 패턴을 찾아낸 다음, 특화된 AI가 나머지를 파악하게 하는 것이라고 제안합니다. 이는 때때로 거대하고 무질서한 문제를 두 개의 작고 깨끗한 문제로 나누는 것이 가장 현명한 전략일 수 있음을 상기시켜 줍니다.

기술 요약: Hopformer – 시계열 예측을 위한 균질성 추구 트랜스포머 (Homogeneity-Pursuit Transformer)

1. 문제 정의

본 논문은 시계열 예측의 핵심적인 과제인, 현대 딥러닝 모델의 확장성과 예측력을 유지하면서도 고차원 외부 공변량(예: 경제 지표, 센서 배열)을 효과적으로 활용하는 문제를 다룹니다.

트랜스포머 기반 아키텍처는 복잡한 비선선형 동역학을 포착하는 데 있어 최첨단 성능을 보여주었으나, 예측이 고차원 공변량에 의존하는 경우 종종 어려움을 겪습니다. 전통적인 어텐션 메커니즘이나 임베딩 레이어는 이러한 환경에서 계산 비용이 과다하게 발생하거나 불안정해질 수 있습니다. 또한, 최근의 "범용(universal)" 예측 모델(예: Chronos, MOIRAI)은 아키텍처적 제약으로 인해 공변량 문제를 회피하거나, 제로샷 일반화를 달성하기 위해 공변량을 완전히 배제하는 경향이 있습니다. 핵심 문제는 파운데이션 모델의 확장성을 해치거나 광범적인 재학습을 요구하지 않으면서도, 어떻게 고차원 공변량을 활용하여 예측 정확도를 높일 것인가 하는 점입니다.

2. 방법론: Hopformer

저자들은 이질적이고 다원적인 소스의 시계열 데이터로부터 공통적인 시간적 패턴을 통합하면서도 개별 시계열의 정보를 유지하도록 설계된 새로운 2단계 프레임워크인 **Hopformer (Homogeneity-Pursuit Transformer)**를 제안합니다. 이 프레임워크는 예측 작업을 두 개의 상호 보완적인 모듈로 분해합니다.

1단계: 희소성 패턴 집계(SPA)를 통한 결정론적 추세 추출

첫 번째 단계는 공변량에 의해 유도되는 공통적이고 분산이 낮은 추세를 추출하는 "균질화 레이어(homogenization layer)" 역할을 합니다.

전문가 풀(Expert Pool): 다양한 횡단면 회귀 전문가 집합( $\{g_j\}_{j=1}^M$ )이 구축됩니다. 여기에는 선형 모델, 트리 기반 모델(예: XGBoost, LightGBM), 신경망 등이 포함되며, 각 모델은 공유된 공변량 설계를 사용하여 서로 다른 구조적 측면(추세, 계절성, 자기회귀)을 포착하도록 학습됩니다.
집계 메커니즘: 고정된 가중치를 사용하는 대신, 이 방법은 경험적 성능을 바탕으로 전문가들을 적응적으로 결합하는 **희소성 패턴 집계(Sparsity Pattern Aggregation, SPA)**를 채택합니다.
- 이는 전문가의 포함 여부를 나타내는 이진 벡터인 희소성 패턴 $p$ 를 정의합니다.
- 가중치는 경험적 리스크와 모델 복잡도 사이의 균형을 맞추는 지수 가중치 방식을 통해 계산되며, 전문가들의 희소한 조합을 선호합니다.
출력: 이 단계는 추세 추정치 $\hat{X}^{trend}$ 와 잔차 시퀀스 $R = X - \hat{X}^{trend}$ 를 생성합니다. 잔차에는 공변량 기반 추세가 포착하지 못한 복잡하고 비선형적이며 장기적인 의존성이 포함되어 있습니다.

2단계: LoRA로 미세 조정된 트랜스포머를 통한 잔차 모델링

두 번째 단계는 잔차 시퀀스에 남아 있는 복잡한 의존성을 모델링합니다.

아키텍처: 사전 학습된 트랜스포머 백본을 사용하여 잔차의 시간적 동역학을 모델링합니다.
매개변수 효율적 미세 조정(PEFT): 특정 데이터셋에 모델을 적응시키기 위해 전체 재학습 없이 **저차원 적응(Low-Rank Adaptation, LoRA)**을 사용합니다.
- 기존의 사전 학습된 가중치는 동결된 상태로 유지하며, 오직 저차원 행렬( $B$ 와 $A$ )만을 학습시켜 어텐션 가중치($W + BA$)를 업데이트합니다.
- 이 접근 방식은 모델의 표현력을 보존하면서 메모리 점유율과 계산 비용을 최소화합니다.
최종 예측: 최종 예측은 가법적 분해 형태인 $\hat{X} = \hat{X}^{trend} + \hat{R}$ 로 이루어집니다.

3. 이론적 기여

본 논문은 프레임워크의 두 단계 모두에 대해 이론적 보증을 제공합니다.

추세 집계를 위한 오라클 부등식(Oracle Inequality):
저자들은 SPA 추정치가 **최적에 가까운 편향-분산 트레이드오프(bias-variance trade-off)**를 달성함을 증명합니다. 구체적으로, SPA 추정치의 기대 리스크가 최적의 희소 전문가 조합의 리스크에 사전 질량(prior mass) 및 샘플 크기에 의존하는 복잡도 페널티 항을 더한 값보다 작다는 오라클 부등식을 확립하였습니다. 이는 "균질성 추구(homogeneity pursuit)" 전략이 통계적으로 효율적임을 정당화하며, 추세 추출이 효과적임을 보장합니다.
LoRA 미세 조정을 위한 일반화 경계(Generalization Bounds):
두 번째 단계의 경우, 본 논문은 의존적 시계열 데이터(정상성 및 $\beta$ -혼합 가정) 하에서 LoRA로 미세 조정된 트랜스포머에 대한 일반화 경계를 도출합니다.
- 정보 이론적 프레임워크를 사용하여, 이 경계는 훈련 데이터와 학습된 모델 파라미터 사이의 **상호 정보량(mutual information)**과 일반화 오차 사이의 관계를 설명합니다.
- 이론적으로 LoRA와 같은 PEFT 방법은 모델의 유효 용량(자유도)을 제한함으로써 이 상호 정보량을 줄인다는 것을 보여줍니다. 이는 LoRA가 왜 전체 미세 조정에 비해 과적합을 줄이고 안정성을 높이는지에 대한 이론적 근거를 제공합니다.

4. 실험 결과

저자들은 여섯 가지 데이터셋(Illness, EPF, M5, 그리고 세 가지 합성 데이터셋: Sales1, Sales2, Electricity)을 대상으로 Chronos, PatchTST, Temporal Fusion Transformer (TFT), ARIMA, ETS를 포함한 최첨단 베이스라인들과 Hopformer를 비교 평가했습니다.

전반적인 성능: Hopformer는 모든 벤치마크에서 **평균 절대 척도 오차(MASE)**를 평균 6.56% 개선하며 새로운 최첨단 성능(SOTA)을 달 기록했습니다.
제로샷 능력: 미세 조정 없이(백본만 사용) 진행된 제로샷 시나리오에서, Hopformer(SPA 단계만 사용)는 여섯 개 데이터셋 중 다섯 개에서 Chronos 파운데이션 모델을 능가하거나 대등한 성능을 보였으며, 이를 통해 공변량 기반 추세 추출의 효용성을 입증했습니다.
LoRA의 효율성: LoRA를 사용하여 잔차 모듈을 미세 조정했을 때, 전체 미세 조정과 거의 동일한 성능(MAPE 기준 1% 이내 차이)을 달성하면서도 훨씬 적은 수의 학습 가능한 매개변수를 사용했습니다.
절제 연구(Ablation Studies):
- SPA 집계 전략은 다른 집계 방식(동일 가중치, 단일 최적 모델, Lasso)보다 일관되게 우수한 성능을 보였으며, 차순위 방법 대비 MASE를 평균 7.08% 감소시켰습니다.
- 본 프레임워크는 다양한 컨텍스트 길이와 예측 범위에서도 견고함을 증명하였으며, 짧은 컨텍스트 윈도우(예: 32 스텝)에서도 강점을 유지했습니다.
일반화 가능성: Hopformer의 횡단면 단계를 통합하는 것은 다른 파운데이션 모델(Moirai, Lag-Llama)의 성능을 향상시켰으며, 이는 이 접근 방식이 모듈식이며 다양한 아키텍처와 호환 가능하다는 것을 시사합니다.

5. 의의 및 주장

본 논문은 Hopformer가 현대 파운데이션 모델의 확장성을 희생하지 않으면서도 고차원 공변량을 효과적으로 사용할 수 있게 함으로써 시계열 예측의 중요한 간극을 메운다고 주장합니다.

통합된 프레임워크: 결정론적이고 공변량에 의해 유도되는 추세와 확률적이고 비선형적인 잔차를 분리하여, 각각을 가장 적합한 도구(회귀 앙상블 vs. 트랜스포머)로 모델링하는 통합된 접근 방식을 제공합니다.
이론적 근거: 단순한 경험적 성공에 의존하는 많은 딥러닝 방식과 달리, Hopformer는 집계 전략의 최적성과 미세 조정 방법의 일반화 특성에 관한 엄격한 이론적 보증을 갖추고 있습니다.
실용적 효율성: SPA를 통한 추세 추출과 LoRA를 통한 잔차 모델링을 활용함으로써, Hopformer는 최소한의 계산 오버헤드와 재학습 요구사항으로 높은 정확도를 달성하며, 이는 고차원 공변량이 포함된 다양한 실제 응용 분야에 적합합니다.

저자들은 이 2단계 분해 방식이 고차원 시계열 예측의 복잡성을 다루기 위한 견고하고 해석 가능하며 이론적으로 타당한 패러다임을 제공한다고 결론짓습니다.