SEA-TS: Self-Evolving Agent for Autonomous Code Generation of Time Series Forecasting Algorithms

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"시간을 예측하는 코드를 스스로 만들어 발전시키는 AI 엔지니어 (SEA-TS)"**에 대한 이야기입니다.

기존의 방식은 사람이 직접 데이터를 분석하고, 모델을 설계하고, 실수를 고치는 과정을 반복해야 했지만, 이 새로운 시스템은 스스로 코드를 짜고, 실행해보고, 실수를 찾아내어 다음 번에는 더 똑똑하게 만드는 '자율 진화' 과정을 보여줍니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🌟 핵심 비유: "스스로 요리법을 발전시키는 천재 셰프"

상상해 보세요. 한 레스토랑에 **초대형 AI 셰프 (SEA-TS)**가 새로 왔습니다. 이 셰프는 단순히 레시피를 따라 하는 게 아니라, 스스로 새로운 요리법을 발명하고, 맛을 보고, 실패 원인을 분석해서 다음 요리가 더 맛있게 되도록 스스로를 업그레이드합니다.

1. 왜 이런 시스템이 필요할까요? (문제 상황)

새로운 재료 (데이터 부족): 새로운 가게를 열거나, 갑자기 생긴 새로운 시장 (예: 새로운 태양광 발전소) 에서는 과거의 요리 레시피 (데이터) 가 부족합니다.
변하는 입맛 (분포 변화): 계절이 바뀌거나, 고객의 취향이 변하면 (예: 겨울에는 난방 수요가 급증), 옛날 레시피로는 맛을 맞출 수 없습니다.
한계 (수익 체감): 사람이 아무리 노력해도 요리의 맛을 90% 에서 91% 로 올리는 건 엄청난 노력이 필요합니다.

2. SEA-TS 의 3 가지 초능력을 소개합니다!

이 AI 셰프는 세 가지 특별한 도구를 가지고 있습니다.

① '맛의 점수'를 똑똑하게 계산하는 나침반 (MA-MCTS)

기존 방식: "이 요리가 예전보다 조금 더 맛있으면 +1 점, 안 맛있으면 0 점"처럼 단순하게 점수를 매겼습니다.
SEA-TS 의 방식: "오늘의 재료 상태와 전체적인 맛의 흐름을 고려해, 이 요리가 얼마나 혁신적인지 통계적으로 점수를 매깁니다."
비유: 단순히 "맛있다/없다"가 아니라, "이 재료 조합은 평소보다 20% 더 혁신적이야!"라고 점수판을 조정해, 정말 획기적인 아이디어를 가진 요리법으로 집중하게 만듭니다.

② '실수 노트'를 계속 업데이트하는 비서 (Code Review & Running Prompt)

기존 방식: 요리가 실패하면 "다음엔 조심해"라고만 하고 넘어갔습니다.
SEA-TS 의 방식: 요리가 성공하든 실패하든, AI 비서가 코드를 꼼꼼히 검토합니다. "아, 이 레시피는 미래의 재료 (데이터) 를 미리 썼네? (데이터 누수)"라고 지적하면, 그 실수가 **영구적인 '실수 노트 (프롬프트)'**에 기록됩니다.
효과: "앞으로는 미래의 재료를 절대 쓰지 마!"라는 규칙이 모든 다음 요리법에 자동으로 적용되어, 같은 실수를 절대 반복하지 않게 됩니다.

③ '전체 지도'를 보는 나침반 (Global Steerable Reasoning)

기존 방식: 지금 만들고 있는 요리에만 집중해서, 옆 테이블의 요리가 실패한 이유를 모르고 넘어갔습니다.
SEA-TS 의 방식: "지금 만들고 있는 요리 (A) 와, 지금까지 만든 **가장 맛있는 요리 (최고)**와 **가장 맛없는 요리 (최악)**를 비교해 봅니다."
효과: "최고 요리는 '양파를 먼저 볶았다'가 성공 비결이었고, 최악 요리는 '소금을 너무 일찍 넣었다'가 실패 원인이야. 너도 그걸 참고해!"라고 다른 요리들에서 배운 교훈을 지금 만들고 있는 요리에 바로 적용합니다.

3. 이 시스템이 실제로 무엇을 해냈나요? (결과)

이 AI 는 태양광 발전량과 가정용 전기 사용량을 예측하는 실험에서 인간 전문가나 기존 최고의 AI 보다 훨씬 좋은 결과를 냈습니다.

놀라운 발견: 인간이 가르치지 않았는데도, AI 가 스스로 물리 법칙을 적용한 새로운 요리법을 찾아냈습니다.
- 예: "태양은 오후 3 시 이후로 점점 약해지니까, 그 패턴을 수학적으로 강제하자"라는 물리 법칙 기반의 새로운 알고리즘을 스스로 발명했습니다.
- 예: "각 태양광 패널의 위치와 주변 환경이 다르니, 패널마다 다른 '일일 리듬'을 학습하자"는 아이디어도 스스로 찾아냈습니다.

📝 한 줄 요약

SEA-TS는 단순히 코드를 짜는 AI 가 아니라, **실수를 노트에 기록하고, 다른 성공 사례를 분석하며, 스스로 새로운 과학적 원리를 발견해 나가는 '자율 진화하는 AI 엔지니어'**입니다.

이 기술은 앞으로 데이터가 부족하거나 환경이 급변하는 상황에서도, 인간이 개입하지 않아도 스스로 최적의 해결책을 찾아낼 수 있는 미래를 열어줍니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Definition)

시간 series 예측 (Time Series Forecasting) 은 에너지, 금융, 공급망 등 다양한 분야에서 의사결정의 핵심이지만, 기존 머신러닝 개발 방식은 다음과 같은 근본적인 한계를 가지고 있습니다.

데이터 부족 (Data Scarcity): 새로운 배포 시나리오나 희귀 사건 예측 시 충분한 역사적 데이터가 없어 모델 학습이 어렵습니다 (Cold-start 문제).
분포 변화 (Distribution Shift): 장비 노후화, 정책 변경, 사용자 행동 변화 등으로 인해 데이터 분포가 지속적으로 변하여, 기존 모델의 성능이 저하되고 빈번한 재학습이 필요합니다.
한계 수익 체감 (Diminishing Returns): 모델 성능이 정점에 가까워질수록 미세한 정확도 향상을 위해 과도한 엔지니어링 노력이 요구되어 수동 반복이 비효율적입니다.

또한, 기존 LLM 기반 자동 ML 에이전트들은 보상 해킹 (Reward Hacking, 예: 데이터 누출로 인한 인위적 점수 상승), 단순한 보상 메커니즘, 국소적 문맥만 고려하는 제한된 추론, 고정된 프롬프트 등의 한계를 겪고 있습니다.

2. 방법론 (Methodology: SEA-TS Framework)

저자들은 SEA-TS (Self-Evolving Agent for Time Series Algorithms) 를 제안합니다. 이는 LLM 을 머신러닝 엔지니어로 활용하여 코드를 생성, 검증, 최적화하는 자가 진화 루프 (Self-Evolution Loop) 를 기반으로 합니다. 주요 구성 요소는 다음과 같습니다.

가. 메트릭 우위 몬테카를로 트리 서치 (Metric-Advantage MCTS, MA-MCTS)

기존 방식의 문제: 고정된 보상 (+1/-1 등) 은 미세한 개선과 획기적인 breakthrough 를 구분하지 못합니다.
해결책: 전체 메트릭 분포에서 통계적으로 정규화된 우위 점수 (Advantage Score, $A_j$ ) 를 계산하여 보상으로 사용합니다.
- $A_j = (M_{mean} - M_j) / \sigma(M)$ (낮을수록 좋은 지표의 경우)
- 이 방식은 발견된 개선의 통계적 유의성을 반영하여, 탐색 (Exploration) 과 활용 (Exploitation) 을 더 효과적으로 안내합니다.

나. 코드 리뷰 및 실행 프롬프트 정제 (Code Review with Running Prompt Refinement)

자동화된 논리적 리뷰: 실행 가능한 모든 솔루션은 LLM 기반 리뷰어를 통해 데이터 누출 (Data Leakage), 역정규화 오류, 훈련 - 테스트 오염 등 논리적 결함을 검사받습니다.
동적 프롬프트 업데이트: 리뷰 결과와 글로벌 노드 비교 인사이트를 바탕으로 실행 프롬프트 (Running Prompt, $P_{run}$ ) 를 지속적으로 업데이트합니다.
- 이는 실수 패턴을 영구적으로 인코딩하여 후속 반복에서 동일한 오류가 발생하지 않도록 방지하고, 성공적인 패턴을 축적합니다.

다. 글로벌 조종 가능 추론 (Global Steerable Reasoning)

전역적 문맥: 에이전트가 생성한 각 노드를 전역 최상위 (Best) 와 최하위 (Worst) 솔루션과 비교합니다.
교차 경로 지식 전이: 한 탐색 가지에서 얻은 통찰력을 다른 가지로 전이시켜, 단순한 점진적 개선을 넘어 나무 구조를 가로지르는 '점프 (Jump)'를 가능하게 합니다.

라. MAP-Elites 품질 - 다양성 아카이브

아키텍처 유형, 특징 공학 수준, 학습 기법 수준 등 3 가지 차원 (Phenotypic dimensions) 으로 솔루션을 인덱싱하여, 수렴을 방지하고 다양한 고성능 아키텍처를 유지합니다.

3. 주요 기여 (Key Contributions)

범용 자가 진화 에이전트 프레임워크: 메트릭 우위 트리 서치, 자동 코드 리뷰와 프롬프트 정제, 글로벌 조종 가능 추론을 통합한 자율 알고리즘 개발 프레임워크를 제시했습니다.
통계적으로 유의미한 보상 메커니즘: 고정 보상을 대체하는 'Metric Advantage'를 도입하여 탐색 효율성을 극대화했습니다.
자율적 혁신 발견: 수동 설계나 기존 문헌에 없던 완전히 새로운 아키텍처 패턴을 자율적으로 발견하고, 공개 벤치마크 및 산업 데이터에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

4. 실험 결과 (Results)

SEA-TS 는 태양광 발전 (Solar PV) 및 주거용 부하 (Residential Load) 예측 분야에서 평가되었습니다.

공개 벤치마크 (Solar-Energy): TimeMixer 대비 MAE 40% 감소 (2.929 → 1.757) 달성.
산업 데이터 (Solar PV): TimeMixer 대비 WAPE 8.6% 감소 (25.75% → 17.12%).
산업 데이터 (Residential Load):
- Timer 대비 WAPE 7.7% 감소.
- TimeMixer 대비 MAPE 26.17% (기존 29.34% 대비 개선).

자율적으로 발견된 혁신적 아키텍처 패턴:

물리 정보 기반 단조 감소 헤드 (Monotonic Decay Head): 태양광 조도 감소 법칙을 학습 가능한 아키텍처로 인코딩 (오후 시간대의 단조 감소 제약).
역별 학습된 일주기 프로파일 (Per-station Learned Diurnal Profiles): 각 발전소별 그림자, 패널 방향, 미세 기후에 적응하는 개별 프로파일 학습.
학습 가능한 시간별 편향 보정 (Learnable Hourly Bias Correction): 예측 크기에 비례하는 편향 보정 기법 (부하 예측에서 발견).

5. 의의 및 결론 (Significance)

이 논문은 자율 ML 엔지니어링 (Autonomous ML Engineering) 이 단순히 기존 모델을 튜닝하는 것을 넘어, 인간이 설계하지 않은 진정으로 새로운 알고리즘 아이디어를 창출할 수 있음을 입증했습니다.

물리 법칙과 데이터의 융합: 명시적인 물리 법칙 프롬프트 없이도 에이전트가 물리 법칙 (예: 태양광의 단조 감소) 을 아키텍처에 자연스럽게 통합하는 것을 발견했습니다.
지속적 자기 개선: 코드 리뷰와 프롬프트 정제를 통해 에이전트가 실패 패턴을 학습하고 지속적으로 성능을 향상시키는 '자기 진화' 능력을 보여줍니다.
미래 방향: 추론 지연 시간과 모델 크기 최적화, 컨텍스트 프루닝 (Context Pruning) 을 통한 비용 절감, 그리고 심층 연구 에이전트와 코딩 에이전트의 결합 등을 통해 더욱 발전할 수 있는 가능성을 제시합니다.

결론적으로 SEA-TS 는 데이터 부족과 분포 변화가 심한 실제 산업 환경에서, 인간의 개입 없이도 고성능 및 혁신적인 예측 모델을 자동으로 생성할 수 있는 강력한 패러다임을 제시합니다.