🤖 machine learning

SPLICE: Latent Diffusion over JEPA Embeddings for Conformal Time-Series Inpainting

SPLICE 는 JEPA 임베딩에 대한 잠재 확산과 적응적 컨포멀 추정을 결합하여 중요한 전력 시스템 응용 분야에서 최첨단 시계열 결측치 보정 정확도와 분포 무관한 유한 표본 신뢰성 보장을 달성하는 모듈식 프레임워크입니다.

원저자: Arnaud Zinflou

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arnaud Zinflou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마음속으로 좋아하는 노래를 듣으려는데 녹음의 일부가 끊겨 있다고 상상해 보세요. 아마도 테이프가 씹혀서 그랬거나, 며칠 동안 Wi-Fi 가 끊겼을지도 모릅니다. 노래가 매끄럽게 재생되도록 그 끊긴 부분을 채워야 하지만, 동시에 다음을 알아야 합니다: 우리가 채운 부분이 실제로 그 자리에 있었던 것일 확률이 얼마나 높은가요?

이 논문은 끊긴 전력 데이터 조각 (노래의 끊긴 음표와 유사) 을 복구하면서 동시에 그 복구에 대한 "신뢰도 점수"를 제공하는 새로운 도구인 SPLICE를 소개합니다. 작동 원리는 다음과 같이 간단한 부분으로 나누어 설명됩니다:

1. 문제: 데이터 속의 "잡음"

전력망은 전등을 켜두기 위해 매시간 정확히 얼마나 많은 전기가 사용되고 있는지 알아야 합니다. 하지만 때로는 센서가 고장 나거나, 케이블이 끊기거나, 컴퓨터가 충돌하여 데이터에 거대한 공백이 생깁니다 (심지어 91 일 연속으로 데이터가 누락되기도 합니다!).

이전 방법들은 "이전"과 "이후" 지점 사이에 매끄러운 선을 그어 이러한 공백을 채우려 했습니다. 이는 알려진 단어 사이의 멜로디를 흥얼거려서 노래의 missing 가사를 추측하는 것과 같습니다. 겉보기에는 괜찮아 보이지만, 전력망을 안전하게 운영하기 위해 필요한 복잡한 리듬과 세부 사항을 놓치고 있습니다.

더 최신의 AI 방법들은 missing 세부 사항을 더 잘 추측할 수 있지만, 이는 가사를 완벽하게 추측하면서도 "내가 틀릴 수도 있다"고 인정하기를 거부하는 자신감 넘치는 예술가와 같습니다. 전력망에서는 자신이 틀렸다는 사실을 모른 채 실수하는 것은 위험할 수 있습니다.

2. 해결책: SPLICE (꿈꾸는 건축가)

저자들은 SPLICE라는 시스템을 구축했는데, 이는 단순히 추측하는 것이 아니라 주변 동네를 바탕으로 누락된 건물이 어떻게 보여야 할지 "상상"하는 고도로 훈련된 건축가와 같습니다.

다음은 단계별 과정입니다:

1 단계: 번역기 (JEPA 인코더)
전력 데이터를 복잡한 언어라고 상상해 보세요. SPLICE 의 첫 번째 부분은 하루 전체의 전력 사용량을 64 개의 숫자로 이루어진 작은 "요약 노트"로 압축하는 번역기입니다. 이는 모든 세부 사항에 매몰되지 않고 그날의 "분위기" (뜨거운 여름 화요일인가, 조용한 겨울 주말인가?) 를 학습합니다. 이는 JEPA(Joint Embedding Predictive Architecture, 결합 임베딩 예측 아키텍처) 라는 개념에 기반한 것으로, 컴퓨터가 숫자를 단순히 암기하는 것이 아니라 데이터의 "이야기"를 이해하도록 가르치는 것과 같습니다.
2 단계: 다리 건설자 (조건부 잠재 다리)
시스템이 공백 이전과 이후 날짜에 대한 "요약 노트"를 얻으면, 누락된 날짜를 가로지르는 다리를 건설해야 합니다.
- 결정론적 다리: 이는 "안전한" 추측입니다. 두 지점 사이의 가장 직선적인 선을 그리는 것처럼 공백을 가로지르는 가장 가능성 높은 경로를 건설합니다.
- 창의적 다리 (Flow Matching): 이는 "꿈꾸는" 부분입니다. 단순히 한 줄을 그리는 대신, 전력 사용량이 취했을 수 있는 여러 가능한 경로를 생성합니다. 이는 missing 노래 가사의 열 가지 다른 버전을 상상하는 것과 같습니다. 논문은 이를 수행하는 새로운, 더 빠른 방법 ( Flow Matching이라고 함) 을 발견했는데, 이는 이전 방법들보다 5 배에서 10 배 빠르면서도 정확도는 동일합니다.
3 단계: 역번역기 (디코더)
시스템은 그 "요약 노트"와 건설한 "다리"를 받아 실제 시간별 전력 수치로 다시 번역합니다. 결정적으로, 그 추측이 특정 시간에 타당한지 확인하기 위해 날씨와 달력을 살펴봅니다 (비가 오나요? 공휴일인가요?).

3. 안전망: ACI (신뢰도 밴드)

이것이 가장 중요한 혁신입니다. 최고의 추측이라도 틀릴 수 있습니다.

기존 방식: 시스템은 단일 숫자를 주고 "이것이 누락된 데이터입니다"라고 말합니다.
SPLICE 의 방식: 답을 안전 밴드로 감쌉니다. "우리는 누락된 데이터가 여기에 있다고 생각하지만, 95% 확률로 이 넓은 밴드 안 어딘가에 있을 것입니다"라고 말합니다.

시스템은 Adaptive Conformal Inference (ACI, 적응적 합동 추론) 라는 기술을 사용합니다. 이는 스스로를 교정하는 온도 조절 장치와 같습니다.

시스템이 너무 좁게 추측하여 실제 데이터를 놓치기 시작하면, ACI 가 자동으로 안전 밴드를 넓힙니다.
너무 신중하여 밴드가 너무 크다면, 이를 좁힙니다.
이는 실시간으로 수행되며, 진행 과정에서 실수로부터 학습하여 장기적으로 실제 데이터가 93~95% 의 비율로 밴드 안에 들어오도록 보장합니다.

4. 결과: 더 정확한 추측, 더 빠르고, 더 안전함

저자들은 이 방법을 가정, 공장, 도시에서 수집된 13 개의 서로 다른 전력 데이터셋으로 테스트했습니다.

정확도: SPLICE 는 다른 최상위 5 가지 방법과 비교하여 누락된 데이터에 대해 가장 정확한 추측을 했습니다. 12 개 데이터셋 중 9 개에서 승리했습니다.
속도: 새로운 "Flow Matching" 방법을 사용하여 91 일 분량의 누락된 데이터를 단 몇 밀리초 만에 채웠으며, 이는 이전 최상위 방법들보다 5 배에서 10 배 빠릅니다.
신뢰성: "과소 커버리지" 문제를 해결했습니다. 이전 방법들은 종종 95% 신뢰도를 주장했지만 실제로는 86% 만 정확했습니다. SPLICE 는 이를 수정하여 93~95% 목표를 일관되게 달성했습니다.

5. "일률적 적용"의 비법

마지막으로, 논문은 데이터 이해를 담당하는 "번역기" 부분이 9 개 도시에서 훈련된 후, 한 번도 본 적 없는 4 개 새로운 도시에서도 거의 동일하게 작동할 수 있음을 보여주었습니다. 이는 해당 새로운 도시들에 대해 특별히 훈련된 것과 거의 같은 성능을 발휘했습니다. 이는 시스템이 유연하며 처음부터 모든 것을 다시 훈련할 필요 없이 신속하게 배포될 수 있음을 의미합니다.

요약하자면: SPLICE 는 지능적이고 빠르며 정직한 도구입니다. 이는 단순히 누락된 전력 데이터의 빈칸을 채우는 것이 아니라, 가장 가능성 높은 시나리오를 상상하고, 이를 놀라울 정도로 빠르게 수행하며, 엔지니어들이 결과에 얼마나 신뢰할 수 있는지 정확히 알 수 있도록 답변 주위에 안전망을 씌웁니다.

"JEPA 임베딩을 활용한 잠재 확산 기반 컨포멀 시계열 결측치 보간을 위한 SPLICE" 논문에 대한 상세 기술 요약입니다.

1. 문제 정의

본 논문은 센서 고장 또는 통신 두절로 인해 발생하는 전력 부하 데이터의 결측치를 복원하는 전력 시스템 내 장기 시계열 결측치 보간의 중요한 과제를 다룹니다.

현황의 한계: 기존 딥 생성 모델 (예: 확산 모델, VAE) 은 높은 복원 정확도를 달성하지만, 유한 표본 신뢰성 보장이 부족합니다. 전력망과 같은 안전이 중요한 인프라에서는 불확실성 정량화가 없는 점 추정치만으로는 송전 및 계획 수립에 불충분합니다.
과제: 전통적인 보간법은 세밀한 시간적 구조를 포착하지 못하며, 표준 컨포멀 예측 방법은 데이터 교환성을 가정하기 때문에 비정상적 분포 변화 (예: 계절적 변화, 기상 체제 이동) 하에서는 종종 실패합니다.
목표: 최대 91 일까지의 결측 데이터에 대해 고충실도 복원을 제공하면서도, 엄격한 커버리지 보장을 갖춘 분포 무관 적응형 예측 구간을 제공하는 프레임워크를 개발하는 것입니다.

2. 방법론: SPLICE 프레임워크

SPLICE (컨포멀 엔벨로프를 활용한 자기지도형 예측 잠재 결측치 보간) 는 모듈식 4 단계 파이프라인입니다.

A. JEPA 인코더 (표현 학습)

아키텍처: 일별 다변량 세그먼트 (부하, 기상, 달력) 를 압축된 64 차원 잠재 공간으로 매핑하기 위해 **Joint Embedding Predictive Architecture(JEPA)**를 사용합니다.
메커니즘: 마스크된 Transformer 는 관측된 컨텍스트를 기반으로 마스크된 날의 잠재 임베딩을 예측합니다.
학습 목적: 임베딩 붕괴를 방지하고 정보 확산을 보장하기 위해 코사인 예측 손실과 VICReg 스타일 정규화 (분산 및 공분산 제약) 를 결합합니다.
장점: VAE 와 달리 JEPA 는 재구성 손실의 '흐림' 효과 없이 시간적 역동성을 보존하는 구조화된 잠재 공간을 학습하므로, 장기 생성에 이상적입니다.

B. 조건부 잠재 브리지 (궤적 생성)

기능: JEPA 잠재 공간 내에서 결측 간격에 대한 후보 궤적을 생성합니다.
모드: 네 가지 확률적 수준을 지원합니다:
1. 결정론적: 직접 예측 (최저 MSE).
2. 노이즈 교란: 불확실성 정량화를 위한 앙상블을 생성하기 위해 결정론적 출력에 가우시안 노이즈를 추가합니다.
3. 생성적 (DDIM): 표준 확산 샘플링.
4. 생성적 (Flow Matching): 선호되는 백엔드입니다. 샘플을 직선 ODE 경로를 따라 이동시키는 속도장을 학습합니다.
효율성: Flow Matching 변형은 50 단계 DDIM 샘플러 대비 50 단계를 사용하여 5~10 배의 속도 향상을 제공하면서도 DDIM 과 동등한 품질을 달성합니다.

C. 시간 조건부 디코더

기능: 생성된 잠재 궤적을 신호 공간 (시간당 부하) 으로 다시 매핑합니다.
혁신: 표준 디코더와 달리, 간격 동안 시간당 공변량 (기상, 달력) 에 조건부로 작동합니다. 이를 통해 모델은 결측일의 외부 요인 (예: 온도) 을 '알 수 있게' 되어 잠재 공간과 관측 공간 간의 정보 격차를 해소합니다.
학습: 부하 가중 MSE 손실(부하에 5 배 가중치) 과 노이즈 증강을 사용하여 강건성을 개선합니다.

D. 적응형 컨포멀 추론 (ACI)

문제: 표준 컨포멀 예측 (CQR) 은 시계열에서 위반되는 교환성을 가정합니다.
해결책: SPLICE 는 생성적 출력을 **Adaptive Conformal Inference(ACI)**로 감쌉니다.
메커니즘: ACI 는 관측된 오차를 기반으로 온라인으로 업데이트되는 이동 오커버리지 수준 ( $\alpha_t$ ) 을 유지합니다:
$\alpha_{t+1} = \alpha_t + \gamma(\alpha - \text{err}_t)$
보장: 이는 분포 변화 하에서도 장기적 커버리지(예: 95%) 를 보장하며, 수동 재보정 없이 자기 수정을 수행합니다.

3. 주요 기여

모듈식 잠재 파이프라인: JEPA 표현 학습과 조건부 잠재 브리지 및 시간 조건부 디코더를 결합한 새로운 아키텍처.
Flow Matching 효율성: JEPA 잠재 공간 내 Flow Matching 이 DDIM 대비 5~10 배의 추론 속도 향상을 제공하면서도 동등하거나 더 나은 품질을 보임을 입증.
분포 무관 불확실성: 비정상 환경에서 최대 7.5 퍼센트 포인트의 오커버리지 실패를 수정하는 ACI 로 딥 생성적 결측치 보간 파이프라인을 감싼 최초의 연구.
전이 학습: 9 개의 다양한 도메인으로 훈련된 단일 풀드 JEPA 인코더가 브리지와 디코더만 미세 조정하여 4 개의 미관측 도메인으로 전이되며, 데이터별 오라클을 달성하거나 초과함을 보임.

4. 실험 결과

91 일 간격을 가진 13 개 데이터셋(9 개 독점 유틸리티 피드, 3 개 UCI Electricity, 1 개 ETTh1) 에서 평가:

정확도:
- 가장 낮은 평균 **부하 전용 MSE(0.056)**를 달성하여 SAITS(0.064), BRITS(0.068), CSDI(0.252) 와 같은 강력한 베이스라인을 능가함.
- 외부 베이스라인 대비 비퇴화 데이터셋 12 개 중 9 개에서 승리.
- Flow Matching은 10 배 적은 단계를 사용하면서 DDIM 대비 MSE 를 8.7% 감소시킴.
불확실성 보정:
- ACI는 모든 데이터셋에서 93~95% 의 경험적 커버리지를 달성하여 변동성이 큰 데이터셋의 오커버리지 문제를 성공적으로 해결함 (예: RIInd1014 는 86% 에서 93.5% 로 개선).
- CRPS(연속 순위 확률 점수): 노이즈 교란 앙상블이 0.161로 최고의 CRPS 를 기록하여, 가장 강력한 결정론적 베이스라인 (SAITS) 대비 18.3% 개선됨.
전이성:
- 브리지/디코더만 미세 조정된 풀드 인코더가 4 개 중 3 개의 홀드아웃 도메인에서 데이터별 오라클을 달성하거나 초과함.
애블레이션 연구:
- JEPA 임베딩은 JEPA 전용 대비 MSE 를 53.2% 감소시키고, 레거시 VAE+Bridge 베이스라인 대비 25.1% 감소시킴.
- 개선된 디코더 (부하 가중 손실 + 노이즈 증강) 는 추가 **9.3%**의 MSE 감소를 기여함.

5. 중요성 및 영향

그리드 신뢰성: 전력망 운영자에게 보간된 값뿐만 아니라 통계적으로 보장된 신뢰 구간을 제공하여 과소 공급 또는 수요 반응 이벤트 누락을 방지하는 데 필수적임.
확장성 및 효율성: Flow Matching 백엔드는 장기 결측치 보간을 실시간 또는 준실시간 애플리케이션에 대해 계산적으로 실현 가능하게 만듦.
일반화: 풀드 인코더 접근법은 범용 시계열 기반 모델로의 길을 제시하여, 새로운 센서나 지역마다 새로운 모델을 훈련하는 비용을 줄임.
방법론적 진전: 생성 모델링(고충실도 복원을 위해) 과 컨포멀 예측(엄격한 불확실성을 위해) 간의 간극을 성공적으로 연결하여 현재 AI 기반 인프라 관리의 주요 한계를 해결함.

결론적으로, SPLICE 는 JEPA 의 표현력, Flow Matching 의 효율성, 그리고 적응형 컨포멀 추론의 통계적 엄밀함을 결합하여 에너지 시스템의 중요한 문제를 해결함으로써 시계열 결측치 보간 분야에서 중요한 진전을 이루었습니다.