🤖 machine learning

A Locally Tokenized Generative Model for Robust Time-Series Watermarking

이 논문은 각 토큰이 오직 제한된 시간적 이웃에만 의존하도록 보장함으로써, 금융, 에너지 및 신경 영상 벤치마크 전반에서 탐지 신뢰성을 안정화하여 사후 편집 공격에 따른 기존 시계열 워터마킹의 불안정성을 극복하는 국소적 토큰화 생성 프레임워크인 L-VQVAE와 LVQMark을 소개한다.

원저자: Dongbin Kim, Geonwoo Shin, Yujin Choi, Soyeon Park, Jaewook Lee

게시일 2026-08-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dongbin Kim, Geonwoo Shin, Yujin Choi, Soyeon Park, Jaewook Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대의 디지털 환경에서 인공지능은 실제와 거의 똑같이 보이고 작동하는 합성 데이터를 생성할 수 있는 숙련된 현실의 위조자가 되었습니다. 금융 시장의 추세부터 뇌 활동 스캔에 이르기까지, 이러한 컴퓨터 생성 시퀀스는 다른 시스템을 훈련하고 이론을 테스트하는 데 점점 더 유용하게 사용되고 있습니다. 그러나 이러한 능력은 중대한 문제를 야기합니다. 즉, 무엇이 실제이고 무엇이 기계에 의해 만들어진 것인지 어떻게 알 수 있는가 하는 점입니다. 데이터셋의 출처를 검증할 방법이 없다면, 우리는 보이지 않는 조작이라는 토대 위에 세상에 대한 이해를 쌓게 될 위험이 있습니다. 이를 해결하기 위해 과학자들은 데이터가 생성되는 과정에서 직접 내장되는 숨겨진 서명과 같은 역할을 하는 워터마킹이라는 방법을 개발했습니다. 이 서명은 인간의 눈에는 보이지 않도록 설계되었지만 특정 키를 통해 감지될 수 있어, 누구나 특정 모델에 의해 데이터가 실제로 생성되었음을 나중에 증명할 수 있게 해줍니다.

하지만 문제는 이러한 디지털 서명이 놀라울 정도로 취약하다는 점이었습니다. 정보가 숫자의 강처럼 시간에 따라 흐르는 시계열 데이터의 세계에서는, 일부 구간을 잘라내거나 값을 약간 이동시키는 것과 같은 작은 편집만으로도 숨겨진 서명이 뒤섞일 수 있습니다. 이전의 해결 시도들은 메시지를 해독하기 위해 전체 시퀀스를 한꺼번에 살펴보는 방식에 의존했습니다. 연구자들은 이러한 전역적(global) 접근 방식에 결함이 있음을 발견했습니다. 공격자가 데이터의 일부분만을 조작하더라도, 해독 과정이 전체 시퀀스에 걸쳐 혼란을 일으켜 탐지기가 워터마크를 아예 놓치거나, 더 심하게는 워터마크가 없는 무고한 데이터를 가짜라고 잘못 비난하게 만들기 때문입니다. 이러한 불안정성은 신뢰를 보호하기 위한 도구가 단순한 편집에 의해 쉽게 속을 수 있음을 의미했습니다.

서울대학교와 난양공과대학교의 연구팀은 이제 데이터를 하나의 엉킨 전체로 보는 대신, 작고 관리 가능한 덩어리로 취급하는 새로운 방식의 서명 구축법을 제 proposed했습니다. 그들은 긴 시계열 데이터 스트림을 짧고 겹치는 창(window)들로 나누는 L-VQVAE라는 새로운 시스템을 도입했습니다. 데이터의 전체 역사를 파악하여 패턴을 찾는 대신, 이 시스템은 각 작은 창을 마치 문장을 개별 단어의 문자열로 바꾸는 것처럼 이산적인 기호로 인코딩합니다. 이러한 설계는 공격자가 데이터의 일부를 자르거나 변경하더라도, 그 혼란이 해당 특정 영역 내에 국한되어 나머지 시퀀스로 퍼지지 않도록 보장합니다. 해독 과정을 국소적(local)으로 유지함으로써, 시스템은 작은 편집이 전체 시퀀스에 오류의 연쇄 반응을 일으켜 워터마크 감지 능력을 파괴하는 것을 방지합니다.

이러한 국소적 구조를 바탕으로, 연구진은 워터마크를 실제로 쓰고 읽는 LVQMark라는 방법을 개발했습니다. 데이터를 생성하는 동안, 시스템은 특정 기호가 다른 기호보다 더 자주 선택되도록 미묘하게 편향을 줌으로써 서명 역할을 하는 통계적 패턴을 만듭니다. 데이터를 검증할 때가 되면, 데이터가 공격을 받았더라도 견고한 디코더가 투입되어 손상된 신호로부터 원래의 기호를 복구합니다. 시스템은 각 부분을 이해하기 위해 작고 제한된 이웃 영역만을 살펴볼 필요가 있기 때문에, 데이터가 잘려 나가거나, 이동되거나, 무작위 값이 삽입되더라도 숨겨진 메시지를 정확하게 재구성할 수 있습니다. 연구진은 이 접근 방식을 주식 시장 가격, 에너지 소비 기록, 전력 사용량, 그리고 기능적 자기공명영상(fMRI) 뇌 스캔이라는 네 가지 매우 서로 다른 유형의 데이터에 대해 테스트했습니다. 모든 경우에서, 이 새로운 방법은 데이터가 상당한 편집을 거쳤음에도 불구하고 워터마크가 찍힌 데이터를 성공적으로 식별하는 동시에 오경보율을 낮게 유지했습니다.

결과는 이 국소적 접근 방식이 기존 방법들을 괴롭혔던 불안정성을 해결했음을 보여주었습니다. 기존 시스템들이 워터마크를 감지하지 못하거나 깨끗한 데이터를 가짜라고 잘못 표시했던 테스트 상황에서도, 새로운 시스템은 안정적인 모습을 보였습니다. 예를 들어, 데이터가 30% 잘려 나갔을 때 기존의 탐지기들은 종종 막대한 오류를 발생시키며 깨끗한 데이터를 거의 확실하게 가짜라고 비난하기도 했습니다. 반면, 새로운 방법은 깨끗한 데이터에 대한 탐지 점수를 0에 가깝게 유지하여 이를 올바르게 거부하면서도, 워터마크가 있는 샘플은 명확하게 식별해 냈습니다. 연구진 또한 이러한 견고함이 품질 저하를 초래하지 않았음을 확인했습니다. 즉, 그들의 시스템에 의해 생성된 합성 데이터는 여전히 매우 현실적이며 분석에 유용했습니다. 탐지 과정을 작고 독립적인 창에 고정함으로써, 연구팀은 합성 시계열 데이터의 출처를 증명하는 더 신뢰할 수 있는 방법을 만들어냈으며, 우리가 신뢰를 위해 사용하는 디지털 서명이 현실 세계의 피할 수 없는 편집과 조작 속에서도 살아남을 수 있도록 보장했습니다.

기술 요약: 강건한 시계열 워터마킹을 위한 국소적 토큰화 생성 모델

문제 정의

워터마크는 AI 모델이 생성한 합성 데이터의 출처(provenance)를 확립하는 데 있어 중요한 도구입니다. 언어 모델과 이미지 분야에서는 생성 시점의 워터마킹 기술이 크게 발전했지만, **다변량 시계열(multivariate time series)**에 대한 적용은 사후 편집 공격(예: 데이터 세그먼트의 크롭, 삽입 또는 오프셋) 하에서 특정 신뢰성 실패 문제에 직면해 있습니다.

본 연구에서 식별된 핵심 문제는 **재인코딩 불안정성(re-encoding instability)**입니다. 기존의 시계열 워터마킹 방식은 연속적이고 잠재적으로 공격받은 신호를 검증하기 위해 내부의 이산 표현(토큰)으로 먼저 재인코딩해야 하는 검출기에 의존합니다. 저자들은 이 재인코딩 맵이 **전역적으로 결합(globally coupled)**되어 있을 때—즉, 임의의 위치에 있는 토큰이 전체 시계열에 의존할 때—국소적인 사후 편집 공격이 검출 통계량(z-score)의 영 분포(null distribution)에 **양방향 드리프트(bidirectional drift)**를 유발한다는 것을 입증했습니다.

결과: 공격은 워터마크가 없는 샘플의 z-score를 양 또는 음의 방향으로 이동시킬 수 있습니다. 양의 이동은 높은 **허위 양성률(False Positive Rate, FPR)**을 초래하여 합성 콘텐츠에 대한 잘못된 귀속을 일으킵니다. 음의 이동은 검출기의 캘리브레이션을 무효화하는 심각한 통계적 이상 현상을 생성합니다. 현재의 벤치마크는 종종 깨끗한 데이터에서 캘리브레이션된 고정된 FPR에서 TPR(True Positive Rate)을 보고하지만, 이는 공격 상황에서의 드리프트를 고려하지 못하므로 출처 보증을 신뢰할 수 없게 만듭니다.

방법론

제안된 솔루션인 LVQMark는 L-VQVAE(Locally Tokenized Vector Quantized Variational Autoencoder)라는 새로운 생성 아키텍처를 기반으로 구축되었습니다. 이 접근 방식은 공격의 영향을 제한하기 위해 토큰 표현에서의 **국소성(locality)**을 강제합니다.

1. L-VQVAE: 국소적으로 토큰화된 생성 모델

전역적 문맥을 포함할 수 있는 표준 VQ-VAE와 달리, L-VQVAE는 각 이산 토큰이 **유계된 시간적 이웃(bounded temporal neighborhood)**으로부터 복구되도록 보장합니다.

국소 토큰화 도구(Local Tokenizer): 입력 시계열은 중첩되는 슬라이딩 윈도우로 분할됩니다. 공유 인코더는 각 윈도우를 독립적으로 처리하여 잠재 벡터를 생성하고, 이는 공유 코드북에 대해 양자화됩니다. 특정 윈도우의 인코딩이 오직 해당 윈도우 내의 데이터에만 의존하기 때문에, 사후 편집 공격은 중첩되는 윈도우에 해당하는 토큰들만을 영향을 미치며 오류의 전역적 전파를 방지합니다.
국소 사전 학습(Local Pretraining): 코드북 항목이 (국소성 보장을 약화시키는) 주변 문맥에 의존하지 않고 단일 토큰으로부터 해당 윈도우를 완전히 설명할 수 있도록, 인코더와 코드북은 단일 토큰으로부터 윈도우를 재구성하는 로컬 디코더와 함께 먼저 사전 학습됩니다.
전역 디코더 및 AR 트랜스포머: 전역 디코더는 토큰 시퀀스로부터 전체 시계열을 재구성하며, 자기회귀(AR) 트랜스포머는 토큰 분포를 모델링합니다. 이러한 구성 요소들은 생성 시에만 호출되며 국소적일 필요는 없으므로 장기 의존성을 모델링할 수 있습니다.

2. LVQMark: 국소 토큰 기반 워터마킹

LVQMark는 자기회귀 샘플링 과정 중에 워터마크를 삽착하고, 강건한 재인코딩을 통해 이를 검출합니다.

워터마크 주입: "Red-green" 로짓 바이어스(logit-bias) 스킴을 채택합니다(LLM의 KGW와 유사). 각 샘플링 단계에서 비밀 키는 코드북을 그린(green) 세트와 레드(red) 세트로 분할합니다. 그린 토큰의 로짓에는 양의 바이어스가 추가됩니다.
- 교대 파티션(Alternating Partition): "바이어스 축적"(동일한 토큰의 연속이 통계량을 왜곡하는 현상)을 방지하기 위해, 그린/레드 파티션은 위치 패리티(짝수/홀수)에 따라 교차합니다.
- 편향 없는 웜업(Unbiased Warm-up): 문맥의 부재로 인해 단일 그린 토큰이 결정론적으로 선택되는 "바이어스 지배(bias dominance)" 현상을 방지하기 위해 초기 몇 단계의 샘플링은 편향 없이 수행됩니다.
강건한 검출: 검출 시에는 관측된(잠재적으로 공격받은) 신호를 **강건한 인코더( $E^*_\rho$ $E_{ρ}^{*}$ )**를 사용하여 재인코딩합니다.
- 이 인코더는 공격받은 신호를 원래의 로컬 토크나이저가 생성했을 '깨끗한' 토큰 할당으로 매핑하도록 훈련되었습니다.
- 결정적으로, 기본 표현이 국소적이기 때문에 강건한 인코더는 오직 유계된 부분 집합의 토кен만을 복구하면 되므로, 전역 재인코딩의 불안정성을 피할 수 있습니다.

주요 기여

허위 양의 신뢰성 정식화: 저자들은 시계열 워터마킹의 허위 양 신뢰성이 근본적으로 재인코딩 안정성 문제임을 식별했습니다. 이들은 전역적으로 결합된 재인코딩 맵이 공격 하에서 영 분포를 드리프트시켜 깨끗한 데이터에 캘리브레이션된 임계값을 무효화함을 보여줍니다.
L-VQVAE 아키텍처: 각 토큰이 짧은 시간적 이웃에만 의존하는 생성 모델을 도입했습니다. 이 설계는 국소적인 섭동이 전역적인 드리프트를 유발하는 것을 방지합니다.
LVQMark 프레임워크: 다음을 결합한 완전한 워터마킹 파이프라인을 제공합니다:
- 로컬 토큰 공간에 맞춘 스케줄링 수정(교대 파티션 및 웜업)이 적용된 로짓 바이어스 주입.
- 공격받은 신호로부터 깨끗한 토큰 할당을 복구하도록 훈련된 강건한 인코더.
- 표현의 국소성을 활용하여 안정적인 허위 양 동작을 유지하는 검출 메커니즘.

실험 결과

본 방법은 세 가지 유형의 사후 편집 공격(offset, crop, insert) 하에서 네 가지 다변량 시계열 데이터셋(Stocks, ETTh, Energy, fMRI)에 대해 평가되었습니다.

허위 양 안정성: 기존 베이스라인(Tree-Ring, Gaussian Shading, TimeWak)은 상당한 양방향 드리프트를 보였습니다. 예를 들어, Stocks 데이터셋에 30% 크롭 공격을 가했을 때, Tree-Ring은 평균 z-score가 +69.4를 기록하여 100%의 허위 양 발생률을 보였습니다. 반면, L-VQVAE와 LVQMark는 모든 데이터셋과 공격에 대해 좁은 범위(예: [-0.25, +0.35]) 내에서 평균 z-score를 유지하여, FPR을 일관되게 낮게( $\le$ 0.01) 유지했습니다.
검출 능력: LVQMark는 공격받은 워터마크 샘플에 대해 거의 완벽한 참 양성률(TPR $\approx$ 1.00)을 달-성한 반면, 베이스라인들은 검출 성능 저하를 겪거나 트레이드오프가 필요했습니다.
생성 품질: L-VQVAE는 SDFormer, DiffusionTS와 같은 베이스라인과 대등하거나 이를 능가하는 생성 품질(Context-FID, Correlational, Discriminative, Predictive 점수로 측정)을 달성했습니다.
절제 연구(Ablation Studies):
- 국소 토큰화를 제거했을 때(강건한 인코더를 가진 SDformer 사용) 일관된 강건성을 제공하지 못했으며, 이는 강건한 재인코딩만으로는 충분하지 않고 국소적으로 복구 가능한 표현이 필수적임을 확인시켜 줍니다.
- 스케줄링 구성 요소(교대 파티션 및 웜업)를 제거하면 생성 품질과 검출 안정성이 저하되었으며, 이는 통계적 아티팩트를 방지하기 위한 이들의 필요성을 입증합니다.

의의 및 주장

본 논문은 강건한 시계열 워터마킹의 주요 장벽이 워터마킹 기법 자체가 아니라, 검출기의 재인코딩 프로세스의 불안정성이라고 주장합니다. 토큰 표현에 국소성을 부여함으로써 저자들은 다음을 달성할 수 있음을 입과합니다:

영 분포의 안정화: 잘못된 출처 귀속을 유발하는 양방향 드리프트를 방지합니다.
검출 능력 유지: 편집 후에도 워터마크 샘플이 탐지 가능하도록 보장합니다.
생성 품질 보존: 워터마킹 메커니즘을 해치지 않으면서 고충실도의 합성 데이터를 생성합니다.

저자들은 자신들의 접근 방식이 허위 양 신뢰성 문제에 대한 원칙적인 솔루션을 제공하며, 공격적이거나 우발적인 수정이 존재하는 환경에서도 합성 시계열 데이터의 출처를 검증할 수 있는 더 신뢰할 수 있는 메커니술을 제공한다고 결론짓습니다. 또한, 강건한 인코더의 모듈형 특성 덕분에 생성 모델을 재학습시키지 않고도 새로운 유형의 공격에 적응할 수 있음을 언급합니다.