기술 요약: 프라이빗하게 미세 조정된 LLM은 테이블 데이터의 시간적 역학을 보존한다

문제 정의

현재 차분 프라이버시(differentially private)가 적용된 합성 테이블 데이터(DPSD) 연구는 주로 독립적이고 동일한 분포를 따르는(i.i.d.) 행(row)에 집중되어 있으며, 여기서 단일 행은 고유한 개인을 나타냅니다. 이러한 패러다임은 전자 건강 기록(EHR)이나 서비스 요청 로그와 같이 단일 사용자가 시간에 따른 일련의 이벤트(서브 테이블) 전체를 기여하는 종단적(longitudinal) 데이터셋의 복잡성을 다루지 못합니다. 이러한 환경에서는 소유의 단위가 개별 행이 아니라 전체 테이블(궤적, trajectory)입니다.

기존 방식들은 표준 마진 기반 메커니즘(예: AIM, Private-PGM)을 적용하기 위해 사용자 궤적을 고차원의 고정 너비 벡터로 "평탄화(flattening)"(모든 타임스텝을 하나의 행으로 결합)하여 이에 적응하려고 시도합니다. 저자들은 이러한 전략이 근본적으로 불충분하다고 주장합니다. 평탄화는 도메인의 차원을 폭발시키고, 패딩(padding)을 통해 인위적인 희소성을 도입하며, 프라이버시 예산을 유지하기 위해 프라이버시 메커니즘이 저차수 로컬 마진(low-order local marginals)에 의존하도록 강제합니다. 결과적으로, 이러한 방법들은 장기적인 시간적 의존성을 포착하는 데 실패하며, 국소적으로는 그럴듯하지만 전역적으로는 일관성이 없는(예: 서로 다른 사용자 프로필을 혼합하는) 궤적을 생성합니다. 또한, 평탄화된 데이터에 그룹 프라이버시를 적용하는 것은 서로 다른 사용자에게 속할 수 있는 행 그룹을 보호하려 하기 때문에 지나치하게 제한적입니다.

방법론: PATH 프레임워크

이러한 한계를 해결하기 위해, 저자들은 전체 사용자 테이블을 합성 단위로 취급하고 LLM의 자기회귀(autoregressive) 능력을 활용하는 생성 프레임워크인 **PATH (Private Autoregressive Trajectory Histories)**를 소개합니다.

핵심 구성 요소

1. 프라이버시 단위 정의: 프레임워크는 프라이버시 단위를 전체 사용자 테이블 $D^{(i)}$로 명시적으로 정의합니다. 두 데이터셋은 정확히 한 사용자의 전체 궤적을 추가하거나 제거함으로써 얻어질 수 있다면 서로 이웃한 것으로 간주됩니다. 이는 프라이버시 보장이 개인의 완전한 시간적 이력을 보호함을 보장합니다.
2. 직렬화(Serialization): 사용자 테이블은 스키마 정의에 이어 행별 인코딩(예: [Row 1]: charttime is ..., heartrate is ...)을 사용하여 결정론적으로 토큰 시퀀스로 직렬화됩니다. 행 구분 토큰은 모델이 시간적 단계를 구분하도록 유도합니다.
3. 학습 전략:
   • DP 미세 조정(DP Fine-tuning): 저자들은 사전 학습된 LLM(특히 Gemma 3 제품군, 1B 및 4B 파라미터)을 차분 프라이버시 확률적 경사 하강법(DP-SGD)을 사용하여 미세 조정합니다.
   • 동적 윈도잉(Dynamic Windowing): 궤적의 모든 단계에서 전이(transition)를 견고하게 학습하기 위해, 학습 과정에서 동적 윈도잉 전략을 채택합니다. 각 사용자에 대해 분할 지점(split point)을 샘플링하여 컨텍스트(이력)와 타겟(계속됨)을 생성합니다. 이를 통해 모델은 사용자 이력의 전체 다양성으로부터 학습하면서도, 단계당 사용자당 1의 민감도를 유지할 수 있습니다.
   • 밀도 기반 샘플링: 짧은 컨텍스트에 대한 편향을 방지하기 위해 테이블 길이의 경험적 분포를 기반으로 분할 지점을 샘플링합니다.
   • 아키텍처: 저차원 적응(Low-Rank Adaptation, LoRA)을 사용하여 매개변수의 작은 비율만을 업데이트하며, 이는 노이즈 주입이 필요한 그래디언트 업데이트의 차원을 줄여줍니다.
4. 추론 및 선택:
   • 자기회귀 생성: 합성 테이블은 스키마와 이전에 생성된 행들을 조건으로 하여 행 단위로 생성됩니다.
   • 강건한 파싱(Robust Parsing): 다단계 파싱 전략은 잘못된 출력을 처리하며, 스키마 매칭이나 부분 인필링(infilling)으로 대체합니다.
   • 프라이빗 선택: 높은 유용성을 보장하기 위해, 과잉 생성된 후보 테이블 풀을 필터링하는 프라이빗 선택 메커니즘을 사용합니다. 이 단계는 할당된 선택 예산을 초과하는 추가 프라이버시 예산을 소비하지 않고, 시맨틱 임베딩(Gecko)을 기반으로 한 차분 프라이버시 투표 메커니즘을 사용하여 가장 대표적인 테이블을 선택합니다.

주요 기여

1. 전체 테이블을 프라이버시 단위로 설정: 이 논문은 전체 사용자 테이블을 차분 프라이버시 합성의 단위로 공식화한 첫 번째 사례이며, 시간적 궤적을 보존하기 위한 실질적인 적용을 보여줍니다.
2. 시간적 트렌드를 위한 새로운 프레임워크: PATH는 구조화된 다중 행 테이블 데이터를 생성하기 위해 LLM을 미세 조정하는 방법론을 도입하며, 시간적 의존성을 보존하기 위해 자기회귀적 행 생성과 프라이빗 선택이라는 2단계 프로세스를 활용합니다.
3. 새로운 지표: 저자들은 생성된 사용자 궤적의 분포적 충실도를 실제 데이터와 비교 평가하기 위해, Dynamic Time Warping(DTW)을 활용하여 기존의 Distance to Closest Record(DCR)를 변형한 Table-wise Distance to Closest Record (TDCR) 지표를 제안합니다. 이 지표는 시간적 형태(shape)를 재현하지 못하는 경우에 페널티를 부여합니다.
4. 광범위한 실험적 평가: 프레임워크는 합성 HMM 데이터, MIMIC-IV 생체 징후, NYC 311 서비스 요청 데이터에 대해 평가되었으며, 상태 밀집 기반 마진 베이스라인보다 우수한 성능을 입증했습니다.

실험 결과

저자들은 세 가지 데이터셋에 대해 광범위한 평가를 수행했습니다:

• MIMIC-IV (생체 징후): PATH (Gemma 4B)는 마진 기반 베이스라인(AIM, Direct Mechanism)을 크게 압도했습니다. $\epsilon=2.0$에서, PATH는 TDCR을 50% 이상 감소시켰으며(AIM의 0.736 대비 0.289), 상태 전이 오류를 거의 50% 줄였습니다. 결정적으로, PATH는 높은 마진 충실도를 유지하면서도 기존의 평탄화 방식이 놓친 시간적 역학을 포착했습니다.
• 합성 HMM 데이터: 알려진 정답 상태 전이 확률을 가진 데이터에서, PATH는 잠재 프로세스(latent process)를 포착하는 탁월한 능력을 보여주었습니다. 마진 방식들이 더 낮은 단변량 마진 발산(univariate marginal divergence)을 달eric했지만, 이들은 허용 불가능하게 높은 HMM 로그 가능도(invalid sequences를 의미)를 생성했습니다. 반면 PATH가 생성한 시퀀스는 실제 HMM 가능도 분포와 밀접하게 일치했습니다.
• NYC 311 (시공간 데이터): PATH는 복잡한 지리 공간 분포, 일주기 리듬, 민원 유형 전이를 성공적으로 보존했습니다. 비프라이빗 퓨샷 프롬프팅(Gemini 2.5 Flash-Lite)은 전체 분포를 일반화하는 데 실패하여 종종 모드 붕괴(mode collapse)를 일으킨 반면, 프라이빗 미세 조정은 인구 통계적 다양성을 포착했습니다.

주요 발견:

• 평탄화는 불충분함: 종단적 데이터를 평탄화하는 것은 차원 폭발과 마진 메커니즘의 전역 의존성 포착 능력 부재로 인해 "파멸적인" 유용성 손실을 초래합니다.
• LLM vs. 마진 방식: 마진 방식이 단순하고 잘 정돈된 데이터셋의 집계 통계에는 뛰어나지만, LLM은 시간적 역학 및 상태 전이를 포착하는 데 있어 우위를 점하며 복잡한 종단적 데이터를 위한 "최선의 조합" 솔루션을 제공합니다.
• 미세 조정 vs. 프롬프팅: 프라이빗 미세 조정은 인컨텍스트 러닝(퓨샷 프롬프팅)보다 분포 매칭에 더 효과적입니다. 프롬프팅은 종종 모드 붕괴를 유발하고 데이터 매니폴드의 전체 서포트(support)를 포착하는 데 실패합니다.
• 모델 스케일링: 더 큰 모델(Gemma 4B)은 엄격한 프라이버시 예산($\epsilon < 2.0$) 하에서도 작은 변형 모델보다 더 높은 견고성을 보였는데, 이는 DP 노이즈가 높을 때 학습을 안정화하는 강력한 사전 학습된 시맨틱 프라이어(semantic prior) 덕분인 것으로 보입니다.

의의 및 주장

이 논문은 PATH가 차분 프라이버시의 단위를 개별 행에서 전체 사용자 테이블로 재정의하여, 민감한 시간적 데이터 합성의 근본적인 격차를 해결한다고 주장합니다. 저자들은 프라이빗하게 미세 조정된 LLM이 전통적인 마진 기반 메커니즘이 포착하지 못하는 복잡한 시간적 역학을 보존하면서, 순차적 테이블 도메인을 위한 효과적인 합성기로 기능할 수 있음을 입증했다고 단언합니다.

이 연구의 의의는 환자의 이력이 독립적인 기록의 집합이 아닌 하나의 일관된 궤적인 EHR 분석과 같은 애플리케이션에 필수적인 '멀티 테이블 프라이버시 단위'를 실행 가능한 형태로 구현했다는 데 있습니다. 결과는 종단적 데이터의 경우 "합성 단위(unit of synthesis)"가 중요하다는 것을 시사합니다. 즉, 사용자의 궤적을 하나의 자기회귀 시퀀스로 취급하는 것이 사용자 이력을 평탄화하는 것보다 더 효율적이고 효과적인 표현 방식입니다. 본 논문은 프라이빗 미세 조정이 순차적 도메인에서의 데이터 공유를 위한 견고한 솔루션을 제공하여, 프라이버시와 시간적 일관성을 모두 준수하는 고충실도 합성 데이터를 공개할 수 있게 한다고 결론짓습니다.