기술 요약: SelPE: 프라이버시 보호형 구조화된 텍스트 합성을 위한 점진적 선택 기법

1. 문제 정의

본 논문은 소규모 샘플 환경에서의 차분 프라이버시(Differentially Private, DP) 구조화된 텍스트 합성 문제를 다룹니다. 구조화된 텍스트 데이터(예: 임상 분류 노트, 금융 로그)는 숫자, 범주형, 자유 형식 텍스트와 같이 엄격한 스키마를 따르는 이질적인 필드들로 구성됩니다.

기존의 접근 방식들은 제한된 프라이빗 데이터를 사용하는 이 도메인에 적용될 때 세 가지 주요 한계에 직면합니다:

1. 신호 희소성(Signal Sparsity): 소규모 샘플 환경에서 가산 노이즈 메커니즘(DP에서 흔히 사용됨)은 유틸리티 신호를 압도합니다. 프라이빗 데이터 크기에 비해 후보 풀의 크기가 커질수록 신호 대 잡음비(SNR)가 사라져, 후보 선택의 신뢰성이 떨어집니다.
2. 스키마 충실도(Schema Fidelity): 복잡하고 필드 간 교차 제약 조건이 있는 텍스트를 생성하는 것은 어렵습니다. 하드 제약 조건은 의미적 표현력을 저하시키는 경우가 많고, 자유 형식 생성은 구조적 규칙을 위반하는 경우가 빈번합니다.
3. 타입 간 정렬(Cross-Type Alignment): 후보를 평가하려면 서로 호환되지 않는 공간에 존재하는 이질적인 필드(텍스트, 숫자, 범주)를 비교해야 합니다. 통합된 메트릭은 이러한 신호들을 붕괴시켜 정렬되지 않은 비교를 초래할 수 있습니다.

핵심 문제는 매우 적은 수의 프라이빗 예시만으로도 구조적 유효성, 충실도(의미적 및 수치적 정확성), 그리고 다운스트림 유틸리티를 보존하면서 $(\epsilon, \delta)$-차분 프라이버시를 만족하는 데이터셋을 합성하는 것입니다.

2. 방법론: SelPE

저자들은 **SelPE (Selection-guided Progressive Evolution)**를 제안합니다. 이 프레 framework은 프라이버시 예산을 노이즈 기반의 집계(aggregation)에서 일련의 고신뢰도, 구조 인식 선택 과정으로 전환합니다.

핵심 구성 요소

A. 컨텍스트-스키마 분리 생성 (Context–Schema Decoupled Generation)
의미적 표현력과 구조적 유효성의 균형을 맞추기 위해, SelPE는 2단계 파이프라인을 채택합니다:

1. 잠재 데이터 컨텍스트 (1단계): 언어 모델이 일관된 실제 세계의 인스턴스를 나타내는 자유 형식의 텍스트 설명($t$)을 생성합니다. 이 단계는 스키마 제약 없이 순수하게 의미적 추상화에 집중합니다.
2. 스키마 기반 실현 (2단계): 잠재 컨텍스트 $t$는 제약 조건이 있는 디코딩(LLGuidance를 통해)을 사용하여 구조화된 레코드($s$)로 변환됩니다. 스키마 유도 제약 오토마타는 생성된 토큰이 필드 유형 및 값 범위에 엄격히 부합하도록 보장하여 구조적 유효성을 확보합니다.

B. 다채널 거리 커널 (Multi-Channel Distance Kernel)
이질적인 필드 전반에서 후보를 평가하기 위해, SelPE는 고유 공간에서 작동하는 거리 커널 $g(s, s')$을 정의합니다:

• 의미 채널 (Semantic Channels): 텍سual 및 범주형 필드는 문장 인코더를 사용하여 정규화된 의미 벡터로 인코딩됩니다. 글로벌 의미 채널은 필드 간의 일관성을 포착합니다.
• 수치 채널 (Numeric Channels): 수치 필드는 정밀도를 유지하기 위해 강건한 정규화를 거쳐 스칼라 값으로 보존됩니다.
• 집계: 총 거리는 의미 채널에 대한 코사인 유사도와 수치 채널에 대한 절대 차이의 가중 합으로 계산됩니다. 이를 통해 이질적인 신호를 붕로시키지 않고도 정확한 비교가 가능합니다.

C. 선택 유도 점진적 진화 (Selection-Guided Progressive Evolution)
데이터를 집계하는 대신, SelPE는 프라이버시 예산을 멀티 배치 Top-1 선택에 집중합니다:

1. 점진적 조건부 생성: 합성은 $T$ 라운드에 걸쳐 수행됩니다. 라운드가 진행됨에 따라 생성되는 샘플 수($m_t = t \cdot q$)가 증가하여, 후기 라운드가 이전에 선택된 고품질 샘플들의 풍부한 컨텍스트를 바탕으로 구축될 수 있도록 합니다.
2. 멀티 배치 프라이빗 선택: 프라이빗 데이터셋은 서로 겹치지 않는 배치로 분할됩니다. 각 배치에 대해 경험적 중심(empirical center)이 계산됩니다. 후보들은 이 배치 중심들과의 거리를 기준으로 점수가 매겨집니다.
3. Top-1 지수 메커니즘 (Top-1 Exponential Mechanism): 각 배치의 최적 후보는 Top-1 지수 메커니즘을 사용하여 선택됩니다. 병렬 합성(parallel composition)을 사용함으로써, 프라이버시 손실은 전체 풀에 걸쳐 누적되는 것이 아니라 단일 배치 선택의 최대 손실에 의해 제어됩니다.
4. 비프라이빗 대조적 확장 (Non-Private Contrastive Expansion): 추가적인 프라이버시 비용 없이 다양성을 확보하기 위해, 각 선택된 "좋은" 예시는 "대조적" 예시(선택된 것과 가장 먼 후보)와 쌍을 이룹니다. 이 쌍들은 다음 생성 라운드를 가이드하며, 모델이 붕괴된 모드(collapsed modes)로부터 멀어지도록 유도합니다.

3. 주요 기여

1. 스키마 인식 생성 및 평가: 의미적 추상화와 스키마 실현을 분리하고, 구조적 유효성과 필드 간 일관성을 모두 보장하기 위해 다채널 거리 커널을 활용하는 통합된 프레임워크를 제공합니다.
2. 선택 기반 프라이빗 진화: 노이즈 기반 집계를 멀티 배치 Top-1 DP 선택으로 대체하여, 소규모 샘플 구조화된 텍스트에 특화된 새로운 접근 방식을 제시하며, 이를 통해 신호 희소성 문제를 효과적으로 완화합니다.
3. 경험적 검증: 세 가지 현실적인 데이터셋(Water, MIMIC-ED, Loan)에 대한 광범한 실험을 통해 엄격한 프라이버시 예산 하에서도 구조적 충실도와 다운스트림 유틸리티 측면에서 일관된 개선을 입증했습니다.

4. 실험 결과

저자들은 세 가지 데이터셋에 대해 다섯 가지 베이스라인(DP-DS, DP-Gen, Aug-PE, WASP, CTCL)과 SelPE를 비교 평가했습니다.

• 성능: SelPE는 특히 타이트한 프라이버시 예산($\epsilon \in \{1, 2\}$) 하에서 TabSTAR 유틸리티(구조화된-텍스트 의존성 측정)와 R-CFG/S-CFG 충실도(스키마 유효성 측정) 모두에서 베이스라인보다 일관되게 우수한 성능을 보였습니다.
• 강건성:
  • 백본 전이성 (Backbone Transferability): SelPE는 다양한 LLM 백본(Llama, Gemma, Mistral, Qwen) 전반에서 높은 성능을 유지하여, 특정 생성기에 의존하지 않는 효과성을 입증했습니다.
  • 데이터 규모: SelPE는 다른 방법들이 노이즈에 의해 성능이 저하되는 저데이터 환경($n=5, 10$)에서 탁월한 성능을 발휘했습니다.
  • 하이퍼파라미터: 본 방법은 적절한 진화 깊이($T \approx 4-5$)와 후보 다중성($K \approx 3-4$)에서 최적의 성능을 보였으며, 이는 더 깊거나 더 탐색적인 프라이빗 생성에 따른 수익 체감 현상을 시사합니다.
• 절제 연구 (Ablation Studies): (대조적 예시, 점진적 할당량, 스키마 인식 생성 또는 거리 커널 중) 어느 하나라도 제거하면 성능 저하가 발생했으며, 이는 최적의 결과를 위해 전체 파이프라인이 필수적임을 확인해 줍니다. 특히 다채널 거리 커널은 구조화된-텍스트 유틸리티에 결정적이었습니다.

5. 의의 및 주장

본 논문은 구조적 선택에 프라이버시 예산을 집중하는 것이 소규모 샘플 구조화된 텍스트 합성에서 노이즈 기반 집계보다 더 효과적인 전략이라고 주장합니다.

• "텍스트-구조 간극(Text-Structure Gap)" 해결: 저자들은 일부 베이스라인이 높은 전체적 텍스트 유창성(RoBERTa 점수)을 달성하더라도 필드 간 일관성을 유지하는 데 실패한다는 점을 관찰했습니다. SelPE는 구조적 의존성을 명시적으로 모델링함으로써 이 간극을 메웁니다.
• 원칙적 설계: 본 연구는 구조화된 텍스트의 경우, 레코드가 구성적이고 다양하기 때문에 노이즈가 섞인 집계를 통한 "평균화"는 근본적으로 결함이 있다고 상정합니다. 대신, 일련의 고신뢰도, 구조 인식 결정에 프라이버시 예산을 집중하는 것이 더 높은 다운스트림 유틸리티를 산출합니다.
• 확장성: 이 프레임워크는 구조적 무결성이 매우 중요한 데이터 희소 도메인에서 실질적인 솔루션을 제공하며, DP 구조화된 텍스트 합성을 위한 원칙적인 방향성을 제시합니다.