Autoregressive Synthesis of Sparse and Semi-Structured Mixed-Type Data

이 논문은 기존 방법론의 한계를 극복하고 희소성 및 반정형 데이터를 평탄화 없이 직접 처리할 수 있는 최초의 엔드투엔드 생성 모델인 'Origami'를 제안하여, 다양한 평가 지표에서 기존 기법들을 능가하는 높은 충실도와 프라이버시 보호 성능을 입증합니다.

핵심

1. 문제: "모든 것을 평평하게 펴는 것의 비효율성"

과거의 데이터 생성 기술들은 모든 데이터를 '표 (Table)' 형태로 만들어야만 작동했습니다.

• 비유: imagine you have a Russian nesting doll (마트료시카).
  • 기존 기술은 이 인형들을 모두 쪼개서 바닥에 나열해야 합니다. "큰 인형, 중간 인형, 작은 인형, 작은 인형 속의 작은 인형..." 이렇게 쪼개진 조각들을 일렬로 늘어뜨려야만 분석이 가능했습니다.
  • 문제는 데이터가 복잡해질수록 (예: JSON 파일처럼 중첩된 구조) 이 '쪼개기' 작업이 얼마나 비효율적인가입니다. 빈 공간이 너무 많고, 데이터가 너무 넓어집니다. 마치 수천 개의 빈 칸이 있는 거대한 스프레드시트를 만들어야 하는 것과 같습니다.

2. 해결책: "origami (접이식)"

이 논문이 제안한 origami는 그 반대로 작동합니다.

• 비유: origami 는 접이식 인형처럼 데이터를 그 자체의 모양 (중첩된 구조, 배열, 빈 공간) 을 유지한 채로 다룹니다.
  • 데이터를 쪼개지 않고, 원래의 형태 그대로 (JSON 형태) 인식합니다.
  • 마치 레고 블록을 쌓을 때, 이미 만들어진 복잡한 구조를 해체하지 않고 그대로 다음 단계에 이어 붙이는 것과 같습니다.

3. origami 의 핵심 기술 3 가지

이 기술이 어떻게 그렇게 똑똑하게 작동하는지 세 가지 핵심 비유로 설명해 드릴게요.

① "지도 없는 길 찾기" (Key-Value Position Encoding)

• 상황: JSON 데이터는 순서가 중요하지 않습니다. "이름"이 먼저 와도 "나이"가 먼저 와도 같은 데이터입니다.
• 기존 기술의 실수: 기존 AI 는 "1 번째 단어, 2 번째 단어"처럼 순서대로만 기억하려다 보니, 순서가 바뀔 때마다 혼란을 겪었습니다.
• origami 의 방법: origami 는 건물의 층수와 방 번호처럼 데이터의 '위치'를 기억합니다. "사용자 > 주소 > 도시"라는 경로를 기억하기 때문에, 순서가 바뀌어도 "아, 이건 도시 정보구나!"라고 바로 알아챕니다.
  • 효과: 데이터를 섞어주면 (Key Order Shuffling) AI 가 순서만 외우는 게 아니라, 데이터의 진짜 의미를 배우게 되어 더 똑똑해집니다.

② "이중 언어 화자" (Dual-Head Architecture)

• 상황: 데이터에는 숫자 (연봉, 나이) 와 단어 (이름, 직업) 가 섞여 있습니다.
• 기존 기술의 실수: 숫자를 단어처럼 바꾸거나, 단어를 숫자로 바꾸려다 보니 정확도가 떨어지거나 정보가 왜곡되었습니다. (예: "30 세"를 "30"이라는 숫자로만 보다가, "30 대"라는 범주로 잘못 이해하는 식)
• origami 의 방법: origami 는 두 개의 뇌를 가졌습니다.
  • 뇌 1 (단어): 이름, 카테고리 같은 텍스트를 자연스럽게 처리합니다.
  • 뇌 2 (숫자): 숫자는 그대로 숫자 (확률 분포) 로 처리합니다.
  • 효과: 두 가지 정보를 섞지 않고 각각의 특성에 맞게 처리하므로, 정밀도가 매우 높습니다.

③ "규칙 지키는 감시관" (Grammar & Schema Constraints)

• 상황: AI 가 가짜 데이터를 만들 때, 문법 오류를 저지르거나 존재하지 않는 키를 만들어낼 수 있습니다. (예: "주소"에 숫자만 넣거나, "이름"을 누락하는 등)
• origami 의 방법: origami 는 감시관을 붙여둡니다. 이 감시관은 데이터가 만들어지는 순간순간 "이건 문법적으로 맞는가?", "이 키는 허용된 범위인가?"를 실시간으로 검사합니다.
  • 효과: 문법적으로 완벽한 데이터만 만들어냅니다. 엉터리 데이터가 나올 일이 없습니다.

4. 왜 이것이 중요한가요? (결과)

• 기존 기술: 데이터가 복잡해지거나 (중첩된 구조), 빈칸이 많을수록 (Sparse) 성능이 급격히 떨어지거나 아예 작동하지 않았습니다. (메모리 부족, 오류 발생)
• origami: 복잡한 데이터일수록 더 잘 작동합니다.
  • 정확도: 실제 데이터와 구별하기 힘들 정도로 똑같은 가짜 데이터를 만듭니다.
  • 활용: 의료 기록, 앱 리뷰, 자동차 등록 정보처럼 복잡한 현실 세계 데이터를 그대로 학습시켜, 개인정보를 보호하면서도 연구나 개발에 쓸 수 있는 데이터를 만들어냅니다.

5. 한 줄 요약

"기존 기술은 복잡한 데이터를 억지로 평평하게 펴서 처리하려다 망쳤다면, origami 는 그 복잡한 구조를 그대로 이해하고, 문법과 규칙을 지키며 완벽한 가짜 데이터를 만들어내는 '접이식 마법사'입니다."

이 기술은 이제까지 불가능했던 복잡하고 비정형적인 데이터 (JSON 등) 의 생성을 가능하게 하여, 데이터 공유와 프라이버시 보호의 새로운 시대를 열었다고 볼 수 있습니다.

기술 요약

논문 요약: 희소하고 반구조화된 혼합형 데이터의 자기회귀적 합성 (Autoregressive Synthesis of Sparse and Semi-Structured Mixed-Type Data)

이 논문은 현대 데이터 시스템 (문서 데이터베이스, REST API, 데이터 레이크 등) 에서 널리 사용되는 JSON 과 같은 희소하고 반구조화된 (semi-structured) 데이터를 위한 새로운 합성 데이터 생성 모델인 origami를 제안합니다. 기존 방법론의 한계를 극복하고, 중첩 구조와 가변 길이의 배열을 평탄화 (flattening) 없이 직접 처리할 수 있는 아키텍처를 소개합니다.

---

1. 문제 정의 (Problem)

기존의 합성 데이터 생성 기술 (GAN, VAE, Diffusion, Autoregressive 모델 등) 은 대부분 고정된 스키마를 가진 밀집된 (dense) 표 형식 (tabular) 데이터를 가정합니다. 그러나 현대 데이터는 다음과 같은 특징을 가지며, 기존 방법론을 적용하기 어렵습니다.

• 반구조화 및 중첩 구조: JSON 형식의 데이터는 객체 내 객체 (nested objects), 가변 길이의 배열 (variable-length arrays) 등을 포함합니다.
• 희소성 (Sparsity): 많은 키 (key) 가 특정 레코드에 존재하지 않거나, 배열의 길이가 기록마다 다릅니다.
• 혼합된 타입 (Mixed Types): 동일한 키 경로가 다른 레코드에서 서로 다른 타입 (예: 정수와 문자열) 을 가질 수 있습니다.

기존 방법론의 한계:

• 평탄화 (Flattening) 의 비효율성: 중첩된 JSON 을 표 형식으로 변환하려면 가변 길이 배열을 열로 확장해야 하므로 수백 개의 열이 생성되고 희소성이 극대화됩니다 (예: Yelp 데이터셋의 경우 38% 이상의 희소성). 이는 계산 비용이 급증하고 성능을 저하시킵니다.
• 결측치 처리의 오류: 기존 방법은 결측치를 평균 대체 (imputation) 하거나 행을 삭제하는 방식을 사용하는데, 이는 데이터의 구조적 속성 (어떤 키가 존재하지 않는지) 을 파괴하여 중요한 정보를 잃게 합니다.
• 타입 처리의 어려움: 연속형 공간에서 작동하는 모델 (GAN, Diffusion) 은 범주형 데이터를 원-핫 인코딩해야 하며, 이는 고차원 데이터에서 차원의 저주를 유발합니다.

---

2. 제안 방법: origami (Methodology)

origami (Object RepresentatIOn via Generative Autoregressive ModelIng) 는 JSON 레코드를 직접 토큰화하여 시퀀스로 변환하고, 이를 자기회귀적 (autoregressive) 으로 생성하는 트랜스포머 기반 아키텍처입니다.

핵심 구성 요소

1. 토큰화 (Tokenization):

   • JSON 레코드를 깊이 우선 탐색 (DFS) 을 통해 시퀀스로 변환합니다.
   • 구조 토큰: 객체 시작/종료 (obj_start, obj_end), 배열 시작/종료 (arr_start, arr_end) 등 문법적 구조를 유지합니다.
   • 키 및 값 토큰: 각 키와 값 (문자열, 불리언 등) 을 별도의 토큰으로 처리합니다.
   • 연속형 값 처리: 고차원 수치 데이터는 num 토큰으로 표시하고, 실제 값은 병렬 **연속형 채널 (continuous channel)**을 통해 전달됩니다.

2. 키 - 값 위치 인코딩 (Key-Value Position Encoding, KVPE):

   • 기존 시퀀스 위치 인코딩 대신, 토큰이 JSON 트리에서 어떤 경로 (path) 에 위치하는지를 인코딩합니다.
   • 키 순서 불변성 (Order Invariance): JSON 객체의 키 순서는 정의상 무관하므로, KVPE 는 형제 키의 순서에 영향을 받지 않도록 설계되었습니다. 이는 모델이 키의 의미 (세맨틱) 에 집중하게 합니다.

3. 데이터 증강: 키 순서 셔플링 (Key-Order Shuffling):

   • 학습 시 각 중첩 수준에서 키의 순서를 무작위로 섞습니다.
   • 이는 모델이 키의 인위적인 순서를 암기하는 것을 방지하고, 실제 데이터 간의 인과적 관계를 학습하도록 정규화 (regularization) 역할을 합니다.

4. 듀얼 헤드 아키텍처 (Dual-Head Architecture):

   • 이산형 헤드 (Discrete Head): 구조 토큰, 키, 범주형 값을 예측합니다.
   • 연속형 헤드 (Continuous Head): 수치형 값을 예측하기 위해 **가우스 혼합 모델 (Mixture of Gaussians, MoG)**을 사용합니다. 이는 수치 데이터를 이산화하거나 원-핫 인코딩하지 않고도 정밀하게 모델링할 수 있게 합니다.

5. 제약 조건 (Constraints):

   • 문법 제약 (Grammar Constraints): 푸시다운 오토마타 (PDA) 를 사용하여 생성된 JSON 이 문법적으로 유효하도록 보장합니다.
   • 스키마 제약 (Schema Constraints): 학습 데이터에서 도출된 JSON Schema 를 기반으로 허용되는 키, 타입, 값 범위를 강제하여 생성된 데이터가 스키마를 준수하도록 합니다.

---

3. 주요 기여 (Key Contributions)

1. 최초의 엔드 - 투 - 엔드 반구조화 데이터 합성 아키텍처: 평탄화나 결측치 대체 없이 중첩, 가변 길이 배열, 희소성, 타입 다형성을 직접 처리하는 최초의 모델입니다.
2. KVPE 및 키 순서 셔플링: 키 순서에 무관한 모델링을 위한 체계적인 메커니즘을 제안하고, 이를 통해 암기 (memorization) 를 방지하는 효과를 입증했습니다.
3. 공정한 평가 방법론: 반구조화 데이터를 표 형식으로 변환하는 표준화된 방법론과, 구조적 결측치와 타입 충실도를 고려한 평가 지표를 제안했습니다.
4. 광범위한 실험 검증: 학술적 표 형식 벤치마크부터 100 만 건 이상의 대규모 반구조화 데이터셋까지 다양한 환경에서 SOTA(State-of-the-Art) 성능을 입증했습니다.

---

4. 실험 결과 (Results)

저자는 5 개의 데이터셋 (Adult, Diabetes, Electric Vehicles, Yelp, DDXPlus) 에서 6 가지 기존 모델 (TVAE, CTGAN, REaLTabFormer, Tabby, TabDiff, TabularARGN) 과 비교 실험을 수행했습니다.

• 정확도 (Fidelity):
  • 밀집된 데이터셋 (Adult, Diabetes) 에서도 기존 최첨단 모델들을 능가하거나 동급의 성능을 보였습니다.
  • **희소성이 높은 데이터셋 (Yelp: 38%, DDXPlus: 35%)**에서 기존 모델들은 대부분 메모리 부족 (OOM) 으로 실패하거나 성능이 급격히 저하된 반면, origami 는 높은 충실도를 유지했습니다.
• 유용성 (Utility):
  • 합성 데이터로 학습된 분류기 (TSTR) 가 실제 데이터로 테스트했을 때의 성능이 가장 높았습니다.
  • 특히 Electric Vehicles(11% 희소성) 와 DDXPlus(100 만 건 이상) 에서 다른 모델들을 압도했습니다.
• 탐지 (Detection):
  • 생성된 데이터가 실제 데이터와 구별되지 않도록 하는 능력 (Detection Score) 에서 가장 우수한 성능을 보였습니다.
  • TabDiff 와 같은 확산 모델은 희소성이 높은 데이터에서 실제 데이터와 쉽게 구별되는 패턴을 생성했습니다.
• 개인정보 보호 (Privacy):
  • 학습 데이터를 암기하는 정도를 측정하는 DCR(Distance to Closest Record) 지표에서 97% 이상의 높은 점수를 기록하여 개인정보 보호 측면에서도 우수함을 입증했습니다.
• 효율성:
  • origami 는 약 170 만 개의 파라미터로, 비교 대상 중 가장 작은 모델 (REaLTabFormer는 5940 만 개) 이면서도 더 빠른 학습 시간을 보였습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 합성 데이터 생성 분야에서 중요한 전환점을 제시합니다.

1. 현대 데이터 시스템에 대한 적합성: 문서 데이터베이스와 API 기반 시스템이 보편화된 현재, JSON 과 같은 반구조화 데이터를 직접 처리할 수 있는 모델의 필요성을 충족시킵니다.
2. 평탄화의 폐해 해소: 데이터를 표 형식으로 변환하는 과정에서 발생하는 정보 손실과 차원의 저주를 근본적으로 해결했습니다.
3. 확장성: 100 만 건 이상의 대규모 데이터셋에서도 안정적으로 작동하며, 메모리 효율성이 뛰어납니다.
4. 미래 적용 가능성: 단순한 데이터 생성을 넘어, 조건부 샘플링, 데이터 결측치 보정, 쿼리 최적화를 위한 카디널리티 추정, 이상치 탐지 등 다양한 데이터 과학 작업에 활용 가능한 밀도 추정기 (density estimator) 로서의 가능성을 열었습니다.

결론적으로 origami는 희소하고 복잡한 구조를 가진 현대 데이터의 특성을 가장 잘 반영하며, 기존 방법론의 한계를 극복한 차세대 합성 데이터 생성 솔루션입니다.