🤖 machine learning

TabKDE: Simple and Scalable Tabular Data Generation with Kernel Density Estimates

TabKDE는 코풀라 변환과 커널 밀도 추정을 결합하여 합성 표형 데이터를 생성하는 매우 확장 가능하고 효율적인 방법을 도입함으로써, 복잡한 딥러닝 모델과 비교할 수 있는 정확도를 달성하면서도 무시할 수 있을 정도로 짧은 학습 시간과 저장 공간을 요구합니다.

원저자: Meysam Alishahi, Yan Zheng, Junpeng Wang, Chin-Chia Michael Yeh, Jeff M. Phillips

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Meysam Alishahi, Yan Zheng, Junpeng Wang, Chin-Chia Michael Yeh, Jeff M. Phillips

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 민감한 스프레드시트에 실제 고객 데이터 (나이, 급여, 학력, 주택 소유 여부 등) 가 포함되어 있다고 상상해 보세요. 더 나은 소프트웨어를 개발할 수 있도록 연구자나 개발자와 이 데이터를 공유하고 싶지만, 개인 정보가 포함되어 있어 실제 데이터를 공유할 수는 없습니다.

이 스프레드시트와 정확히 똑같이 보이고 작동하지만, 모든 행이 실제로 존재하지 않았던 새로운 가상의 사람으로 구성된 "가짜" 버전을 만들어야 합니다. 이를 **표형 데이터 생성 (Tabular Data Generation)**이라고 합니다.

지난 몇 년간 이를 수행하는 최상의 도구들은 마치 **확산 모델 (Diffusion Models)**이나 VAE와 같은 초정교하고 느리게 움직이는 로봇 팔로 걸작을 그리는 것과 같았습니다. 훌륭한 작품을 만들어내지만, 학습에 수 시간이 걸리고 거대한 슈퍼컴퓨터가 필요하며, 스프레드시트에 수천 개의 서로 다른 카테고리 (예: 수천 개의 다른 우편번호) 가 포함되어 있으면 종종 메모리가 부족해집니다.

이제 이 논문에서 소개된 새로운 방법인 TabKDE가 등장했습니다. 저자들은 훨씬 더 간단하고 빠르며 가벼운 접근 방식을 제안합니다. 일상적인 비유를 통해 작동 원리를 설명해 보겠습니다.

1. "보편적 번역기" (인코딩)

먼저, 논문은 스프레드시트가 지저분하다고 지적합니다. 일부 열은 숫자 (나이) 이고, 일부는 카테고리 (학력: 고등학교, 대학) 이며, 일부는 순서 있는 등급 (등급: A, B, C) 입니다.

기존 방식: 많은 방법들이 모든 카테고리를 0 과 1 의 긴 목록으로 변환하려고 시도합니다 (예: "고등학교"를 001로, "대학"을 010으로 변환). 10,000 개의 카테고리가 있다면 목록은 10,000 개의 숫자로 길어집니다. 이는 마치 도서관을 주머니에 들고 다니려는 것과 같습니다. 너무 무겁고 모든 것을 느리게 만듭니다.
TabKDE 의 방식: 거대한 목록을 만드는 대신 TabKDE 는 **주성분 유도 인코딩 (Principal-Guided Encoding)**이라는 영리한 트릭을 사용합니다. 숫자 데이터 (예: 급여) 의 "분위기"로 만든 자를 상상해 보세요. 이 자는 각 카테고리 (예: "고등학교") 를 숫자와의 일반적인 관계에 따라 자의 특정 위치에 배치합니다. 이제 "고등학교"는 10,000 개의 0 으로 이루어진 목록이 아니라, 선 위의 단일 숫자가 됩니다. 이는 데이터를 컴팩트하게 유지하고 컴퓨터의 메모리 부족을 방지합니다.

2. "점착식 메모 지도" (코풀라 변환)

모든 것이 숫자로 변환되면, 데이터는 여전히 원래의 지저분한 형태를 띠고 있습니다.

비유: 서로 다른 모양의 점토 더미가 있다고 상상해 보세요. 쉽게 작업할 수 있도록 모든 것을 완벽하고 동일한 정사각형으로 평평하게 만들고 싶지만, 조각들 사이의 관계 (예: 두 조각이 붙어 있었다면 붙어 있어야 함) 는 잃지 않고 싶습니다.
TabKDE 의 방식: **코풀라 변환 (Copula Transform)**을 사용합니다. 이는 마치 마법 같은 평평하게 만드는 기계와 같습니다. 열 간의 "점착성" (상관관계) 을 온전하게 유지하면서 각 데이터 열을 0 에서 1 까지의 깔끔하고 표준적인 범위로 밀어 넣습니다. 이제 데이터는 거리를 측정하기 쉬운 깨끗하고 균일한 "단위 정사각형"에 존재합니다.

3. "이웃을 찾는 방랑자" (커널 밀도 추정)

이제 새로운 데이터를 생성하는 마법이 시작됩니다.

기존 방식 (확산): 소음 덩어리에서 시작해 사람처럼 보일 때까지 몇 시간 동안 조각을 천천히 깎아내어 새로운 동상을 조각하는 것을 상상해 보세요. 정밀하지만 매우 느립니다.
TabKDE 의 방식: 모든 실제 사람들이 사는 지도 (학습 데이터) 가 있다고 상상해 보세요. 새로운 사람을 만들 때 처음부터 조각하지 않습니다. 대신 다음을 수행합니다:
1. 지도에서 무작위 실제 사람을 선택합니다.
2. "가장 가까운 이웃은 얼마나 멀리 있나요?"라고 묻습니다 (이를 **최소 레코드까지의 거리 (Distance to Closest Record, DCR)**라고 합니다).
3. 무작위 방향으로 한 걸음을 내딛되, 걸음 크기를 그 전형적인 "이웃 거리"에 맞게 조정합니다.
4. 유효한 지도 경계 (예: 음수 나이) 를 벗어나면, 다시 안쪽으로 작은 걸음을 옮깁니다.
이것이 **커널 밀도 추정 (KDE)**입니다. "새로운 사람들은 보통 옛사람들 근처에 살지만, 그들 위에는 살지 않는다"라고 말하는 것과 같습니다. 복잡한 신경망을 "학습"할 필요가 없고 이웃 간의 평균 거리만 학습하면 되므로 매우 빠릅니다.

4. "주머니 크기의 모델" (코어셋)

일반적으로 데이터셋을 기억하려면 전체를 저장해야 합니다.

TabKDE 의 혁신: 논문은 **코어셋 (Coresets)**을 소개합니다. 거대한 도서관이 있지만 모든 페이지가 아니라 도서관의 이야기만 기억해야 한다고 상상해 보세요. 코어셋은 전체 도서관을 완벽하게 대표하는 작고 가중치가 부여된 점들의 선택집합입니다.
TabKDE 는 정확도를 크게 잃지 않고 모델을 원본 데이터 크기의 아주 작은 부분으로 줄일 수 있습니다 (전체 책 대신 요약본을 저장하는 것과 같음). 이는 다른 시스템이 충돌할 만한 거대한 데이터셋이라도 간단한 노트북에서 실행할 수 있음을 의미합니다.

결과: 빠르고, 정확하며, 사생활이 보호됨

이 논문은 TabKDE 를 TABSYN 및 TabDDPM 과 같은 중량급 모델과 비교합니다:

속도: 다른 방법들은 학습에 수 시간이 걸리고 (때로는 대규모 데이터에서 충돌하기도 함) TabKDE 는 수 초 또는 수 분 만에 학습합니다. 표준 노트북에서 실행할 수 있습니다.
정확도: 생성된 가짜 데이터는 실제 데이터와 통계적으로 거의 동일합니다. 가짜 데이터로 기계 학습 모델을 학습시키면 실제 데이터로 학습한 경우와 동일한 성능을 발휘합니다.
사생활 보호: 목표는 실수로 실제 사람의 정보를 유출하지 않는 가짜 데이터를 만드는 것입니다. 논문은 가짜 데이터가 실제 데이터와 너무 가깝지 않은지 확인함으로써 이를 측정합니다. TabKDE 는 안전한 거리를 유지하여 기존 방법 (예: SMOTE) 의 문제인 실제 행을 단순히 복사하여 붙여넣는 것이 아니라 새로운 패턴을 생성하도록 보장합니다.

요약하자면: TabKDE 는 값비싼 슈퍼컴퓨터나 몇 시간의 대기 시간을 필요로 하지 않도록 영리한 수학 트릭을 사용하여 지저분하고 개인적인 스프레드시트를 깨끗하고 가짜이지만 통계적으로 완벽한 버전으로 변환하는 "간단하고 확장 가능한" 도구입니다.

기술 요약: TabKDE

문제 정의

표 형식 데이터 생성은 기존 레코드를 단순히 복사하지 않으면서 수치형, 범주형, 서열형 특징을 포함한 원본 데이터셋의 통계적 분포를 복제하는 합성 행을 생성하는 것을 목표로 합니다. 최근 생성 모델링 (예: VAE, GAN, 확산 모델) 의 발전은 유망한 결과를 보여주었으나, 종종 다음과 같은 중대한 한계에 직면합니다:

확장성: 범주형 특징에 대한 원-핫 인코딩에 의존하는 방법은 차원 폭발을 일으켜 많은 범주를 가진 데이터셋 (예: 약 37 만 개의 범주를 가진 IBM 데이터셋) 에서 메모리 고갈을 초래합니다.
효율성: 확산 모델이나 VAE 와 같은 복잡한 모델을 학습하는 것은 계산 비용이 매우 많이 들며, 종종 수 시간에서 수 일이 소요되고 특수한 GPU 하드웨어를 필요로 합니다.
개인정보 보호: SMOTE 와 같은 일부 비모수적 방법은 훈련 데이터 포인트를 부주의하게 너무 밀접하게 복제하여 데이터 유출 위험을 초래할 수 있습니다.
해석 가능성: 딥러닝 모델의 잠재 공간 변환은 종종 원본 특징과 생성된 샘플 간의 관계를 모호하게 만듭니다.

방법론: TabKDE

저자들은 딥러닝 학습을 전혀 수행하지 않는 확장 가능하고 비모수적인 접근법인 TabKDE를 제안합니다. 이 방법은 표 형식 데이터에 적용되는 3 단계 패러다임을 따릅니다:

1. 인코딩 ( $T \to E$ )

이 방법은 원본 열과 잠재 차원 간의 1:1 매핑을 유지하면서 (차원 폭발 방지) 모든 특징을 통일된 수치 형식으로 변환합니다.

수치형 및 서열형: 수치형 특징은 z-점수 정규화를 거치고, 서열형 특징은 순위 순서를 보존하도록 정수로 매핑됩니다.
범주형 (주성분 유도 인코딩 - PGE): 원-핫 인코딩 대신, PGE 는 각 범주 카테고리를 단일 스칼라 값으로 매핑합니다. 이는 다음 단계를 통해 달성됩니다:
1. 수치형 특징의 첫 번째 주성분 (PC1) 을 계산합니다.
2. 모든 데이터를 이 PC1 방향으로 투영합니다.
3. 해당 카테고리를 포함하는 행들의 평균 PC1 점수와 동일한 값을 각 카테고리에 할당합니다.
  이는 차원을 증가시키지 않으면서 범주형과 수치형 특징 간의 의존성을 보존합니다.

2. 코풀라 변환 ( $E \to Z$ )

인코딩된 데이터는 코풀라 변환을 사용하여 연속적인 잠재 공간 $Z \subset [0, 1]^d$ 로 매핑됩니다.

각 특징 $j$ 에 대해 경험적 누적 분포 함수 (CDF) $F_j$ 를 구성합니다.
각 데이터 포인트의 값을 $Z_{i,j} = F_j(E_{i,j})$ 로 변환하여 각 한계분포에 대해 $[0, 1]$ 구간에서 균일 분포를 얻습니다.
이 단계는 한계 분포를 의존성 구조와 분리하고 데이터를 단위 초입방체로 정규화합니다.
특징 상관관계를 포착하기 위해 $Z$ 의 표본 공분산 $\Sigma$ 를 계산합니다.

3. KDE 를 통한 생성 모델링

합성 샘플은 두 가지 주요 학습된 분포에 의해 안내되는 잠재 공간에서 커널 밀도 추정 (KDE) 을 사용하여 생성됩니다:

가장 가까운 레코드까지의 거리 (DCR): 이 방법은 훈련 세트에서 데이터 포인트와 그 가장 가까운 이웃 간의 거리 분포를 학습합니다. 가우시안 혼합으로 모델링된 이 분포는 새로운 샘플의 "반경"을 결정하여 특정 점을 암기하지 않고 데이터의 자연스러운 간격을 반영하도록 보장합니다.
샘플링 과정:
1. $Z$ 의 훈련 데이터에서 무작위 시드 점 $z_i$ 를 선택합니다.
2. 학습된 DCR 분포에서 반경 $r$ 을 샘플링합니다.
3. 공분산 $\Sigma$ 에 비례하는 방향 벡터 $u$ 를 샘플링합니다.
4. 후보 점 $z' = z_i + r \cdot u$ 를 생성합니다.
5. 경계 보정: $z'$ 가 단위 초입방체 $[0, 1]^d$ 밖으로 떨어지는 경우, 반복적 거부 샘플링 휴리스틱이 범위를 벗어난 좌표를 조정하여 유효성을 보장합니다.
디코딩: 유효한 잠재 점은 코풀라 변환과 인코딩 맵을 통해 역전되어 원본 표 형식 형식으로 반환됩니다.

효율성을 위한 코어셋

저자들은 KDE 를 근사하기 위해 전체 데이터셋을 대신하여 작은 가중치 하위 집합 (코어셋) 으로 대체하는 CORETABKDE와 RANDCORETABKDE를 도입합니다. 이는 정확도를 유지하면서 저장 요구 사항과 모델 크기를 크게 줄입니다.

주요 기여

확장성: TabKDE 는 원-핫 인코딩으로 인한 메모리 제약으로 인해 최첨단 확산 방법 (TABSYN 등) 이 실패하는 표준 소비자 노트북에서 고차원 범주형 특징 (예: 37 만 개 범주) 을 가진 데이터셋을 처리합니다.
효율성: 이 방법은 반복적인 신경망 최적화 대신 고전적인 통계 도구 (코풀라, KDE) 를 사용하여 확산 또는 VAE 기반 모델 학습에 필요한 수 시간에 비해 거의 학습 시간이 필요하지 않습니다 (수 초에서 수 분).
개인정보 보호: DCR 분포를 사용하여 교란 반경을 보정하고 훈련 점을 직접 복제하지 않음으로써 TabKDE 는 데이터 유출을 완화합니다. 이는 훈련 데이터의 근사 중복 생성 방지에서 SMOTE 보다 훨씬 우수한 성능을 보입니다.
해석 가능성: 특징당 1 차원 인코딩은 각 원본 열이 전체 과정에서 특정 좌표에 대응되도록 하여 모델의 해석 가능성을 향상시킵니다.
코어셋 통합: 이 논문은 컴팩트한 모델 저장을 가능하게 하는 생성적 표 형식 데이터 모델링을 위한 코어셋의 첫 번째 적용 사례를 제시합니다.

실험 결과

저자들은 SMOTE, GReaT, CoDi, TabDDPM, TABSYN, TABDIFF 를 포함한 베이스라인과 비교하여 6 개의 UCI 데이터셋과 대규모 IBM 신용카드 사기 데이터셋에서 TabKDE 를 평가했습니다.

정확도:
- 한계 정렬: TabKDE 는 평균 한계 정렬 오차 (데이터셋 평균) 가 1.70으로, 최첨단 TABSYN(1.42) 과 거의 일치하며 SMOTE(2.49) 와 TabDDPM(14.52) 보다 훨씬 뛰어납니다.
- 쌍별 상관관계: TabKDE 는 강한 상관관계 정렬 (평균 오차 4.67) 을 보여주어 SMOTE 와 유사하고 대부분의 확산 모델보다 훨씬 좋지만 TABSYN(2.21) 보다는 약간 높습니다.
- 전역 분포 (C2ST): TabKDE 는 분류기가 합성 데이터와 실제 데이터를 구별하는 데 어려움을 겪음을 나타내는 분류기 두 표본 테스트 (C2ST) 점수 0.938을 달성했으며, 이는 SMOTE(0.933) 와 유사하고 TABSYN(0.970) 보다는 약간 낮습니다.
효율성:
- 표준 노트북 CPU 에서 TabKDE 는 평균 약 43 초에 학습하고 약 3 초에 샘플링합니다. 반면 TABSYN 은 약 8.5 시간의 학습 시간이 필요합니다.
- IBM 데이터셋에서 TabKDE 는 (학습 및 샘플링 포함) 20 분 미만에 완료되는 반면, TABSYN 과 SMOTE 는 메모리 부족 (OOM) 으로 실패합니다.
개인정보 보호:
- TabKDE 는 **58.6%**의 가장 가까운 레코드까지의 거리 (DCR) 점수를 달성하여 (SMOTE 의 95.7% 보다 이상적인 50% 에 더 가까움), 합성 점들이 훈련 데이터보다 홀드아웃 데이터에 체계적으로 더 가깝지 않음을 나타냅니다.
- CORETABKDE변형은 정확한 훈련 점을 저장하지 않기 때문에 DCR 점수 **53%**로 개인정보 보호를 더욱 개선합니다.

중요성과 주장

이 논문은 TabKDE 가 정확성이나 개인정보 보호를 희생하지 않으면서 확장성과 효율성을 우선시하는 표 형식 데이터 생성의 새로운 패러다임을 제공한다고 주장합니다. 코풀라 변환과 커널 밀도 추정을 활용함으로써 저자들은 고품질 표 형식 합성을 위해 복잡한 딥러닝 아키텍처가 반드시 필요하지 않음을 입증합니다.

저자들은 TabKDE 가 금융 및 의료와 같이 민감한 데이터에 대한 빠른 반복이 필요한 시나리오에서 특히 중요하다고 강조합니다. 이러한 분야에서는 확산 모델 학습의 계산 비용이 prohibitive(부적절할 정도로 큼) 하고 SMOTE 와 같은 방법의 데이터 유출 위험이 용납될 수 없습니다. 간단한 노트북에서 실행할 수 있고 거대한 범주 공간을 처리할 수 있는 능력은 이 방법을 실제 배포에 접근 가능하고 실용적으로 만듭니다. 또한, 생성 모델링을 위한 코어셋의 도입은 향후 응용 분야에서 저장 및 계산 오버헤드를 줄이기 위한 새로운 메커니즘을 제공합니다.