🤖 machine learning

A Unified Framework for Tabular Generative Modeling: Loss Functions, Benchmarks, and Improved Multi-objective Bayesian Optimization Approaches

본 논문은 데이터 충실도를 향상시키기 위해 상관관계 및 분포를 인식하는 새로운 손실 함수를 도입하는 표본 생성 모델링을 위한 통합 프레임워크를 제시하고, 우수한 하이퍼파라미터 조정을 위한 반복적 목적 함수 정제 베이지안 최적화 (IORBO) 전략을 제안하며, 이 두 가지 진전을 20 개 실세계 데이터셋에 걸친 포괄적인 벤치마크를 통해 검증한다.

원저자: Minh H. Vu, Daniel Edler, Carl Wibom, Tommy Löfstedt, Beatrice Melin, Martin Rosvall

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minh H. Vu, Daniel Edler, Carl Wibom, Tommy Löfstedt, Beatrice Melin, Martin Rosvall

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

실제 세계의 데이터—예를 들어 환자 기록, 신용 이력, 고객 습관 등—가 담긴 거대하고 지저분한 스프레드시트가 있다고 상상해 보세요. 이 데이터는 가치가 있지만, 개인 정보가 포함되어 있어 공유하는 것은 위험합니다. 연구자들이 실제 개인 데이터를 한 번도 보지 않고 새로운 아이디어를 테스트할 수 있도록, 실제 데이터와 외관과 동작이 정확히 동일한 가짜 스프레드시트를 만들고 싶어 합니다.

이 논문은 이러한 가짜 스프레드시트 생성을 획기적으로 개선하는 통합 프레임워크(완전한 툴킷) 를 제시합니다. 저자들은 현재 사용 중인 도구들이 서툰 요리사들과 같다고 주장합니다. 재료는 복사할 수 있지만, 레시피를 자주 망쳐서 맛이 없거나 조리할 때 깨지는 가짜 데이터를 만들어 낸다는 것입니다.

다음은 이 새로운 툴킷이 세 가지 주요 재료를 통해 문제를 어떻게 해결하는지 설명한 것입니다:

1. "맛보기" 레시피 (새로운 손실 함수)

머신러닝에서 "손실 함수"는 컴퓨터가 만든 가짜 데이터가 얼마나 나쁜지 점수판처럼 알려주는 것입니다. 보통 컴퓨터는 단순히 숫자가 실제 데이터와 비슷해지도록만 노력합니다.

저자들은 이것이 충분하지 않다고 깨달았습니다. 실제 데이터에는 숨겨진 관계가 존재합니다. 예를 들어, 건강 데이터셋에서는 "나이"와 "혈압"이 서로 연결되어 있을 수 있습니다. 만약 가짜 데이터에서 나이 많은 사람들이 낮은 혈압을 가지고, 젊은 사람들이 높은 혈압을 가진다면, 숫자가 비슷해 보일지라도 관계는 깨진 것입니다.

비유: 복잡한 오케스트라 녹음을 재현해 보려고 한다고 상상해 보세요. 표준 도구는 바이올린과 드럼의 음량이 원본과 일치하도록만 할 수 있습니다. 하지만 바이올린이 연주되는 동안 드럼이 침묵한다면 (리듬이 깨진다면), 음악은 잘못 들립니다.
해결책: 저자들은 점수판에 특별한 "상관관계 및 분포 인식" 규칙을 추가했습니다. 이 규칙은 컴퓨터가 두 가지를 확인하도록 강제합니다:
1. 리듬 (상관관계): 변수들이 실제 데이터에서 그랬던 것처럼 여전히 함께 춤을 추고 있나요?
2. 모양 (분포): 데이터의 전체적인 모양 (최고점, 최저점, 평균) 이 원본과 일치하나요?
결과: 이 새로운 규칙으로 생성된 가짜 데이터는 훨씬 더 "신실"합니다. 변수 간의 비밀스러운 관계를 보존하여 실제 데이터를 훨씬 더 잘 대체할 수 있게 됩니다.

2. "공정한 심사위원" (반복적 목적 함수 정제 베이지안 최적화)

컴퓨터가 가짜 데이터 생성을 시작하면, 최상의 결과를 얻기 위해 설정 (하이퍼파라미터) 을 조정해야 합니다. 보통은 여러 가지 지표를 사용하여 데이터를 평가합니다. 어떤 지표는 숫자가 얼마나 가까운지 측정합니다 (수학 시험처럼), 다른 지표는 가짜 데이터에서 머신러닝 모델이 얼마나 잘 수행하는지 측정합니다 (운전 시험처럼).

문제: 수학 점수 (0~~100) 와 운전 점수 (0~~1) 를 비교하는 것은 "사과와 오렌지"를 더하려는 것과 같습니다. 표준 방법들은 종종 이를 단순히 평균내는데, 이는 오해의 소지가 있습니다. 한 지표가 매우 크고 다른 지표가 매우 작다면, 작은 지표는 무시당하게 됩니다.
비유: 노래, 춤, 코미디를 평가하는 심사위원들이 있는 오디션 프로그램을 상상해 보세요. 점수를 단순히 더한다면, 노래에 100 점을 주는 심사위원이 코미디에 10 점을 주는 심사위원의 평가를 압도할 수 있습니다. "누가 최고의 가수인가? 누가 최고의 댄서인가?"라고 묻고 참가자들을 공정하게 순위 매길 방법이 필요합니다.
해결책: 저자들은 IORBO라는 새로운 방법을 만들었습니다. 점수를 직접 더하는 대신, 순위를 매깁니다. "지금까지 본 모든 시도 중에서 노래를 가장 잘한 것은 무엇인가? 춤을 가장 잘한 것은 무엇인가?"라고 묻습니다. 그런 다음 이러한 순위 기반으로 컴퓨터 설정을 업데이트합니다.
결과: 이 방법은 표준 방법들보다 더 빠르고 신뢰성 있게 더 나은 설정을 찾으며, 특히 지표들이 서로 다른 유형일 때 효과적입니다.

3. "그랜드 시험" (벤치마킹 프레임워크)

마지막으로, 저자들은 자신의 아이디어가 작동함을 증명하기 위한 거대한 테스트 장소를 구축했습니다. 그들은 한 가지 데이터셋에서만 테스트한 것이 아니라, 20 개의 서로 다른 실제 세계 데이터셋(작은 의료 기록부터 거대한 신용카드 데이터베이스까지) 에서 테스트했으며, 10 개의 기존 AI 모델과 비교했습니다.

비유: 새로운 차를 한 개의 매끄러운 트랙에서만 테스트하는 대신, 그들은 20 개의 서로 다른 지형—진흙길, 얼어붙은 고속도로, 가파른 언덕—에서 운전했습니다. 또한 10 개의 다른 인기 있는 차 모델과 비교했습니다.
결과: 그들의 새로운 "레시피"(손실 함수) 와 "공정한 심사위원"(IORBO) 은 다른 모델들을 일관되게 능가했습니다. 그들이 생성한 가짜 데이터는 다른 AI 프로그램이 학습하는 데 더 효과적이었습니다 (이 작업을 "TSTR" 또는 Train-Synthetic-Test-Real 이라고 함), 그리고 실제 데이터와 혼합되었을 때 모델을 개선하는 데에도 더 효과적이었습니다 (증강).

요약

이 논문은 좋은 가짜 데이터를 만들기 위해서는 단순히 숫자를 고립적으로 바라볼 수 없다고 주장합니다. 다음을 갖춘 시스템이 필요합니다:

변수 간의 관계를 존중하는 것 (새로운 손실 함수).
시스템을 조정할 때 서로 다른 유형의 성공을 공정하게 대우하는 것 (새로운 최적화 방법).
다양한 시나리오에 걸쳐 엄격하게 테스트하는 것 (벤치마크).

이 세 가지 요소를 하나의 통합 프레임워크로 결합함으로써, 그들은 실제 개인 데이터를 공유할 필요 없이 실제와 같은 행동을 하는 합성 표제 데이터를 생성하는 더 신뢰할 수 있는 방법을 만들었습니다.

기술적 요약: 표형 생성 모델링을 위한 통합 프레임워크

문제 제기

심층 생성 모델 (DGM) 은 이미지 및 텍스트와 같은 구조화된 데이터 합성에서 상당한 성과를 거두었습니다. 그러나 표형 데이터에 대한 적용은 다른 도메인에서 기법을 직접 전이하는 것을 방해하는 고유한 과제에 직면해 있습니다. 표형 데이터는 연속형 및 이산형 변수가 혼합되어 있고, 복잡한 비선형 상호작용, 클래스 불균형, 그리고 정교한 통계적 의존성을 특징으로 합니다.

현재 접근 방식은 모델링 수명 주기 전반에 걸쳐 세 가지 주요 한계를 겪고 있습니다:

학습: 기존 DGM 은 종종 특징 간 상관관계와 주변 분포를 보존하지 못하며, 특히 데이터가 제한된 환경에서는 평균과 분산과 같은 기본 통계를 근사하는 데 실패하기도 합니다. 이들은 종종 주요 통계를 명시적으로 강제하지 않는 안내되지 않은 가능도 (likelihood) 나 적대적 목적 함수에 의존합니다.
하이퍼파라미터 튜닝: 표준 베이지안 최적화 (SBO) 는 다목적 집계에서 어려움을 겪습니다. 서로 다른 단위와 척도를 가진 이질적인 지표 (예: 분류 정확도 및 회귀 오차) 를 단순 평균으로 결합하는 것은 종종 최적이지 않은 파라미터 선택으로 이어집니다.
평가: 엄격한 평가는 여전히 파편화되어 있습니다. 기존 방법들은 종종 좁은 지표 하위 집합에 초점을 맞추어 다양한 데이터셋에 걸친 모델 성능을 평가하기 어렵게 만들고, 개선이 진정한 것인지 아니면 선택적 테스트의 산물인지를 모호하게 만듭니다.

이러한 상호 연결된 과제를 해결하기 위해 학습, 하이퍼파라미터 튜닝, 평가를 통합하는 통합 프레임워크가 부족합니다.

방법론

저자들은 세 가지 핵심 구성 요소로 구성된 통합 프레임워크를 제안합니다:

1. 상관관계 및 분포 인식 손실 함수

DGM 이 통계적 의존성을 포착하지 못하는 문제를 해결하기 위해, 저자들은 보조 정규화 항으로 설계된 새로운 손실 함수를 도입합니다. 이는 두 부분으로 구성됩니다:

상관관계 인식 손실 ( $L_{correlation}$ ): 이 항은 실제 데이터와 생성된 데이터의 샘플 상관관계 행렬 간의 제곱 차이를 최소화합니다. 이는 전체 공분산 행렬 추정의 계산 비용을 피하면서도 쌍별 의존성을 포착하기 위해 분산 기반 통계 (대각 공분산) 를 활용합니다.
분포 인식 손실 ( $L_{distribution}$ ): 이 항은 통계적 모멘트 (1 차 원시 모멘트, 2 차 중심 모멘트, 그리고 $H$ 차까지의 표준화된 고차 모멘트) 를 일치시킴으로써 합성 데이터 분포를 실제 데이터 분포와 정렬합니다. 거리 기반 지표 (예: Wasserstein) 와 달리, 이 접근 방식은 계산 효율성과 안정성을 위해 모멘트 매칭을 사용합니다. 이는 모멘트를 정규화함으로써 연속형 및 이산형 변수를 균일하게 처리합니다.

이러한 손실 함수는 세 가지 DGM 아키텍처의 주요 목적 함수에 통합됩니다:

GAN: 생성기의 손실에 추가됩니다.
VAE (특히 TVAE): 재구성 손실 및 KL 발산 손실에 추가됩니다.
확산 모델 (TabDDPM): 연속형 및 이산형 특징을 별도로 처리하도록 적응되었으며, 이산형 특징 상관관계 및 연속형 특징 노이즈 분포에 대한 특정 항을 포함합니다.

이론적 보장: 이 논문은 이러한 손실 함수의 기울기가 서 - 가우시안 (sub-Gaussian) 꼬리 가정 하에서 유계임을 입증하는 이론적 분석을 제공하여, 확률적 최적화 중 안정성을 보장합니다.

2. 반복적 목적 함수 정제 베이지안 최적화 (IORBO)

하이퍼파라미터 튜닝에서 이질적인 지표를 집계하는 과제를 해결하기 위해, 저자들은 IORBO를 제안합니다.

메커니즘: 고정된 집계 함수에 기반하여 각 샘플에 대해 정적인 목적 함수 값을 계산하는 SBO 와 달리, IORBO 는 순위 기반 집계 전략을 사용합니다.
프로세스: 각 반복 $p$ 에서, 그 시점까지 평가된 모든 샘플에 대한 성능 순위 기반에 따라 $u \le p$ 인 샘플 $u$ 의 목적 함수 값이 업데이트됩니다. 대용량 모델은 이러한 수정된 순위로 다시 적합됩니다.
이점: 이 반복적 정제를 통해 최적화 과정은 더 많은 데이터가 수집됨에 따라 하이퍼파라미터 구성의 상대적 순위를 동적으로 조정할 수 있으며, 서로 다른 단위나 척도를 가진 지표로 인한 편향을 완화합니다.

3. 포괄적 벤치마킹 프레임워크

저자들은 엄격한 평가 파이프라인을 수립합니다:

데이터셋: 회귀, 이진 분류, 다중 클래스 분류 작업을 포괄하는 768 행에서 약 277k 행까지 크기가 다양한 20 개의 실제 세계 표형 데이터셋.
베이스라인: CTGAN, TVAE, TabDDPM, CopulaGAN 등을 포함한 10 개의 확립된 표형 DGM.
평가 지표:
- 통계적 유사성: 분포 매칭을 위한 KL 발산, 피어슨 카이제곱, 콜모고로프 - 스미르노프 검정, 그리고 차원별 확률 (DWP); 상관관계를 위한 피어슨 및 크라메르 V.
- ML 성능 (TSTR): 합성 데이터로 훈련된 모델을 실제 데이터로 테스트하는 Train-Synthetic-Test-Real.
- ML 성능 (증강): 실제 데이터와 합성 데이터의 혼합으로 훈련된 모델을 실제 데이터만으로 훈련된 모델과 비교.
통계적 분석: 모델 및 데이터셋 전반에 걸친 통계적 유의성을 결정하기 위해 Friedman 검정 및 Nemenyi 사후 검정 사용.

주요 기여

새로운 손실 함수: DGM 을 위한 정규화제로 작용하는 상관관계 및 분포 인식 손실 함수로, 합성 표형 데이터의 충실도와 하류 ML 성능을 크게 향상시킵니다.
IORBO 알고리즘: 표준 베이지안 최적화보다 이질적인 평가 지표를 더 강력하게 처리하기 위해 반복적 순위 기반 정제를 사용하는 새로운 다목적 최적화 전략.
통합 벤치마킹 프레임워크: 포괄적인 통계 및 ML 성능 지표를 사용하여 20 개의 데이터셋에서 10 개의 DGM 을 평가하는 오픈소스 프레임워크로, 향후 연구를 위한 표준화된 프로토콜을 제공합니다.

결과

이 프레임워크는 광범위한 실험을 통해 검증되었습니다:

손실 함수 성능: 제안된 손실 함수는 TSTR(승률: 0.611) 및 증강(승률: 0.551) 작업에서 일반 손실 함수를 크게 능가했습니다. 통계적 유사성 지표는 혼합된 결과를 보였으며 (종종 일반 손실과 통계적으로 구별되지 않음), 하류 ML 유틸리티는 일관되게 향상되었습니다.
- CTGAN, CopulaGAN, DP-CGANS 와 같은 모델은 매우 유의미한 향상을 보였습니다.
- CTAB-GAN 은 예외적으로 제안된 손실로 인해 성능이 통계적으로 유의미하게 감소하여, 해당 아키텍처에 대한 전문적인 튜닝이 필요함을 시사합니다.
최적화 성능: IORBO는 하이퍼파라미터 선택에서 평균 또는 중앙값 집계를 사용하는 SBO 를 일관되게 능가했으며, 각각 0.591 및 0.561 의 승률을 보였습니다. 서로 다른 단위를 가진 지표를 처리하는 데 있어 뛰어난 견고성을 입증했습니다.
애블레이션 연구:
- 상관관계 손실이 가장 영향력 있는 개별 구성 요소로 확인되었습니다.
- 분포 손실은 단독으로는 modest 한 향상을 제공했지만, 상관관계 손실과 결합될 때 중요한 보완적 이점을 제공하여 견고성을 강화했습니다.
- **IORBO 와 전체 손실 함수의 조합 (IOR-CD)**은 높은 승률과 일관된 일반화를 균형 있게 유지하며 전체적으로 가장 좋은 성능을 달성했습니다.
계산 비용: IORBO 는 SBO 에 비해 무시할 수 있는 추가 계산 오버헤드를 발생시켰으며, 반복당 시간은 거의 동일하게 유지되었습니다.

중요성 및 주장

이 논문은 고립된 방법 개선을 넘어 통합 파이프라인으로 이동함으로써 표형 생성 모델링을 발전시킨다고 주장합니다. 학습, 튜닝, 평가를 긴밀하게 결합함으로써, 한 단계의 실패 (예: poor 상관관계 포착) 가 하류 유틸리티를 훼손하는 "연쇄" 문제를 해결합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

충실도 향상: 제안된 손실 함수는 합성 데이터가 근본적인 분포와 상관관계를 충실히 반영하도록 보장하여 더 나은 하류 ML 성능으로 이어집니다.
최적화 개선: IORBO 는 다중 지표 평가에 내재된 복잡한 트레이드오프를 탐색하는 원칙적인 방법을 제공합니다.
평가 표준화: 벤치마킹 프레임워크는 생성 모델을 평가하기 위한 재현 가능하고 도메인 중립적인 도구를 제공하여, 선택적 테스트의 산물과 진정한 발전을 구별하는 데 도움을 줍니다.

이 작업은 표형 데이터를 위한 더 신뢰할 수 있고 효과적인 합성 데이터 생성을 향한 한 걸음으로 제시되며, 추가 연구를 촉진하기 위해 코드가 공개되었습니다. 저자들은 계산적 제약으로 인해 데이터셋 규모 (약 277k 행까지) 에 대한 한계를 지적하지만, 방법론이 특징 및 배치 크기에 선형적으로 확장되므로 향후 작업에서 더 큰 규모에 대한 견고성을 시사한다고 주장합니다.