🤖 machine learning

Generating Benchmark Health Data Using a Tabular Diffusion Transformer

이 논문은 이질적인 원시 테이블을 표준화된 통계적 표현으로 변환하고 디퓨전 트랜스포머를 활용하여 합성 통계 테이블을 생성한 뒤, 이를 다시 현실적인 합성 원시 테이블로 재구성함으로써 교차 테이블 데이터 생성에서의 기존 방법론의 한계를 극복하는 2단계 프레임워크를 제안한다.

원저자: Hao Yan, Lisa Pilgram, Dan Liu, Linglong Kong, Fida Dankar, Khaled El Emam

게시일 2026-08-17

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hao Yan, Lisa Pilgram, Dan Liu, Linglong Kong, Fida Dankar, Khaled El Emam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

위대한 데이터 탐정 게임

당신이 전 세계로 흩어진 수천 개의 서로 다른 범죄 현장을 해결하려는 탐정이라고 상상해 보세요. 어떤 것은 냅킨 위의 지저질한 낙서 같고, 어떤 것은 깔끔한 스프레드시트이며, 어떤 것은 페이지가 통째로 사라지기도 합니다. 컴퓨터 과학의 세계에서 이것은 **합성 데이터 생성(synthetic data generation)**이라는 과제입니다. 과학자들은 실제 데이터와 똑같이 보이고 작동하는 가짜 데이터를 만들고 싶어 합니다. 왜 그럴까요? 실제 데이터에는 공유할 수 없는 개인의 비밀(예: 의료 기록)이 포함되어 있기 때문입니다. 만약 연구자들이 실제 정보를 전혀 보지 않고도 실제와 똑같이 행동하는 '가짜' 데이터를 생성할 수 있다면, 그들은 새로운 AI 도구를 테스트하고 알고리즘을 훈련하며 문제를 해결할 수 있습니다.

이를 위해 컴퓨터는 보통 데이터의 "규칙"을 배우려고 노력합니다. 이것은 마치 요리사가 특정 요리를 재현하려고 노력하는 것과 같습니다. 만약 요리사가 단 한 그릇의 특정 수프만을 맛본다면, 그는 그 특정 그릇을 완벽하게 만드는 법은 배울 수 있겠지만, 여전히 '수프 같은 맛'이 나는 새로운 그릇을 만드는 법은 알지 못할 것입니다. 오늘날 대부분의 컴퓨터 요리사들은 한 번에 한 그릇씩 만드는 데 갇혀 있습니다. 그들은 수천 가지의 다양한 수프, 스튜, 소스를 한꺼번에 배우도록 요청받았을 때 어려움을 겪습니다. 여기서 새로운 연구가 등장합니다. 이 연구는 컴퓨터가 수천 가지의 서로 다른 레시피를 맛보고, 존재한 적 없는 새롭고 맛있는 요리를 발명할 수 있는 마스터 셰프가 되도록 가르치는 것을 목표로 합니다.

논문: 수천 가지 레시피로 컴퓨터에게 요리 가르치기

이 논문에서 캐나다와 독일의 연구진은 방대한 양의 서로 다른 실제 테이블들로부터 현실적이고 가짜인 건강 데이터를 생성하도록 컴퓨터를 가르치는 영리한 2단계 레시피를 소개합니다. 그들은 이 방법을 **교차 테이블 데이터 생성(Cross-Tabular Data Generation, CTDG)**이라고 부릅니다. 모든 데이터 행을 하나하나 암기하려고 하는 대신(이는 도서관의 모든 단어를 외우려는 것과 같습니다), 그들은 컴퓨터가 먼저 데이터의 '풍미 프로필(flavor profile)'을 이해하도록 가르칩니다.

1단계: "풍미 프로필" 변환

연구진이 다루는 첫 번째 문제는 실제 세계의 데이터 테이블들이 제각각이고 무질서하다는 점입니다. 어떤 테이블은 "나이"와 "혈압" 열을 가지고 있고, 다른 테이블은 "키"와 "몸무게"를 가지고 있을 수 있습니다. 형태가 서로 다르다면 컴퓨터는 이들로부터 쉽게 학습할 수 없습니다.

이를 해결하기 위해 연구진은 모든 테이블을 표준화된 "통계적 테이블"로 변환하는 방법을 발명했습니다. 복잡하고 지저분한 그림을 단순한 색상 팔레트 카드로 바꾸는 것을 상상해 보세요.

주변부 레시피 (The Marginal Recipe): 모든 열(예: "나이")에 대해, 실제 숫자를 유지하는 대신 분포의 형태를 파악합니다. 종 모양인가요? 한쪽으로 치우쳐 있나요? 그들은 **베타-이항 분포(Beta-Binomial distribution)**라는 수학적 도구를 사용하여 세 개의 숫자, 즉 두 개의 형상 매개변수( $\alpha$ 와 $\beta$ )와 고유 범주 수(cardinality)를 통해 이 형태를 포착합니다. 또한 해당 열에 결측치(빈 칸)가 얼마나 존재하는지도 기록합니다.
관계 지도 (The Relationship Map): 데이터 열들은 종종 서로 의존합니다(예: 키가 큰 사람은 몸무게도 많이 나가는 경향이 있음). 이를 포착하기 위해, 연구진은 열들이 서로 어떻게 연관되어 있는지 계산합니다. 거대하고 지저질한 숫자 격자를 유지하는 대신, 그들은 **고윳값 분해(eigen-decomposition)**라는 수학적 기법을 사용하여 이 관계 지도를 고정된 크기의 벡터로 압축합니다.

그 결과는 무엇일까요? 원래의 형태가 얼마나 달랐든 상관없이, 모든 테이블은 깔끔하고 균일한 숫자 목록으로 변환됩니다. 이는 천 가지의 서로 다른 언어를 컴퓨터가 읽을 수 있는 하나의 유니버설 코드로 바꾸는 것과 같습니다.

2단계: 디퓨전 트랜스포머 셰프

모든 테이블이 이러한 균일한 "통계적 테이블"로 변환되면, 연구진은 **Tabular Diffusion Transformer (TDT)**라고 불리는 특별한 AI 모델을 훈련시킵니다.

이 모델을 노이즈 덩어리(무작위 정적 상태)에서 시작하여 조금씩 깎아내어 조각상을 드러내는 조각가라고 생각하세요. AI의 세계에서 이것을 **디퓨전 모델(diffusion model)**이라고 부릅나다. 모델은 무작위 노이즈를 가져와서 그것이 학습했던 것과 유사한 현실적인 "통계적 테이블"로 점진적으로 변형하는 법을 배웁니다.

훈련 (Training): 모델은 먼저 일반적인 패턴을 배우기 위해 4,095개의 일반 데이터셋(경제, 게임, 공학 등)을 바탕으로 "사전 훈련(pre-trained)"되었습니다. 그 후, 의료 데이터의 특정 "풍미"를 배우기 위해 144개의 건강 관련 데이터셋에 대해 "미세 조정(fine-tuning)"되었습니다.
생성 (Generation): 훈련이 완료되면, 모델은 새로운 통계적 테이블을 생성할 수 있습니다. 이것은 단순히 복사본이 아니라, 모델이 학습한 패턴들의 새로운 조합입니다.
재구성 (Reconstruction): 마지막으로, 컴퓨터는 이 새로운 통계적 테이블을 가져와 과정을 역순으로 수행합니다. 숫자를 사용하여 새로운 데이터 포인트를 샘플링함으로써, 실제 건강 데이터처럼 보이고 작동하는 가짜 원시 테이블을 효과적으로 "재구성"합니다.

연구 결과

연구진은 이 방법이 실제로 작동하는지 확인하기 위해 엄격하게 테스트를 진행했습니다.

1. 재구성 테스트 (The Reconstruction Test):
먼저, 실제 테이블을 통계적 테이블로 바꾼 뒤 다시 원시 테이블으로 되돌렸을 때 데이터의 "영혼"을 잃지 않는지 확인했습니다. 연구진은 원래 데이터와 재구성된 데이터 사이의 차이를 측정하기 위해 **차원 정규화 와서스테인 거리(dimension-Normalized Wasserstein Distance, dNWD)**라는 지표를 사용했습니다.

결과: 평균 차이는 0.095(표준 편차 0.061)로 매우 작았습니다. 대부분의 데이터셋은 0.2 미만의 점수를 기록했습니다.
교훈: 이는 통계적 테이블이 원래 데이터의 매우 충실한 표현임을 시사합니다. 컴퓨터는 단순히 추측한 것이 아니라, 본질적인 구조를 포착해 냈습니다.

2. "절제" 테스트 (관계 정보를 생략한다면?):
열 사이의 관계를 이해하는 것이 얼마나 중요한지 증명하기 위해, 연구진은 관계 데이터를 제거한 두 가지 실험을 수행했습니다.

시나리오 A (관계 없음): 모든 열이 독립적이라고 가정했습니다(주사위를 던지는 것처럼). 오차는 0.304로 급증했습니다. 데이터는 괜찮아 보였지만, 연결 고리가 끊어져 있었습니다.
시나리오 B (무작위 관계): 임의로 만들어진 가짜 관계를 제공했습니다. 오차는 0.636으로 폭발했으며, 데이터는 엉망이 되었습니다.
결론: 이 논문은 열을 개별적으로 보는 것만으로는 부족하다는 점을 명시적으로 입증합니다. 좋은 결과를 얻으려면 반드시 열들이 서로 어떻게 연관되는지를 포착해야 합니다.

3. 도메인 테스트 (건강을 배웠는가, 아니면 그냥 노이즈인가?):
연구진은 2,000개의 새로운 합성 건강 테이블을 생성하여 건강, 경제, 통계, 공학, 금융, 게임 분야의 실제 테이블과 비교했습니다. 그들은 **최근접 와서스테인 거리(Closest Wasserstein Distance, CWD)**를 사용하여 생성된 가짜 데이터가 어떤 실제 도메인과 가장 유사한지 확인했습니다.

결과: 합성 건강 테이블은 평균 CWD 0.72로 실제 건강 데이터와 가장 가까웠습니다.
비교: 다른 도메인과는 훨씬 멀었습니다: 경제(0.97), 통계(0.98), 공학(1.35), 금융(1.55), 게임(1.75).
증거: 통계적 검증 결과, 합성 데이터는 다른 유형의 데이터보다 실제 건강 데이터에 유의미하게 더 가깝다는 것이 확인되었습니다. 모델은 단순히 훈련 세트를 암기한 것이 아니라, 밑바탕에 깔린 "건강" 패턴을 학습했습니다.

4. 다양성 테스트 (The Diversity Test):
마지막으로, 연구진은 "모델이 똑같은 테이블 몇 개를 계속 복사하고 있는 것은 아닌가?"라고 물었습니다. 그들은 합성된 테이블들이 얼마나 많은 고유한 실제 테이블들과 가까운지 확인했습니다.

결과: 합성 테이블의 최근접 이웃(nearest neighbors)은 $k=1$ 일 때 실제 테이블의 **77%**를 커버했으며, 상위 10개 이웃을 볼 때는 95% 이상을 커버했습니다.
결론: 모델은 다양합니다. 모델은 루프에 갇혀 있지 않고, 건강 데이터의 전체 지형을 탐색하고 있습니다.

이것이 왜 중요한가

저자들은 이 방법이 벤치마크 데이터셋을 만드는 데 있어 게임 체인저가 될 수 있다고 제안합니다. 현재 연구자들은 새로운 의료 AI 도구를 테스트하기 위한 좋고 다양하며 현실적인 데이터를 찾는 데 어려움을 겪고 있습니다. 이 방법은 실제 환자의 프라이버시를 노출하지 않으면서도 실제 세계의 복잡성을 포착하는 무제한의 현실적인 가짜 건강 데이터셋을 생성할 수 있습니다.

하지만 논문은 이 방법의 한계에 대해서도 주의를 기울였습니다. 이 방법은 최대 256개의 열을 가진 테이블에서 가장 잘 작동합니다. 만약 데이터셋이 거대하고 수천 개의 열을 가지고 있다면, 이 특정 모델은 어려움을 겪을 수 있습니다. 또한, 이 방법은 패턴을 찾기 위해 데이터를 매끄럽게 만들기 때문에, 극단적인 이상치(매우 드물고 특이한 데이터 포인트)는 번역 과정에서 사라질 수 있습니다. 저자들은 만약 연구에 그러한 극단적 이상치가 필요하다면, 이를 수동으로 다시 추가해야 한다고 제안합니다.

요약하자면, 이 논문은 컴퓨터에게 다양한 출처의 데이터를 관통하는 "문법"을 이해하도록 가르치는 방법을 제안하며, 이를 통해 실제 사람들의 비밀을 안전하게 지키면서도 테스트와 훈련에 완벽한 새로운 현실적인 "이야기"(데이터셋)를 써 내려갈 수 있게 해줍니다.

기술 요약: Tabular Diffusion Transformer를 이용한 벤치마크 헬스 데이터 생성

문제 정의

교차-테이블 데이터 생성(Cross-Tabular Data Generation, CTDG)은 여러 개의 이질적인 테이블로부터 생성 모델을 학습하여 새로운 합성 테이블 데이터셋을 생성하는 것을 목표로 한다. 기존의 합성 테이블 데이터 생성(STDG) 방식들은 크게 발전해 왔으나, 주로 단일 입력 테이블 시나리오에 국한되어 있다. 이러한 방식들은 다양한 피처 세트, 컬럼 이름, 데이터 타입을 가진 다수의 이질적인 테이블을 효과적으로 처리하는 데 어려움을 겪는다. 결과적으로, 도메인 전반의 공유된 통계적 특성과 구조적 패턴을 포착할 수 있는 통합 생성 모델을 학습하지 못한다. 이러한 한계는 실제 데이터의 다양성을 반영하는 현실적인 벤치마크 데이터셋을 구축하는 데 걸림돌이 되며, 특히 데이터가 정렬되지 않은 여러 테이블에 분산되어 있는 의료 분야에서 더욱 두드러진다. 현재의 벤치마크 저장소들은 다양성이 부족하거나, 임의의 데이터셋 선택에 의존하거나, 실제 의료 데이터 구조를 반영하지 못하는 가상의 분포를 사용하는 경우가 많다.

방법론

저자들은 이질적인 원시 테이블을 동질적인 표현으로 변환하고, 통합된 분포를 학습하며, 합성된 원시 테이블을 재구성하는 2단계 CTDG 프레임워크를 제안한다.

1단계: 통계적 테이블로의 변환

이질성을 해결하기 위해, 각 실제 원시 테이블( $X_i$ )은 표준화된 "통계적 테이블"로 변환된다. 이 과정은 특정 컬럼 이름과 값을 추상화하고, 생성에 필요한 통계적 속성만을 유지한다:

주변 통계량 (Marginal Statistics):
- 범주형 피처: 고유 요소들을 빈도순으로 정렬하고 정수 인덱스로 매핑한다. 이 인덱스들에 대해 Beta-Binomial 분포를 적합시켜 파라미터 $(\alpha, \beta)$ 와 해당 컬럼의 카디널리티(cardinality)를 얻는다.
- 수치형 피처: 값들을 고정된 수의 구간( $I_N = 100$ )으로 이산화한다. 동일한 정렬, 매핑 및 Beta-Binomial 적합 절차를 적용하여 파라미터 $(\alpha, \beta)$ 와 카디널리티 $I_N$ 을 얻는다.
- 결측치: 각 컬럼의 결측률을 기록한다.
- 결과: 각 컬럼은 튜플 $(\alpha, \beta, \text{cardinality}, \text{missing rate})$ 로 표현된다.
상관 구조 (Correlational Structure):
- 다변량 Beta-Binomial 분포로부터 샘플링하는 것의 계산적 불가능성을 피하면서 의존성을 보존하기 위해, 컬럼들을 확률 적분 변환(probability integral transform)을 통해 정규 분포로 변환한다.
- 변환된 변수들에 대해 쌍별 상관관계를 계산하여 상관 행렬 $\Sigma_i$ 를 형성한다.
- 고유값 분해 (Eigen-decomposition): 테이블 간의 서로 다른 컬럼 수를 처리하기 위해, $\Sigma_i$ 를 $U\Lambda U^\top$ 로 분해한다. 저자들은 고정된 차원 $K=256$ 인 과잉 매개변수화(over-parameterized) 설정을 채택한다. 행렬 $A = U\Lambda^{1/2}$ 는 압축된 표현으로서 역할을 하며, 각 행 벡터 $\mathbf{a}_i$ 는 컬럼의 상관 파라미터에 대응한다.
- 통합 표현: 각 통계적 테이블의 컬럼은 $K+4$ 개의 파라미터 튜플 $(\alpha, \beta, \text{cardinality}, \text{missing rate}, \mathbf{a})$ 로 표현된다.
재구성 (Reconstruction): 회복된 상관 행렬을 사용하여 다변량 가우시안 분포로부터 샘플링하고, 역 확률 적분 변환을 통해 샘ผล을 다시 Beta-Binomial 분포로 매핑하며, 기록된 비율에 따라 결측치를 도입함으로써 원시 테이블을 재구성한다.

2단계: Tabular Diffusion Transformer (TDT)

동질적인 통계적 테이블 집합에 대해 디퓨전 트랜스포머 모델을 학습시켜 이들의 결합 분포를 학습한다.

아키텍처: 모델은 표준 Transformer 인코더를 사용한다. 통계적 테이블의 각 행은 임베딩(문장의 토큰과 유사)으로 취급되며, 테이블 자체는 하나의 시퀀스가 된다.
표준화: 파라미터들이 다양한 스케일(예: 무제한인 $\alpha, \beta$ 대 유계인 상관값)을 가지므로, 모든 테이블에 대해 각 $K+4$ 컬럼에 대해 전역 분위수 변환(global quantile transformation)을 적용하여 표준 정규 분포로 매핑한다.
학습: 모델은 입력된 통계적 테이블에 추가된 노이즈를 재구성하는 것을 학습하는 Denoising Diffusion Probabilistic Model (DDPM) 목적 함수를 따른다.
전략: 사전 학습-미세 조정(pretraining-finetuning) 접근 방식을 사용한다. 모델은 먼저 4,095개의 일반 OpenML 데이터셋에서 다양한 통계적 패턴을 학습하도록 사전 학습된 후, 144개의 의료 관련 데이터셋(131개의 OpenML 헬스 데이터 + 13개의 특정 의료 데이터)에 대해 미세 조정된다.
생성: 학습된 모델은 $T$ -단계 디노이징 과정을 통해 합성 통계적 테이블을 생성한다. 이후 이들은 합성된 원시 테이블로 재구성된다.

주요 기여

교차-테이블 프레임워크: 다수의 이질적인 테이블으로부터 학습을 가능하게 하여 기존 STDG 방식의 단일 테이블 제한을 극복하는 2단계 CTDG 프레임워크를 제안하였다.
통계적 테이블 표현: 이질적인 원시 테이블을 Beta-Binomial 주변 적합 및 상관 행렬의 스펙트럼 분해를 사용하여 동질적인 통계적 테이블로 변환하는 새로운 방법을 제시하여 통합 모델링을 가능하게 하였다.
Tabular Diffusion Transformer: 가변 길이의 통계적 파라미터 시퀀스를 처리하도록 설계된, 테이블 데이터 생성을 위한 디퓨전 트랜스포머 아키텍처의 적응을 이루어냈다.
벤치마크 생성: 현재의 벤치마크 저장소들이 가진 임의의 데이터셋 선택 및 표준화 부족 문제를 해결하기 위해, 현실적인 벤치마크로 사용될 수 있는 1,000개의 합성 헬스 데이터셋(각 10,000행, 10~256개 컬럼)을 생성하였다.

결과

본 연구는 144개의 의료 관련 데이터셋에 대해 차원 정규화 Wasserstein 거리(dNWD)와 최단 Wasserstein 거리(CWD)를 사용하여 프레임워크를 평가한다.

재구성 충실도 (Reconstruction Fidelity):
- 추출된 통계적 표현으로부터 원시 테이블을 재구성했을 때 평균 dNWD는 0.095 (SD 0.061)였다.
- 어블레이션 연구(Ablation studies)를 통해 정확한 상관관계 모델링이 매우 중요함을 확인했다. 상관관계를 제거(항등 행렬 사용)하면 dNWD가 0.304로 증가했고, 무작위 상관관계를 사용하면 0.636까지 증가하여, 제안된 상관 표현이 충실도에 필수적임을 입증했다.
합성-대-실제 평가 (Synthetic-to-Real Evaluation):
- 5-겹 교차 검증을 사용했을 때, 헬스 도메인 미세 조정을 거친 후 생성된 합성 테이블은 다른 도메인(경제: 0.97, 통계: 0.98, 공학: 1.35, 금융: 1.55, 게임: 1.75)보다 실제 헬스 데이터(평균 CWD: 0.72)에 훨씬 더 가까웠다.
- 통계적 검정(Fisher의 방법을 통한 Wilcoxon 부호 순위 검정 결합) 결과, 합성 헬스 테이블이 다른 어떤 도메인보다 실제 헬스 테이블에 유의미하게 더 가깝다는 것이 확인되었다 ( $p < 0.05$ , Holm 보정 후).
- 합성-대-실제 거리 계층 구조는 실제-대-실제 거리 계층 구조를 그대로 반영하였으며, 이는 모델이 도메인 특유의 구조적 특성과 상대적인 교차 도메인 근접성을 보존하고 있음을 나타낸다.
다양성 분석 (Diversity Analysis):
- 다양성은 합성 테이블의 최근접 이웃(nearest neighbors)이 커버하는 고유한 실제 테이블의 비율인 "Top- $k$ Ratio"로 측정되었다.
- $k=1$ 일 때 실제 테이블의 77%가 커버되었고, $k=10$ 일 때 커버리지는 95%를 초과했다. 이는 모델이 모드 붕괴(mode collapse)를 피하고 도메인 전반에 걸쳐 넓게 분포된 테이블을 생성함을 보여준다.

의의 및 주장

본 논문은 제안된 접근 방식이 다수의 이질적인 테이블로부터 통합 생성 모델을 성공적으로 학습하여, 실제 헬스 데이터에 대한 높은 충실도와 의미 있는 다양성을 모두 갖춘 합성 데이터셋을 생성한다고 주장한다. 저자들은 이 방법이 실제 세계의 데이터의 다수성을 반영하는 현실적인 벤치마크 데이터셋을 생성하기 위한 토대를 제공하며, 현재 벤치마크의 임의적인 데이터셋 선택 및 표준화 부족 문제를 해결한다고 강조한다.

개인정보 보호와 관련하여, 저자들은 생성 모델이 개별 레코드가 아닌 집계된 통계적 테이블(분포 및 상관관계)을 기반으로 학습되며, 학습 기록과 생성된 데이터 사이에 일대일 매핑이 존재하지 않기 때문에 멤버십 또는 속성 노출 위험이 완화된다고 언급한다. 생성된 데이터셋은 보호된 의료 정보를 노출하지 않으면서 재현 가능한 벤칭, 시뮬레이션 연구 및 머신러닝 파이프라인 테스트를 지원하기 위해 설계되었다. 저자들은 극단적인 이상치(outliers)의 마스킹 가능성이나 256개의 컬럼 제한과 같은 한계를 인정하면서도, 본 연구가 확장 가능한 도메인 특화 합성 데이터 생성의 중요한 단계라고 위치시킨다.