기술 요약: PLUREL – 합성 데이터가 관계형 파운데이션 모델의 스케일링 법칙을 해제하는 방법

1. 문제 정의

관계형 파운데이션 모델(Relational Foundation Models, RFMs)은 복잡한 다중 테이블 데이터베이스로부터 학습하여 데이터 기반 의사결정을 촉진하는 것을 목표로 한다. 텍스트, 이미지, 비디오를 위한 파운데이션 모델(FMs)은 대규모 사전 학습을 통해 놀라운 성공을 거두었으나, RFM은 결정적인 병목 현상에 직면해 있다: 즉, 다양하고 공개된 다중 테이블 관계형 데이터베이스의 부족이다. 실제 기업 데이터는 개인정보 보호 제약과 비즈니스 기밀성으로 인해 접근이 불가능한 경우가 많다.

기존의 테이블형 데이터 합성 생성 방식은 주로 구조적 인과 모델(Structural Causal Models, SCMs)을 사용하여 단일 테이블 생성을 생성하는 데 집중되어 있다. 그러나 이러한 접근 방식은 관계형 데이터베이스의 핵심적인 복잡성, 구체적으로 서로 다른 테이블 간 행(row) 사이의 기본 키-외래 키(primary–foreign key, P→F) 연결성을 포착하지 못한다. 이러한 연결성은 정보의 국소성(locality)을 결정하며, RFM이 학습해야 하는 결합 데이터 분포를 형성한다. 또한, 기존의 관계형 데이터 생성 기술(예: GAN, 확산 모델)은 종종 새로운 스키마와 구조를 처음부터 생성하기보다는 기존의 실제 사례를 재현하는 데 의존한다. 결과적으로, 현재의 RFM은 제한적이고 다양성이 낮은 데이터셋(예: RelBench의 몇몇 데이터베이스만 사용)으로 훈련되어, 스케일링 법칙의 실현과 견고한 일반화를 저해한다.

2. 방법론: PLUREL 프레임워크

저자들은 처음부터 다중 테이블 관계형 데이터베이스를 합성하도록 설계된 경량 프레임워크인 PLUREL을 소개한다. PLUREL은 관계형 데이터의 구조적 및 통계적 특성을 모델링하기 위해 세 가지 단계의 추상화 과정을 거쳐 작동한다.

1단계: 방향 그래프를 통한 스키마 생성

데이터베이스 스키마는 테이블을 노드로, 테이블 간의 연결을 유향 에지로 하는 방향성 비순환 그래프(Directed Acyclic Graph, DAG), $G$로 모델링된다.

• 그래프 샘플링: $G$는 허브 테이블을 모델링하는 Barabasi-Albert, 엄격한 계층 구조를 모델링하는 Reverse Random-Tree, 국소적 클러스터링을 모델링하는 Watts-Strogatz를 포함한 무작위 DAG 군집으로부터 샘플링된다.
• 테이블 분류: 테이블은 엔티티 테이블(out-degree $\ge 1$인 노드)과 액티비티 테이블(나머지 노드)로 구분된다.
• 메타데이터: 각 테이블의 행 수와 피처 컬럼 수는 특정 분포로부터 독립적으로 샘플링된다. $G$의 위상 정렬(topological ordering)은 부모 테이블이 자식 테이블보다 먼저 합성되도록 생성 순서를 규정한다.

2단계: 이분 그래프를 통한 외래 키 생성

이 단계는 부모 테이블과 자식 테이블 간의 행 수준 연결성을 모델링하여 외래 키 컬럼을 채운다.

• 계층적 클러스터링: 부모 테이블($\tilde{T}$)과 자식 테이블($T$)의 행들은 계층적 확률 블록 모델(Hierarchical Stochastic Block Model, HSBM)을 사용하여 블록의 계층 구조로 클러스터링된다.
• 연결 확률: 레벨별 확률 행렬 $P^{[l]}$은 $\tilde{T}$의 행이 $T$의 행과 연결될 가능성을 결정한다. 이를 통해 균등 분포부터 매우 국소적인 클러스터까지 다양한 연결 패턴을 구현할 수 있으며, 이는 실제 세계의 계층적 데이터 관계를 모방한다.

3단계: 구조적 인과 모델(SCM)을 통한 피처 생성

스키마와 연결성이 확립되면, SCM을 사용하여 셀 값을 생성한다.

• 인과 그래프: 각 테이블은 변수를 나타내는 노드와 인과 관계를 인코딩하는 에지로 구성된 SCM인 인과 그래프 $C_T$와 연관된다.
• 조건부 생성: 피처 값은 인과 그래프를 통해 값을 전파함으로써 생성된다. 외래 키가 있는 테이블의 경우, SCM 메커니즘은 부모 테이블의 피처 노드를 포함하여 자식 행이 특정 부모 행에 의존할 수 있도록 한다.
• 시계열 패턴: 시계열 상관관계를 포착하기 위해, 소스 노드의 외생적 입력은 추세(power-law), 주기(sinusoidal), 변동(Gaussian noise) 성분의 조합으로 모델링된다. 이는 외래 키를 공유하는 행들이 독립 항등 분포(i.i.d.)라는 비현실적인 가정을 피하게 해준다.
• 데이터 타입: 프레임워크는 수치형 및 범주형 피처를 지원하며, 다층 퍼셉트론(MLP)을 사용하여 값을 공유 잠재 공간으로 투영하고 재구성하는 메커니즘을 갖추고 있다.

3. 주요 기여

1. 새로운 합성 데이터 프레임워크: PLUREL은 스키마 구조, 기본 키-외래 키 연결성, 조건부 피처 분포를 명시적으로 모델링하여 처음부터 다중 테이블 관계형 데이터베이스를 합성하는 최초의 프레임워크이다.
2. RFM을 위한 스케일링 법칙 발견: 데이터 병목 현상을 제거함으로써, 저자들은 두 축인 다양성(합성 데이터베이스의 수, $N$)과 크기(총 사전 학습 토큰 수, $S$)에 대한 최초의 스케일링 분석을 수행한다.
3. 멱법칙(Power-Law) 스케일링 검증: 연구는 어느 한 축이 병목이 되지 않는 한, 사전 학습 손실(pretraining loss)이 $N$과 $S$ 모두에 대해 멱법칙 의존성을 보임을 입증한다.
4. 향상된 일반화: 합성 데이터로 사전 학습하는 것이 실제 세계의 데이터베이스에 대한 제로샷 일반화 성능을 향상시키며, 실제 데이터에 대한 지속적 사전 학습(continued pretraining)을 위한 강력한 토대로 작와함을 보여준다.

4. 실험 결과

저자들은 PLUREL로 생성된 수십억 개의 토큰으로 **관계형 트랜스포머(Relational Transformer, RT)**를 사전 학습시키고, RelBench 벤치마크(6개의 실제 데이터셋, 18개 태스크)에서 성능을 평가한다.

• 스케일링 법칙:
  • 손실 스케일링: 검증 손실(validation loss)은 합성 데이터베이스의 수($N$)와 데이터셋 크기($S$)에 대해 멱법칙을 따른다.
  • 축 간의 상호작용: 고정된 $S$에서 $N$을 스케일링하면 과소 적합(underfitting)이 발생하고, 고정된 $N$에서 $S$를 스케일링하면 과적합(overfitting)이 발생한다. 최적의 성능을 위해서는 두 축을 함께 스케일링해야 한다.
• 제로샷 일반화:
  • 더 크고 다양한 합성 데이터셋으로 사전 학습된 모델은 작은 합성 데이터셋이나 실제 데이터만으로 학습된 모델에 비해 미학습 실제 세계 태스크에 대해 개선된 제로샷 성능을 보인다.
• 지속적 사전 학습:
  • 합성 + 실제: PLUREL 데이터로 사전 학습한 후 실제 데이터로 지속적 사전 학습을 진행하는 것이 가장 좋은 결과를 낸다.
  • 성능 이득: 이 방식은 실제 데이터로만 학습된 모델에 비해 분류 작업에서 평균 절대 이득 +1.2% AUROC, 회귀 작업에서 +3.0% $R^2$를 달성한다.
  • 태스크별 개선: 회귀 태스크(예: item-LTV에서 +5.2%)와 행동 기반 분류 태스크(예: user-engage에서 +7.4%)에서 유의미한 이득이 관찰된다.
  • 한계점: "합성 데이터 전용" 사전 학습은 "실제 데이터 전용" 또는 "합성 + 실제" 모델에 비해 일반적으로 성능이 떨어지는데, 이는 합성 데이터가 강력한 기초를 제공하더라도 분포 정렬, 특히 특정 컬럼의 의미론(semantics)이 필요한 태스크에서는 실제 데이터에 대한 지속적 사전 학습이 필수적임을 나타낸다.

5. 의의 및 주장

본 논문은 PLUREL을 관계형 파운데이션 모델 개발을 위한 패러다임 전환으로 규정한다. PLUREL의 주요 의의는 RFM 개발을 제약해 온 공공 및 다양한 관계형 데이터의 부족 문제를 해결하여 데이터 스케일링을 해제한다는 점에 있다.

• 개인정보 보호 중심의 개발: PLUREL은 민감한 실제 데이터에 의존하지 않고도 무제한의 다양한 관계형 데이터베이스를 생성할 수 있게 하여, 개인정보 및 기밀성 장벽을 해결한다.
• 스케일링 법칙의 토대: 본 연구는 언어 및 비전 모델과 마찬가지로 RFM 역시 데이터의 다양성과 크기가 증가함에 따라 성능이 예측 가능하게 향상되는 스케일링 법칙을 따른다는 것을 확립한다.
• 시너지 효과를 내는 사전 학습: 결과는 합성 데이터 사전 학습이 강력한 초기화 도구로서 작용하여, 이후 실제 데이터로부터의 학습 능력을 향상시키고 차세대 엔터프라이즈 애플리케이션을 위한 RFM 개발을 가속화하는 시너지 관계를 제안한다.

저자들은 합성 데이터만으로는 특정 컬럼의 의미론적 부재로 인해 견고한 제로샷 전이를 달wind하기에 불충분할 수 있지만, 확장 가능하고 일반화 가능한 관계형 파운데이션 모델을 구축하기 위한 필수적이고 강력한 구성 요소라고 결론짓는다.