PluRel-to-RDB-PFN: Schema-Guided Synthetic Relational Pretraining

기술 요약: PluRel-to-RDB-PFN: 스키마 가이드형 합성 관계형 사전 학습

문제 정의

관계형 파운데이션 모델(Relational Foundation Models, RFMs)은 개인정보 보호 및 스키마 이질성으로 인한 대규모의 다양하고 실제적인 관계형 데이터베이스 부족 문제를 극복하기 위해 대규모 합성 관계형 데이터베이스를 통한 사전 학습이 필요하다. RDB-PFN과 같은 기존 방식은 데이터 생성과 모델 학습을 밀접하게 결결합하여, 데이터베이스, 피처, 예측 작업을 동시에 생성하는 독자적인 생성기를 사용하지만 사용자가 지정한 스키마를 수용할 수 없다. 이러한 제한 사항은 특정 실제 세계의 스키마 구조에 맞춰 모델을 사전 학습하는 능력을 저해한다. 또한, 기존 RDB-PFN 프로토콜은 단일 테이블 워밍업을 포함하여 방대한 코퍼스(~180만 개 태스크)에 의존하는데, 이는 데이터 생성 과정이 더 전략적으로 유도될 경우 그러한 규모가 반드시 필요한지에 대한 의문을 제기한다.

방법론

저자들은 일반 목적의 합성 관계형 데이터베이스 생성기인 PluRel을 RDB-PFN 관계형 인컨텍스트 러너와 통합함으로써, 데이터 생성과 모델 학습을 분리하는 파이프라인을 제안한다.

변환 파이프라인

본 연구는 PluRel 출력을 RDB-PFN 학습 데이터로 변환하기 위한 5단계 파이프라인을 구축한다:

1. 데이터베이스 생성: PluRel은 두 가지 모드로 데이터를 생성한다:
   • 스키마 가이드 모드(Schema-Guided Mode): 고정된 실제 세계의 SQL 스키마(기업 ERP 시스템에서 유래: 4개 테이블, 31개 컬럼, 6개 외래 키) 하에서 합성된 로우 레벨 데이터를 생성한다.
   • 완전 합성 모드(Fully Synthetic Mode): 그래프 모델(Barabási–Albert)을 사용하여 스키마를 샘플링하고, 계층적 확률 블록 모델을 통해 외래 키 연결성을, 그리고 다양한 복잡도(Small1, Small2, Large 구성)를 가진 구조적 인과 모델을 통해 피처를 샘플링한다.
2. 이진 태스크 구축: PluRel은 데이터베이스는 생성하지만 예측 작업은 생성하지 않으므로, 파이프라인은 타겟 컬럼을 선택(자연스러운 이진 컬럼을 선호하거나 중앙값 분할을 통해 이진화)하여 외부적으로 이진 분류 태스크를 구축한다.
3. 관계형 내보내기: 데이터베이스-태스크 쌍을 DBInfer 형식으로 내보낸다.
4. DFS 선형화: 공식 RDB-PFN의 Deep Feature Synthesis(DFS) 파이프라인을 통해 관계형 데이터를 고정 너비의 테이블 표현으로 선형화한다.
5. 학습 데이터 조립: 처리된 태스크들을 학습용 HDF5 파일로 병합한다.

커리큘럼 전략

저자들은 스키마 노출 순서의 영향을 결정하기 위해 총 코퍼스(~5,500개 데이터베이스, 약 ~33,000개 태스크)를 사용하여 세 가지 커리큘럼 전략을 평가한다. 이는 기존 RDB-PFN 프로토콜보다 약 55배 적은 규모이며 단일 테이블 워밍업을 포함하지 않는다:

• 스키마 가이드 우선(SCHEMA-GUIDED FIRST, SGF): 고정된 실제 세계의 스키마로 먼저 학습한 후, 다양한 합성 스키마(Small1 → Small2 → Large)로 진행한다.
• 완전 합성(FULLY SYNTHETIC, FS): 전체 과정 동안 다양한 합성 스키마로만 학습한다.
• 스키마 가이드 후순위(SCHEMA-GUIDED LAST, SGL): 다양한 합성 스키마로 먼저 학습한 후, 고정된 실제 세계의 스키마에 적응한다.

각 단계의 기여도를 격리하기 위해 개별 데이터 풀에 대한 독립적인 베이스라인도 학습되었다.

주요 기여

1. 파이프라인 통합: 외부의 스키마 제어 가능한 합성 데이터를 관계형 인컨텍스트 러닝에 사용할 수 있도록, PluRel 생성 관계형 데이터베이스를 RDB-PFN 학습 형식으로 변환하는 새로운 파이프라인을 제시한다.
2. 커리큘럼 분석: 스키마 노출 순서가 매우 중요하다는 것을 입증하는 체계적인 연구를 수행하였다. "스키마 가이드 우선" 전략은 완전 합성 학습 및 실제 세계 스키마가 늦게 도입되는 학습보다 성능이 현저히 우수했다.
3. 효율성 검증: 적절한 커리큘럼 설계와 스키마 현실성이 결합될 때, 훨씬 더 큰 규모의 데이터 프로토콜의 성능을 상당 부분 회복할 수 있음을 보여주는 경험적 증거를 제시한다.

실험 결과

모델은 RelBench 및 DBInfer의 19개 실제 이진 분류 태스크(이커머스, 소셜 네트워크, 스포츠, 임상 시험 등)에 대해 64-shot 및 1024-shot 컨텍스트 크기에서 ROC-AUC를 사용하여 평가되었다.

• 성능 회복: SCHEMA-GUIDED FIRST 커리큘럼은 1024-shot에서 평균 ROC-AUC 0.6346, 64-shot에서 0.6116을 달면했다.
  • 이는 1024-shot에서 발표된 RDB-PFN 성능(0.7245)의 **87.6%**를 회복한 것이다.
  • 64-shot에서는 성능(0.6517)의 **93.8%**를 회복했다.
• 커리큘럼 비교:
  • SGF는 FULLY SYNTHETIC보다 23포인트, SCHEMA-GUIDED LAST보다 56포인트 더 높은 성능을 보였다.
  • SCHEMA-GUIDED LAST는 성능이 저조했으며(1024-shot에서 0.5729), 이는 광범한 합성 학습 후에 실제 세계의 스키마를 도입하는 것이 치명적 망각(catastrophic forgetting)이나 효과적이지 못한 적응을 초래함을 시사한다.
• 독립 베이스라인: 어떤 단일 데이터 풀(예: Small2만 사용하거나 Schema-Guided만 사용)도 평균 ROC-AUC 0.58을 넘지 못했으며, 이는 다단계 커리큘럼이 필수적임을 확인시켜 준다.
• 컨텍스트 민감도: 제안된 방법과 기존 RDB-PFN 사이의 성능 격차는 긴 컨텍스트(1024-shot vs 64-shot)에서 더 벌어졌으며, 이는 기존 생성기의 학습된 GNN 콘텐츠 완성이 더 강력한 장기 컨텍스트 구조 일반화를 제공함을 나타낸다.

의의 및 주장

본 논문은 적절한 커리큘럼 설계와 결합될 때 외부 합성 생성기가 RFM에 유용한 사전 학습 신호를 제공할 수 있음을 주장한다. 구체적으로:

• 디커플링(Decoupling)의 실현 가능성: 관계형 파운데이션 모델의 데이터 생성과 모델 학습 구성 요소는 생산적으로 분리될 수 있다.
• 스키마 현실성의 중요성: 학습 초기 단계에서의 실제 세계 스키마 노출은 안정적인 관계적 앵커(일관된 테이블 수, 외래 키 패턴, 컬럼 의미론 제공) 역할을 하며, 이는 늦은 단계의 스키마 적응보다 훨씬 효과적이다.
• 규모 vs 구조: 기존 RDB-PFN 프로토콜이 거대한 규모(~1.8M 태스크)에 의존하는 반면, 저자들은 스키마 가이드형 합성 생성이 데이터 볼륨 감소를 부분적으로 보완할 수 있음을 입각하여 입증하였다. 그러나 긴 컨텍스트에서의 격차는 기존 생성기의 특정 콘텐츠 완성 메커니즘과 더 큰 코퍼스가 복잡한 구조적 일반화에 여전히 이점을 제공함을 시사한다.

저자들은 이 접근 방식이 기업의 관계형 데이터에 대한 스키마 제어 및 프라이버시 보호가 가능한 합성 사전 학습을 가능하게 하여, 민감한 실제 데이터베이스에 직접 접근하지 않고도 파운데이션 모델을 학습할 수 있는 경로를 제공한다고 결론짓는다.