기술 요약: RELBENCH V2

문제 정의

관계형 데이터베이스는 기업, 과학, 의료 시스템 전반에 걸쳐 구조화된 데이터의 주요 저장 추상화 수단이며, 1 차 키-외래 키 관계를 통해 풍부하고 구조적이며 시간적 의존성을 포착하는 방식으로 정보를 조직화합니다. 관계형 딥러닝 (RDL) 은 이러한 데이터베이스를 직접 학습하는 패러다임으로 등장하여, 수동 특징 공학과 평탄화를 피하기 위해 이들을 이종 그래프로 취급하지만, 특히 관계형 기초 모델 (foundation models) 로의 연구 방향 전환에 따라 진전을 평가할 수 있는 확장 가능하고 현실적인 벤치마크에 대한 중요한 필요성이 여전히 존재합니다. 기존 벤치마크는 종종 규모, 도메인 다양성, 또는 SQL 쿼리를 통해 구성된 전통적인 예측을 넘어선 작업을 평가할 수 있는 능력에서 부족함을 보입니다.

방법론 및 프레임워크

RELBENCH v2 는 새로운 데이터셋, 새로운 작업 유형, 그리고 외부 벤치마크의 통합된 통합을 통해 원래의 RELBENCH 프레임워크 (Robinson et al., 2024) 를 확장합니다. 핵심 방법론은 다음에 의존합니다:

1. 시간적 제약 및 누출 방지: 모든 데이터셋은 고정된 VAL_TIMESTAMP 및 TEST_TIMESTAMP 컷오프를 활용합니다. 모델은 VAL_TIMESTAMP 까지의 데이터로 훈련되고, 컷오프 사이의 행으로 검증되며, TEST_TIMESTAMP 이후의 행으로 테스트됩니다. 추론 중 테스트 시간 누출을 방지하기 위해 테스트 컷오프 이상의 데이터는 숨겨지며, 시간적 이웃 샘플링 전략 (Fey et al., 2024) 을 활용합니다.
2. RDL 아키텍처: 벤치마크는 표준 RDL 파이프라인을 활용합니다:
   • 인코딩: 원시 행 수준 데이터는 PyTorch Frame 과 ResNet 표 형식 모델을 사용하여 초기 노드 임베딩으로 인코딩됩니다.
   • 샘플링: 각 엔티티 노드 주변에서 주어진 시드 시간에 대한 시간 인식 서브그래프 샘플링이 수행됩니다.
   • 집계: 임베딩은 합계 기반 이웃 집계를 사용하는 이종 GraphSAGE 모델을 통과하여 노드 임베딩을 반복적으로 업데이트합니다.
   • 예측: 작업별 헤드가 최종 예측을 생성합니다.
3. 베이스라인 비교: 성능은 주로 LightGBM(원시 엔티티 테이블 특징 또는 조인된 특징에 적용됨) 과 다양한 집계 전략 (전체 평균/중앙값, 엔티티 평균/중앙값) 과 같은 강력한 베이스라인에 대해 벤치마크됩니다.

주요 기여

1. 데이터셋 확장

RELBENCH v2 는 네 가지 새로운 대규모 관계형 데이터셋을 도입하여 총 11 개의 데이터셋을 다양한 도메인에 걸쳐 확장합니다:

• rel-arxiv: 22 만 편의 논문, 150 만 개의 인용 링크, 저자-카테고리 관계를 가진 학술 출판 데이터베이스.
• rel-salt: SAP AI Research 에서 모델링한 영업 주문, 워크플로우, 비즈니스 거래를 다루는 기업 자원 계획 (ERP) 데이터셋.
• rel-ratebeer: 20 년 이상의 사용자 상호작용, 맥주 평가, 리뷰를 포함하는 소비자 플랫폼 데이터셋.
• rel-mimic: MIMIC-IV 전자 건강 기록에서 파생된 임상 데이터셋으로, 프라이버시를 위해 날짜 이동이 적용됨.
• 규모: 새로운 데이터셋은 29 개의 테이블에 걸쳐 2,200 만 행 이상의 데이터를 기여합니다.

2. 자동완성 작업 도입

중요한 방법론적 기여는 자동완성 작업의 도입입니다. SQL 쿼리를 통해 미래 결과를 예측하는 전통적인 예측 작업과 달리, 자동완성 작업은 모델이 주어진 시점에 기존 관계형 테이블 내의 누락된 속성 값을 추론하도록 요구합니다.

• 메커니즘: 모델은 시드 시간의 행에 대한 관측된 값을 수신하며, 해당 시간까지 이용 가능한 관계적 및 시간적 컨텍스트만을 사용하여 목표 열을 예측해야 합니다.
• 누출 제어: 정보 누출을 방지하기 위해 목표와 높은 상관관계를 가진 열 (예: review-rating에 대한 review_text) 은 도메인 지식을 기반으로 수동으로 식별되어 제거됩니다.
• 유형: 이진 및 다중 클래스 분류와 회귀 작업을 모두 포함합니다.

3. 외부 벤치마크 통합

RELBENCH v2 는 외부 프레임워크를 통합하여 평가를 통일합니다:

• Temporal Graph Benchmark (TGB): TGB 의 이벤트 스트림은 관계형 스키마로 변환되어 (노드와 엣지를 테이블로 정규화) 시간적 GNN 과 관계형 딥러닝 모델 간의 직접적인 비교를 가능하게 합니다.
• ReDeLEx: 통합은 사전 학습에 적합한 70 개 이상의 실제 데이터베이스에 대한 균일한 접근을 제공합니다.
• 4DBInfer: 4DBInfer 데이터셋과 작업을 통합하여 다중 테이블 평가 범위를 확장하고 4D 설계 공간 (데이터셋, 작업, 그래프 구성, 모델) 을 탐구합니다.

실험 결과

새로운 데이터셋과 작업을 통한 실험 결과는 RDL 모델이 단일 테이블 베이스라인 (특히 LightGBM 및 집계 베이스라인) 일관적으로 능가함을 보여줍니다:

• 자동완성 작업: RDL 모델은 이진 및 다중 클래스 분류 (예: rel-salt 의 item-shippoint 에서 약 98% 정확도 달성, LightGBM 은 약 5%) 와 회귀 작업 (더 높은 $R^2$ 값) 에서 LightGBM 을 크게 능가했습니다. 이러한 결과는 클래스 불균형이 존재하더라도 관계적 컨텍스트가 누락된 속성 예측을 위한 정보 신호를 제공함을 강조합니다.
• 예측 작업: RDL 모델은 엔티티 분류 (예: rel-arxiv 의 author-category 예측) 및 회귀에서 우수한 성능을 달성했습니다. 다중 클래스 저자-카테고리 작업은 RDL 이 약 50% 정확도를 달성한 반면 LightGBM 은 약 2% 를 기록하여 큰 격차를 보였으며, 이는 공동 저자십, 인용과 같은 관계적 신호가 복잡한 분류에 중요함을 시사합니다.
• 추천 작업: GNN 기반 모델 (GraphSAGE 및 ID-GNN) 은 과거 방문 및 전역 인기도와 같은 베이스라인을 일반적으로 능가했습니다. 노드 정체성을 명시적으로 통합하는 ID-GNN 은 엔티티별 설정에서 뛰어났으며, 더 깊은 GraphSAGE 모델 (4 레이어) 은 멀티홉 추론 작업에서 향상된 성능을 보였으나 GPU 메모리 제약에 의해 제한되었습니다.
• TGB 통합: 변환된 TGB 데이터셋에서 관계형 "이벤트-노드" GraphSAGE 모델은 그래프 네이티브 투영 엣지 GraphSAGE 및 시간적 베이스라인 (TGN) 과 경쟁력 있는 성능을 보였으며, 성능은 이벤트 의미의 풍부함과 스키마 구조에 따라 다양했습니다.

의의

이 논문은 RELBENCH v2 가 RDL 시스템 및 관계형 기초 모델의 개발과 평가에 필수적인 확장 가능하고 현실적인 벤치마크를 제공한다고 주장합니다. 2,200 만 행 이상의 규모로 확장하고, 새로운 자동완성 패러다임을 도입하며, 외부 벤치마크를 통일함으로써 이전의 단일 테이블 또는 소규모 평가의 한계를 해결합니다. 다양한 도메인 (학술, 기업, 소비자, 임상) 에서 베이스라인을 능가하는 RDL 모델의 일관된 성과는 예측 작업을 위해 관계적 구조와 시간적 의존성을 명시적으로 모델링하는 것의 중요성을 강조합니다. 이 벤치마크는 복잡하고 다중 테이블 데이터에 추론할 수 있는 기초 모델로 분야를 발전시키는 기초 도구 역할을 합니다.