기술 요약: RelGT-AC

문제 정의

관계형 데이터베이스는 핵심적인 기업, 과학 및 의료 시스템의 근간을 이루고 있으나, 이 데이터에 예측 머신러닝을 적용하는 것은 다중 테이블, 이질성 및 시계열적 특성으로 인해 여전히 어렵습니다. 관계형 딥러닝(Relational Deep Learning, RDL)은 데이터베이스를 이질적 그래프로 모델링함으로써 이를 해결하고자 하지만, **자동 완성(autocomplete)**이라는 특정 작업에 특화된 아키텍처 설계는 그동안 미개척 분야로 남아 있었습니다.

RelBench v2 벤치마크에서 소개된 자동 완성 작업은 다른 채워진 컬럼들과 관계적 맥락(예: 고객 이력을 바탕으로 판매 주문의 결제 조건을 예측)이 주어졌을 때, 행 내의 기존 컬럼 값을 예측하는 것을 요구합니다. 이는 SQL로 구축된 미래 값을 예측하는 일반적인 예측(forecasting) 작업과는 다른 독특한 과제를 제시합니다. 즉, 타겟 값이 입력 행 안에 존재한다는 점입니다. 구체적인 아키텍처적 안전장치가 없다면, 모델은 관계적 맥락을 학습하는 대신 타겟 컬럼을 단순히 "읽어 들임"으로써 완벽에 가까운 정확도를 달est하며, 관계적 맥락으로부터 학습해야 할 필요성을 우회할 수 있습니다. 또한, 기존 베이스라인인 GraphSAGE는 이웃 집계(neighborhood aggregation)에 의존하는데, 이는 정보가 있는 외래 키(FK) 조인 행과 그렇지 않은 행을 구분하지 못할 수 있으며, 표준 범주형 인코더는 자유 텍스트 컬럼으로부터 유효한 어휘적 신호를 버리는 경향이 있습니다.

방법론: RelGT-AC

저자들은 자동 완성 작업의 과제를 해결하기 위해 설계된 RelGT 백본의 확장판인 RelGT-AC(Relational Graph Transformer for Autocomplete)를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소를 통합합니다:

1. 컬럼 마스킹 전략 (Column Masking Strategy)

모델이 단순히 타겟 컬럼을 읽어버리는 사소한 해결책(trivial solution)을 방지하기 위해, RelGT-AC는 피처 인코딩 전에 적용되는 **컬컬럼 마스커(Column Masker)**를 도입합니다.

• 메커니즘: 시드 노드(예측 대상 행)에 대해, 타겟 컬럼($c^*$)과 벤치마크에서 지정한 상관 컬럼($C_{drop}$)을 제로(zero) 처리합니다.
• 제약 조건: 결정적으로, FK-조인된 컨텍스트 행들은 $c^*$에 대한 값을 포함하여 전체 피처를 유지합니다. 이는 모델이 시드 행 자체의 피처에 의존하는 대신, 관련 테이블의 값이 시드 행의 값을 예측한다는 것을 학습하도록 강제합니다.

2. 통합 태스크 헤드 (Unified Task Head)

RelGT-AC는 태스크 유형별로 조건화된 출력 헤드를 통해 다양한 태스크 유형을 처리할 수 있는 단일 모델을 사용합니다. 이 통합 아키텍처는 다음을 지원합니다:

• 이진 분류 (Auto-BCLS)
• 다중 클래스 분류 (Auto-MCLS)
• 회귀 (Auto-REG)
• 예측 회귀 (Entity-REG)
  이를 통해 모델은 서로 다른 태스크 유형 간에 관계적 표현(relational representations)을 공유하면서도, 특정 목적에 맞게 출력 레이어를 조정할 수 있습니다.

3. TF-IDF 텍스트 인코더 (TF-IDF Text Encoder)

표준 범주형 인코더가 자유 텍스트 컬럼에서 (고유한 문자열을 알 수 없는 인덱스로 매핑하여 어휘적 신호를 손실하는) 실패한다는 점을 인식하여, 저자들은 자동 TF-IDF 텍스트 인코더를 도입했습니다.

• 탐지: 컬um이 string 타입이고 평균 길이가 20자를 초과하는 경우 텍스트로 분류합니다.
• 인코딩: 훈련 스플릿에 맞춰 TF-IDF 벡터라이저(어휘 사전 크기 $V=64$)를 적합(fit)시킵니다. 생성된 벡터는 학습 가능한 선형 레이어를 통해 공유 피처 차원으로 투영됩니다.
• 이점: 이는 거대한 사전 학습 언어 모델을 요구하지 않으면서도 자유 텍스트 필드(예: 자격 요건 설명)의 강력한 예측 신호를 포착합니다.

아키텍처 흐름

모델은 관계형 데이터베이스에서 샘플링된 $k$-hop 서브그래프를 처리합니다:

1. 토큰화(Tokenization): 노드는 5개의 토큰(피처, 타입, 홉 거리, 시간, 구조)으로 분해됩니다.
2. 로컬 모듈(Local Module): 합계 집계(sum aggregation)를 수행하는 두 개의 HeteroGraphSAGE 레이어가 이웃 메시지 패싱을 수행합니다.
3. 글로벌 모듈(Global Module): 트랜스포머 레이어가 모든 샘플링된 노드에 대해 멀티 헤드 셀프 어텐션(multi-head self-attention)을 적용합니다. 이를 통해 모델은 모든 이웃을 동일하게 평균화하는 표준 GraphSAGE의 한계를 넘어, 가장 정보가 많은 FK-조인 행(예: 가장 최근의 주문)에 선택적으로 주의를 기울일 수 있습니다.
4. 출력: 통합 태스크 헤드가 시드 노드의 최종 표현을 기반으로 예측을 생성합니다.

주요 결과

실험은 3개의 RelBench v2 데이터셋인 rel-trial(임상 시험), rel-f1(포뮬러 1 레이싱), rel-stack(Stack Overflow)에 걸친 7개의 자동 완성 태스크를 대상으로 수행되었습니다.

• 회귀 성능: RelGT-AC는 3개의 회귀 태스크 모두에서 GraphSAGE 베이스라인을 능가했습니다. 주목할 만한 개선 사항은 다음과 같습니다:
  • enrollment 태스크(rel-trial)에서 +0.436 $R^2$
  • qualifying-position 태스크(rel-f1)에서 +0.224 $R^2$
  • results-position 태스크에서 +0.088 $R^2$
• 분류 성능: RelGT-AC는 4개의 분류 태스크 중 2개에서 GraphSAGE보다 우수한 성능을 보였습니다. 그러나 eligibilities-adult와 같은 텍스트 중심 태스크에서는 GraphSAGE가 94.91%의 AUROC를 기록한 반면, 본 모델은 85.41%를 기록했습니다. 저자들은 이 격차를 GraphSAGE가 전체 그래프의 모든 형제 노드에 대해 집계하는 반면, RelGT-AC는 $k$-이웃 샘플링을 사용하기 때문이라고 설명합니다.
• TF-IDF의 영향: 절제 연구(ablation study)를 통해 TF-IDF 인코더가 텍스트가 풍부한 태스크에서 가장 영향력 있는 기여임을 확인했습니다. eligibilities-adult에서 TF-IDF 인코더를 제거했을 때, 모델이 범주형 인코딩으로 회귀하여 어휘적 신호를 잃음으로써 10.0 AUROC 포인트 하락(85.37%에서 75.37%로)이 발생했습니다.
• 어텐션 분석: 어텐션 가중치 시각화를 통해 트랜스포머가 가장 최근의 관련성이 높은 FK-조인 행(예: 자격 요건 태스크를 위한 직접 연결된 연구 기록)에 선택적으로 집중함을 확인했으며, 이는 양식 작성(form-filling)에 대한 인간의 직관과 일치합니다.

의의 및 주장

본 논문은 자동 완성 태스크를 위한 최초의 특화된 아키텍처를 제공함으로써 관계형 딥러닝의 중요한 공백을 메운다고 주장합니다. 그 의의는 세 가지 측면에서 나타납니다:

1. 누수 방지: 컬럼 마스킹 전략은 모델이 항등 함수(identity mapping)가 아닌 관계적 의존성을 학습하도록 효과적으로 강제하며, 이는 자동 완성 태스크에서 유효한 지도 학습의 전제 조건입니다.
2. 이질성 처리: 통합 헤드와 TF-IDF 인코더는 단일 모델이 별도의 파이프라인이나 거대한 사전 학습 언어 모델 없이도 다양한 데이터 유형(수치형, 범주형, 자유 텍스트)과 태스크 유형을 효과적으로 처리할 수 있음을 보여줍니다.
3. 메커니즘적 통찰: 어텐션 분석은 글로벌 어텐션 메커니즘이 관계적 설정에서 특정 고가치 컨텍스트 행을 식별함으로써 로컬 집계보다 뛰어날 수 있다는 증거를 제공하며, 관계적 추론에 대한 더 해석 가능한 접근 방식을 제시합니다.

저자들은 RelGT-AC가 태스크별 미세 조정(fine-tuning)을 필요로 하며 아직 새로운 데이터베이스에 제로샷(zero-shot)으로 전이되지는 않지만, 자동 완성 태스크에 대한 지도 관계 학습을 위한 강력한 베이스라인을 구축하고 향후 관계형 파운데이션 모델 연구를 위한 토대를 제공한다고 결론짓습니다.