기술 요약: 데이터베이스 쿼리에 딥러닝 설계 통합

문제 제기

딥러닝 (DL) 과 관계형 데이터베이스의 통합은 전통적으로'왕복'엔지니어링 오버헤드로 인해 방해받아 왔습니다. 기존 접근 방식은 관계형 데이터를 그래프 표현 (레코드는 노드가 되고 외래 키는 간선이 됨) 으로 변환한 후, 이 데이터를 그래프 신경망 (GNN) 을 훈련시키기 위해 외부 머신러닝 프레임워크 (예: PyTorch Geometric, DGL) 로 내보내야 합니다. 이 과정은 개발자가 데이터 관리를 위한 선언적 쿼리 언어와 모델 설계를 위한 명령적 코드라는 상이한 패러다임 사이에서 작업하도록 강요합니다. 또한, 기존 데이터베이스 내 ML 프레임워크는 종종 텐서 유형과 선형 대수 연산자를 쿼리 엔진에 직접 통합하여 이러한 도메인을 연결함으로써, 사용자가 논리적 데이터와 벡터 표현 간의 연결을 명시적으로 유지해야 합니다. 저자들은 이러한 분리가 인위적이며, 관계형 데이터에 대해 신경망을 지정하는 것이 데이터를 쿼리하는 것만큼 자연스러워야 한다고 주장합니다.

방법론: 신경 - 관계형 대수 (NRA) 와 RelaNN

본 논문은 관계형 모델을 확장하여 데이터베이스 쿼리에 딥러닝을 직접 통합하는 개념 증명 시스템인RelaNN을 제안합니다. 핵심 방법론은 모든 데이터베이스 튜플을 학습 가능한 벡터 임베딩과 연관시키는 형식적 프레임워크인**신경 - 관계형 대수 (Neuro-Relational Algebra, NRA)**에 기반합니다.

1. 신경 - 관계형 데이터 모델 (NRM)

데이터 모델은$(r, \eta)$로 정의되는**임베딩된 관계 (embedded relation)**를 도입함으로써 고전적 관계형 모델을 확장합니다. 여기서$r$은 표준 콘텐츠 관계이고,$\eta$는 각 튜플을$\mathbb{R}^d$의 임베딩에 매핑하는 주석입니다. 이를 통해 시스템은 논리적 도메인 (콘텐츠) 과 수치적 도메인 (임베딩) 을 동시에 조작할 수 있습니다.

2. 신경 - 관계형 연산자

NRA 는 콘텐츠와 임베딩 모두를 조작하는 연산자를 추가하여 표준 관계형 대수를 확장합니다.

• 조인 ($\bowtie$): 콘텐츠에 대해 표준 자연 조인을 수행합니다. 임베딩의 경우, 입력 관계에서 기여하는 튜플들의 임베딩을 연결합니다.
• 프로젝션된 유니온 ($\cup_{\alpha, A}$): 프로젝션과 유니온을 결합한 통합 연산자입니다. 튜플을 공통 속성 시퀀스에 프로젝션하고, 동일한 콘텐츠를 가진 튜플들의 임베딩을 다중 집합 집계기$\alpha$(예: 합계, 평균, 최대값) 를 사용하여 집계합니다. 이는 여러 입력 튜플이 동일한 출력 튜플에 매핑될 때 필요한 임베딩 집계를 처리합니다.
• 변환 ($T_\tau$): 관계의 임베딩에 미분 가능한 변환$\tau$(예: 피드포워드 네트워크, ReLU, 또는 선형 레이어) 를 적용합니다. 이는 학습 가능한 매개변수를 도입하는 주요 메커니즘입니다.
• 선택, 차이, 이름 변경: 이러한 연산자는 고전적 대수와 유사하게 임베딩을 변경 없이 통과시킵니다.

3. RelaNN 언어

RelaNN 은 NRA 위에 구축된 선언적 언어입니다. 프로그램은 새로운 임베딩된 관계를 유도하는 방법을 정의하는 규칙 문으로 구성됩니다.

• 조인 규칙: 조인을 통해 관계를 결합하고, 연결된 임베딩에 변환을 적용한 후 프로젝션된 유니온을 통해 집계합니다.
• 유니온 규칙: 동일한 스키마를 가진 관계를 통합하고, 필터링하며, 임베딩을 변환합니다.
• 피트 문 (Fit Statements): 출력 관계에 정의된 손실 함수를 최소화하여 튜플 임베딩과 변환 가중치를 포함한 전역 매개변수 할당을 업데이트하는 언어 구성 요소 (?fit) 입니다.
• 예측 문 (Predict Statements): 현재 매개변수로 프로그램을 평가하여 결과를 물리화합니다.
• 확장: 이 언어는 매개변수 공유를 위한별칭, 코드 재사용을 위한함수 정의, 콘텐츠 열과 임베딩 간 데이터 이동을 위한인코딩/디코딩, 그리고 반복적인 규칙 생성 (예: 멀티헤드 어텐션용) 을 위한템플릿을 지원합니다.

4. 구현 파이프라인

RelaNN 은 프로그램을**터미널 그래프 (Term Graph, NRA 연산자의 DAG)로 컴파일합니다. 실행 시, 이 그래프는 SQL, cuDF, PyTorch 에서 실행되는물리적 계획 (Physical Plan)**으로 변환됩니다.

• 데이터 로드: SQL 쿼리가 데이터베이스에서 콘텐츠를 가져옵니다.
• 조인/선택: 행 인덱스 텐서를 생성하는 cuDF DataFrame 연산 (merge, index_select) 을 통해 구현됩니다.
• 임베딩 조작: PyTorch 연산 (예: torch.index_select, scatter_add) 이 콘텐츠 인덱스에 기반하여 임베딩을 가져오고 집계하며, 엔드투엔드 훈련을 위한 완전한 미분 가능성을 유지합니다.
• 변환: 커스텀 nn.Module 레이어가 PyTorch 를 통해 직접 적용됩니다.

주요 기여

1. 형식적 프레임워크 (NRA): 학습 가능한 튜플 임베딩으로 관계형 모델을 확장하여 관계형 쿼리 처리와 신경 모델 설계를 통합하는 신경 - 관계형 대수의 도입.
2. 선언적 시스템 (RelaNN): 친숙한 SQL/Datalog 유사 구성 요소를 사용하여 최첨단 그래프 학습 아키텍처를 구현할 수 있는 오픈소스 시스템.
3. 표현력: 명령적 기준선보다 훨씬 적은 줄수의 코드로 그래프 컨볼루션 네트워크 (GCN), 관계형 GCN(R-GCN), 이종 그래프 트랜스포머 (HGT), 하이퍼그래프 신경망 (HyGNN), 딥 호모모피즘 네트워크 (DHN) 를 포함한 복잡한 아키텍처를 표현할 수 있는 능력 입증.
4. 성능: PyTorch Geometric 과 같은 전문 라이브러리와 비교하여 경쟁력 있는 예측 정확도와 런타임 성능을 달성하는 개념 증명 구현.

실험 결과

저자들은 Cora, DBLP, AIFB, CSL, EXP, DrugBank 등 여러 데이터셋에 걸쳐 5 가지 아키텍처를 PyTorch, PyG 참조 구현과 비교 평가했습니다.

• 코드 간결성: RelaNN 프로그램은 기준선 구현보다 약4 배 짧았습니다. 예를 들어, 딥 호모모피즘 네트워크 (DHN) 구현은 RelaNN 에서는 76 줄이 필요한 반면 기준선에서는 259 줄이 필요했습니다.
• 정확도: RelaNN 은 GCN 과 HGT 에 대해 참조 정확도를 재현했습니다. 다른 모델 (R-GCN, HyGNN, DHN) 의 경우, 결과는 기준선의 표준 편차 범위 내에 있거나 정확히 일치했습니다 (예: DHN 의 CSL 데이터셋에서 100% 정확도).
• 런타임:
  • GCN 과 HGT 의 경우, RelaNN 런타임은 기준선의 2 배 이내였습니다.
  • DHN 의 경우, RelaNN 은 기준선보다2 배에서 14 배 빠르며, 이는 선언적 컴파일의 효율성과 복잡한 커스텀 텐서 코드의 회피에 기인합니다.
  • AIFB 데이터셋의 R-GCN 의 경우, RelaNN 은 고도로 최적화된 torch-rgcn 기준선보다 약 30 배 느렸습니다. 저자들은 이는 현재 구현이 최적화되지 않은 개념 증명이며, 기준선이 전문화되어 있기 때문이라고 설명합니다.

중요성과 주장

본 논문은 RelaNN 이 관계형 데이터베이스를 통한 딥러닝을 위한선언적 기반을 제공하며, 중간 그래프 표현 없이 관계형 데이터베이스 위에서 직접 최첨단 신경망을 설계하고 훈련할 수 있음을 입증한다고 주장합니다.

• 간단함: 데이터 변환 및 그래프 구성의 엔지니어링 오버헤드를 제거하여 복잡한 아키텍처 구현을 쿼리 작성만큼 단순하게 만듭니다.
• 통합: 임베딩을 관계형 모델 내의 1 등 시민으로 취급함으로써 논리적 추론과 수치적 추론을 자연스럽게 융합합니다.
• 미래 잠재력: 현재 구현은 프로토타입이지만, 저자들은 이것이 데이터베이스를 통한 딥러닝을 표준 쿼리만큼 접근 가능하게 만드는'구체적인 길'을 나타낸다고 주장합니다. 향후 작업으로는 GPU 메모리보다 큰 데이터셋으로의 확장 (샘플링 및 스트리밍을 통해) 과 성능 격차를 해소하기 위한 쿼리 실행 최적화 (변환 푸시다운, 커널 융합 등) 를 식별합니다.

저자들은 명시적으로 이 작업이 엔터프라이즈 시스템을 대체하려는 것이 아니라, 통합 접근법의 실현 가능성과 간결성을 입증하여 향후 최적화와 관계형 기반 모델의 잠재적 구현을 위한 길을 닦는 것이라고 밝힙니다.