Towards Effective Orchestration of AI x DB Workloads

이 논문은 데이터베이스 엔진과 AI 를 통합한 'AIxDB' 시스템이 직면한 쿼리 최적화, 실행 스케줄링, 분산 처리, 트랜잭션 관리 및 보안 등의 과제를 논의하고, 이를 해결하기 위한 설계 방안과 초기 성능 결과를 제시합니다.

핵심

🍽️ 현재 상황: 비효율적인 '외부 배달' 방식

지금까지 우리가 AI 를 사용할 때의 방식은 마치 레스토랑 주방 (데이터베이스) 이 요리 재료를 다 꺼내서, 밖의 '요리 전문가 (AI 런타임)'에게 배달을 보내고, 다시 완성된 요리를 가져와서 손님에게 주는 방식과 같습니다.

1. 불필요한 이동: 재료를 주방에서 밖으로 나갔다가 다시 들어오느라 시간이 많이 걸립니다 (데이터 전송 오버헤드).
2. 안전 문제: 재료가 외부로 나가는 동안 도둑맞을 위험이 커집니다 (보안 및 개인정보 유출).
3. 혼란: 주방장은 밖에서 무슨 일이 일어나는지 모릅니다. "이 재료가 얼마나 신선한지", "요리사가 지금 바쁜지"를 알 수 없어 전체적인 효율이 떨어집니다.

이 논문은 **"왜 재료를 밖으로 보내나요? 요리 전문가를 주방 안으로 초대해서 함께 일하게 합시다!"**라고 말합니다.

---

🚀 이 논문이 제안하는 해결책: 'NeurEngine' (지능형 주방)

저자들은 AI 와 DB 가 하나의 시스템 안에서 자연스럽게 어우러져 작동하는 **'NeurEngine'**이라는 새로운 주방을 설계했습니다. 이를 위해 세 가지 핵심 원칙을 세웠습니다.

1. 전체적인 협업 (Holistic Co-Optimization)

• 비유: 기존에는 주방장 (DB) 이 재료를 다듬고, 요리사 (AI) 가 요리를 하는 식으로 각자 따로 최적화를 했습니다. 하지만 NeurEngine 은 **"재료를 다듬는 순서와 요리하는 순서를 동시에 고려"**합니다.
• 예시: "손님이 '매운맛'을 원한다면, 매운 재료를 먼저 골라내서 (DB 작업) 그 재료만 요리사에게 주는 식으로" 전체 과정을 한 번에 계획합니다. 이렇게 하면 불필요한 작업을 줄이고 속도를 높일 수 있습니다.

2. 똑똑한 창고 관리 (Unified Cache Management)

• 비유: 주방에 이미 다듬어 둔 채소나 반찬이 있다면, 매번 새로 다듬을 필요가 없습니다. NeurEngine 은 **데이터와 AI 가 만든 결과물 (예: 모델의 중간 계산 결과) 을 모두 하나의 '똑똑한 창고'**에 저장합니다.
• 효과: 같은 재료를 여러 손님이 주문해도, 창고에서 꺼내서 바로 쓰면 됩니다. 재료를 다시 사오거나 (데이터 재검색), 다시 다듬는 (계산 재실행) 시간을 아껴줍니다.

3. 철저한 보안과 질서 (Access Control & Isolation)

• 비유: 여러 손님이 한 주방을 공유한다고 가정해 봅시다. A 손님의 비밀 레시피가 B 손님의 테이블에 넘어가면 안 되죠. NeurEngine 은 각 손님의 요리 과정과 재료 접근 권한을 세밀하게 통제합니다.
• 특징: AI 가 데이터를 분석할 때도, "이 손님은 이 재료만 볼 수 있다"는 규칙을 AI 작업 자체에 적용하여, 민감한 정보가 유출되지 않도록 막습니다.

---

🧪 실험 결과: 실제로 효과가 있을까요?

저자들은 이 아이디어를 **'NeurEngine'**이라는 시제품으로 만들어 테스트했습니다.

• 결과: 여러 명의 요리사 (GPU) 가 동시에 일할 때, 기존 방식은 서로 발을 밟고 서툴렀지만, NeurEngine 은 요리사들이 서로의 작업을 알아서 배분하고, 재료를 공유하여 훨씬 더 많은 요리를 빠르게 만들었습니다.
• 장점: 속도가 빨라졌고, 메모리 (주방 공간) 를 덜 쓰면서도 더 많은 주문을 처리할 수 있었습니다.

---

💡 결론: 왜 이것이 중요한가요?

이 논문은 **"AI 와 DB 는 이제 따로 놀지 말고, 같은 팀이 되어야 한다"**고 주장합니다.

앞으로 AI 에이전트들이 복잡한 업무를 처리할 때, 데이터를 밖으로 꺼내지 않고 데이터베이스 안에서 바로 AI 가 사고하고 결정할 수 있게 되면:

1. 속도: 실시간으로 더 빠른 결정을 내릴 수 있습니다.
2. 안전: 데이터가 외부로 노출될 위험이 사라집니다.
3. 효율: 컴퓨터 자원 (전기, 비용) 을 훨씬 아낄 수 있습니다.

즉, 이 연구는 AI 시대의 데이터 처리 방식을 '외부 배달'에서 '내부 통합'으로 혁신하여, 더 똑똑하고 안전한 디지털 세상을 만드는 기초를 닦는 작업입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 데이터 중심 AI 애플리케이션은 데이터를 DB 에서 외부 머신러닝 런타임으로 내보내고, 처리한 후 다시 DB 로 가져오는 비효율적인 '내보내기 - 실행 - 가져오기' (Export-Execute-Import) 패러다임을 따릅니다. 이 방식은 다음과 같은 심각한 문제를 야기합니다.

• 높은 오버헤드: 데이터 이동 및 변환에 따른 지연 시간과 비용 증가.
• 데이터 드리프트 (Data Drift) 대응력 부족: 실시간 데이터 변화에 대한 모델의 적응성 저하.
• 보안 및 격리 문제: 다중 테넌트 환경에서 데이터 접근 제어 및 AI 연산의 격리가 미흡하여 공격 표면이 확대됨.
• 최적화 부재: DB 연산자 (Join, Aggregation 등) 와 AI 연산자 (Inference, Training 등) 가 분리되어 있어 전체 파이프라인의 성능을 공동으로 최적화 (Co-optimization) 하기 어려움.

2. 핵심 개념 및 방법론 (Methodology)

2.1 AI×DB 워크로드 정의

논문은 AI 에이전트가 메타데이터를 참조하고, 관계형 쿼리를 통해 데이터를 검색하며, 분석 모델을 호출하여 결과를 검증하는 반복적 (Iterative), 동시적 (Concurrent), 공유 가능 (Shareable) 인 워크로드를 AI×DB 워크로드로 정의합니다.

2.2 세 가지 핵심 설계 원칙

기존 DBMS 와의 불일치를 해결하기 위해 다음과 같은 세 가지 원칙을 제시합니다.

1. 전체적 AI×DB 공동 최적화 (Holistic AI×DB Co-Optimization):
   • 관계형 처리와 AI 실행을 분리하지 않고 통합된 최적화기 (Optimizer) 를 통해 쿼리 재작성, 물리적 실행 계획 수립, 리소스 할당을 동시에 수행합니다.
   • AI 연산자의 배치 (Placement) 와 캐싱 상태를 고려한 비용/품질 모델을 적용합니다.
2. 통합 AI×DB 캐시 관리 (Unified AI×DB Cache Management):
   • 데이터 페이지뿐만 아니라 임베딩, 모델 캐시, 중간 활성화 값 등 이질적인 AI 아티팩트를 1 등 객체 (First-class entities) 로 취급하여 통합 캐시를 관리합니다.
   • 반복적 계산과 데이터/모델 이동의 중복을 제거합니다.
3. 세분화된 접근 제어 및 격리 (Fine-Grained Access Control and Isolation):
   • AI 추론 과정에서도 데이터 접근 정책을 준수하도록 하며, 다중 테넌트 환경에서 GPU 메모리 및 연산 자원의 격리를 보장합니다.
   • AI 특유의 유출 경로 (멤버십 추론 등) 를 감지하고 대응하는 감사 (Auditing) 메커니즘을 포함합니다.

2.3 프로토타입: NeurEngine

위 원칙을 구현한 개념 증명 (Proof-of-Concept) 시스템인 NeurEngine을 제안합니다.

• 통합 선언형 인터페이스: PREDICT 및 TRAIN ON 구문을 SQL 에 확장하여 모델 호출을 쿼리 내부에서 처리합니다.
• 전체적 쿼리 컴파일러 및 옵티마이저: 논리적 계획을 DB 와 AI 연산자가 혼합된 물리적 계획으로 변환하며, 지연 시간 (Latency) 과 품질 (Quality) 간의 트레이드오프를 고려한 최적화를 수행합니다.
• 자가 주행 실행 엔진 (Self-driving Execution Engine):
  • 스트림 기반 DB 처리와 배치 기반 AI 처리를 동적 배칭 (Dynamic Batching) 으로 조율합니다.
  • 공통 서브식 제거 (CSE) 를 통해 여러 쿼리 간 중복 계산을 제거합니다.
  • 부하 분산을 위해 실행 중인 쿼리와 상태 (KV Cache 등) 를 다른 GPU 인스턴스로 동적으로 재스케줄링 (Rescheduling) 합니다.
• 멀티티어 캐시 관리: GPU 메모리, 호스트 메모리, 보조 저장소 간의 자원 관리를 학습 기반으로 적응형으로 수행합니다.

3. 주요 기여 (Key Contributions)

1. AI×DB 워크로드의 공식적 정의 및 특성 분석: 반복적, 동시적, 공유 가능한 특성을 가진 새로운 워크로드 모델을 정립하고, 기존 DBMS 와의 근본적인 불일치를 규명했습니다.
2. 데이터베이스 네이티브 오케스트레이션 패러다임 제시: AI 연산자를 블랙박스가 아닌 DB 의 1 등 객체로 취급하여 전체 파이프라인을 통합 관리하는 새로운 아키텍처를 제안했습니다.
3. 개방형 연구 과제 도출: 쿼리 최적화 (재작성 규칙, 비용 모델), 실행 스케줄링 (동기/비동기 조화), 캐시 정책, 보안 및 격리 등 해결해야 할 핵심 기술적 난제를 체계적으로 정리했습니다.
4. NeurEngine 프로토타입 구현 및 검증: PostgreSQL 기반의 NeurDB 를 확장하여 NeurEngine 을 구현하고, 실제 워크로드에서의 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

NeurEngine 은 24 코어 CPU 와 8 개의 NVIDIA RTX 3090 GPU 환경에서 평가되었습니다.

• 확장성 (Scalability): AI 엔진 (GPU) 수를 1 개에서 16 개로 늘렸을 때, NeurEngine 은 이상적인 선형 확장 (Linear Scaling) 에 근접하는 처리량 (Throughput) 향상을 보였습니다. 반면, 기존 방식 (Baseline) 은 데이터 이동 오버헤드와 최적화 부재로 인해 확장성이 제한적이었습니다.
• 다중 테넌트 성능 (Multi-tenant Performance): 8 개의 동시 테넌트가 텍스트 임베딩 쿼리를 실행하는 시나리오에서 NeurEngine 은 테넌트 간 요청을 통합 배칭하고 길이에 따라 버킷화 (Bucketing) 함으로써, 기존 방식 대비 더 높은 처리량을 달성했습니다.
• 리소스 효율성: NeurEngine 은 테넌트별 모델 복제본을 로드하는 방식에 비해 GPU 메모리 사용량을 크게 절감하여 더 많은 테넌트를 지원할 수 있음을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 AI 와 DB 의 융합이 단순한 외부 서비스 연동이 아닌, 데이터베이스 엔진 내부에서의 네이티브 오케스트레이션으로 나아가야 함을 주장합니다.

• 성능 향상: 데이터 이동 오버헤드 제거와 공동 최적화를 통해 엔드투엔드 성능을 극대화합니다.
• 거버넌스 강화: AI 연산 과정에서도 데이터 접근 제어와 격리를 보장하여 보안 위험을 줄입니다.
• 미래 지향성: AI 에이전트 기반의 복잡한 데이터 분석 워크로드를 효율적으로 지원할 수 있는 차세대 데이터베이스 시스템의 청사진을 제시합니다.

결론적으로, 이 연구는 AI×DB 워크로드를 효과적으로 지원하기 위한 공통 추상화, 벤치마크, 시스템 기반을 마련하기 위해 커뮤니티가 협력해야 할 방향을 제시하며, 데이터 관리 분야의 새로운 연구 의제를 설정했습니다.