OptBench: An Interactive Workbench for AI/ML-SQL Co-Optimization[Extended Demonstration Proposal]

이 논문은 SQL 과 AI/ML 연산이 혼합된 하이브리드 쿼리를 위한 최적화 기법을 투명하고 공정한 방식으로 구축, 벤치마크 및 시각화할 수 있는 대화형 워크벤치 'OptBench'를 제안합니다.

핵심

이 논문은 **"OptBench"**라는 새로운 도구를 소개합니다. 이 도구를 쉽게 이해하기 위해 **'데이터 요리실'**과 **'요리사 (최적화기)'**의 비유를 들어 설명해 드리겠습니다.

🍳 배경: 왜 이 도구가 필요할까요?

과거 데이터베이스는 주로 계산기처럼 숫자를 더하고 빼는 일 (SQL) 만 했습니다. 하지만 요즘은 데이터베이스 안에 **인공지능 (AI)**과 머신러닝 (ML) 모델까지 넣어서, "이 데이터를 보고 AI 가 예측을 해줘"라고 명령하는 일이 많아졌습니다.

이걸 **'SQL+AI 쿼리'**라고 부르는데, 문제는 이 작업이 매우 복잡하고 비싸다는 것입니다.

• 블랙박스 문제: AI 모델은 어떻게 작동하는지 알 수 없는 '블랙박스'처럼 보입니다.
• 비효율성: 예를 들어, AI 가 모든 데이터를 다 분석해야 할지, 아니면 필터링을 먼저 하고 분석해야 할지 결정하는 것이 매우 어렵습니다.
• 비교의 어려움: 연구자들이 각자 다른 시스템에서 새로운 최적화 방법을 개발하면, "누가 더 잘했는지"를 공정하게 비교하기가 거의 불가능합니다. (다른 요리실에서 다른 재료를 써서 요리를 했으니 맛을 비교할 수 없는 것과 같습니다.)

🛠️ 해결책: OptBench (옵트벤치) 란?

OptBench 는 **"AI 와 SQL 을 함께 요리하는 모든 요리사들을 위한 하나의 통합 주방"**입니다.

1. 공통된 주방 (DuckDB 기반): 모든 요리사 (최적화 알고리즘) 가 같은 주방, 같은 조리도구 (DuckDB) 를 사용합니다. 그래서 누가 더 빠르게, 더 맛있게 요리했는지 공정하게 비교할 수 있습니다.
2. 레시피 변경 도구 (Rewrite Actions): 요리사가 "이 재료를 먼저 다듬으면 더 빨리 익는다"거나 "이 소스를 섞으면 맛이 더 좋아진다"는 아이디어를 실험해 볼 수 있는 도구들입니다.
   • 예시: "데이터가 매우 희박하다면 (Sparse), 일반 칼 대신 특수 칼을 써라"거나 "AI 모델을 조리기구 (Join) 에 넣기 전에 미리 다듬어라" 같은 규칙을 적용할 수 있습니다.
3. 실시간 모니터링 (웹 인터페이스): 요리사가 어떤 결정을 내렸는지, 요리 과정 (실행 계획) 이 어떻게 변했는지, 그리고 최종 요리 시간 (성능) 이 얼마나 단축되었는지 한눈에 볼 수 있는 대시보드를 제공합니다.

🎮 이 도구를 어떻게 쓸까요? (세 가지 시나리오)

이 논문에서는 이 도구를 통해 할 수 있는 세 가지 재미있는 활동을 소개합니다.

1. 나만의 요리사 만들기 (커스텀 최적화기 개발)

• 상황: "내가 생각하기에 데이터가 100 만 개 이상이고 희박할 때는 AI 분석을 먼저 하는 게 나을 거야"라고 가정해 봅니다.
• 행동: OptBench 웹 화면에서 드래그 앤 드롭으로 이 규칙을 만듭니다. (예: "데이터가 100 만 개 이상이고 희박하면 -> '희박한 데이터용 칼'로 교체")
• 결과: 몇 분 만에 새로운 요리사 (최적화기) 가 만들어지고, 기존 요리사와 비교해 누가 더 빨리 요리를 끝내는지 바로 확인합니다.

2. 요리사 대결 (성능 비교)

• 상황: "기본 요리사 (DuckDB 기본값)"와 "내가 만든 AI 특화 요리사"를 한 번에 비교해 봅니다.
• 행동: 같은 재료 (데이터) 로 같은 요리를 시킵니다.
• 결과: 화면 왼쪽에는 기본 요리사의 과정, 오른쪽에는 AI 특화 요리사의 과정이 나란히 뜹니다. "아하! AI 특화 요리사는 조리기구 (Join) 전에 AI 분석을 먼저 해서 85 초 걸리던 걸 2 초로 줄였구나!"라고 구체적인 이유와 시간 차이를 바로 알 수 있습니다.

3. 외부 요리사 초대 (확장성)

• 상황: 이미 다른 곳에서 개발된 복잡한 AI 최적화 알고리즘이 있다면?
• 행동: OptBench 에 그 알고리즘을 '파일'로 업로드합니다.
• 결과: 그 외부 요리사도 우리 주방에 합류해서, 기존 요리사들과 함께 경쟁하고 비교해 볼 수 있습니다.

💡 핵심 요약

OptBench 는 **"AI 와 데이터를 함께 처리할 때, 어떤 방법이 가장 좋은지 연구자들이 쉽고 공정하게 실험하고 비교할 수 있게 해주는 놀이터"**입니다.

• 이전: 각자 다른 곳에서 실험해서 "내 방법이 최고야!"라고 주장만 했음.
• 이제: 같은 주방에서 같은 재료로 실험해서, **"누가 왜 더 빨랐는지"**를 눈으로 확인하고 증명할 수 있음.

이 도구를 통해 데이터 과학자와 연구자들은 더 빠르고 효율적인 AI 시스템을 만드는 데 집중할 수 있게 될 것입니다.

기술 요약

OptBench: AI/ML-SQL 공동 최적화를 위한 인터랙티브 워크벤치

1. 문제 정의 (Problem)

최근 데이터베이스 워크로드는 관계형 데이터 처리와 인공지능 (AI)/머신러닝 (ML) 파이프라인이 결합된 하이브리드 "SQL+AI/ML" 쿼리가 증가하고 있습니다. 이러한 쿼리는 조인 (Join), 필터링, 집계와 같은 관계형 연산자와 벡터 변환, 심층 신경망 (DNN), 트랜스포머 모델 등 비용이 많이 들고 불투명한 ML 연산자 (주로 UDF 로 표현됨) 가 혼합되어 실행됩니다.

이러한 환경에서 최적화를 수행하는 데는 다음과 같은 주요 어려움이 존재합니다:

• 블랙박스 ML 연산자: ML 연산자는 전통적인 최적화기에 불투명하며, 데이터에 의존적인 효과 (희소성, 선택도, 카디널리티 등) 가 실행 시간에 지배적인 영향을 미칩니다.
• 최적화 규칙의 부재: "비싼 모델 호출 전에 강력한 필터 적용"이나 "희소성에 따른 커널 전환"과 같은 실용적 휴리스틱을 단일 모놀리식 최적화기에 통합하기 어렵습니다.
• 공정한 비교의 어려움: 기존 연구 프로토타입 (MADLib, Raven, LMFAO 등) 은 서로 다른 데이터베이스 시스템 (PostgreSQL, SQLServer, Oracle 등) 에서 구현되어 있어, 동일한 하드웨어와 쿼리 세트를 사용한 '사과 대 사과 (apples-to-apples)' 비교가 불가능합니다.
• 검증의 투명성 부족: 최적화 과정이 블랙박스처럼 처리되어, 어떤 규칙이 발동되었는지, 데이터 통계가 어떻게 결정에 영향을 미쳤는지 파악하기 어렵습니다.

2. 방법론 (Methodology)

이 논문은 이러한 문제를 해결하기 위해 OptBench라는 인터랙티브 워크벤치를 제안합니다. OptBench 는 DuckDB를 기반으로 구축되었으며, 다음과 같은 핵심 아키텍처와 기능을 제공합니다:

• 통합 백엔드 및 확장성: 모든 최적화기를 DuckDB 위에서 실행하여 동일한 실행 환경과 통계 인터페이스를 제공합니다.
• 확장 가능한 ML 함수 라이브러리: DuckDB C++ UDF 로 캡슐화된 다양한 ML 연산자 (선형 대수, 데이터 전처리, 신경망, 트리 기반 모델 등) 를 제공합니다.
• 확장 가능한 재작성 액션 (Rewrite Actions) 라이브러리:
  • SQL-ML 공동 최적화 기법을 적용하는 재사용 가능한 변환 규칙입니다.
  • 예시: 밀집 행렬 곱을 희소 행렬로 전환 (MatMulDense2Sparse), ML 연산을 조인/집계 형태로 관계형화 (Relationalizing ML), 신경망 UDF 체인을 융합된 Torch 연산자로 변환 (Fuse2TorchNN), ML 연산을 필터/조인 아래로 푸시다운 (MLDecompositionPushdown) 등.
  • 알고리즘 1 에 명시된 대로 트리 구조를 순회하며 계획 (Plan) 과 식 (Expression) 에 대해 재작성을 적용합니다.
• 확장 가능한 통계 추정 (Statistics Estimation):
  • 관계형 연산자에 대한 DuckDB 기본 카디널리티 추정을 기반으로, ML 연산자 특유의 통계 (희소성 비율, FLOPS, 파라미터 수 등) 를 샘플링을 통해 추가적으로 추정합니다.
• 다양한 벤치마크 쿼리 세트:
  • Expedia, Flights, CreditCard 데이터셋, TPCx-AI 벤치마크 (고객 세분화, 스팸 감지 등), IDNet(이미지 기반 추론) 등 10 가지 이상의 다양한 SQL+ML 쿼리를 포함합니다.
• 웹 기반 인터랙티브 UI:
  • 쿼리 선택, 최적화기 정의 (드래그 앤 드롭 또는 코드), 재작성 액션 관리, 두 최적화기의 논리적 실행 계획 (Logical Plan) 을 나란히 시각화, 통계 확인, 벤치마크 결과 (지연 시간) 비교 기능을 제공합니다.

3. 주요 기여 (Key Contributions)

1. OptBench 프로토타입 제안: 새로운 SQL-ML 쿼리 최적화기를 쉽게 개발하고, 다양한 최적화기로 쿼리를 실행하며, 투명한 비교와 '사과 대 사과' 벤치밍이 가능한 인터랙티브 워크벤치를 구축했습니다.
2. 웹 기반 비교 및 벤치밍 도구: 사용자가 새로운 최적화기를 업로드하거나 정의하고, 여러 최적화기를 선택하여 나란히 실행 계획과 성능 결과를 시각화할 수 있는 UI 를 제공합니다.
3. 상호작용형 데모 시나리오 설계:
   • 최적화기 개발: 웹 UI 를 통해 통계 기반 규칙을 정의하여 새로운 최적화기를 즉시 생성하고 테스트하는 과정.
   • 성능 비교: 다양한 쿼리 세트를 사용하여 이질적인 최적화기들 간의 성능 차이를 정량적으로 분석하는 과정.

4. 결과 및 성과 (Results)

• 성능 향상 사례: 데모에서 제시된 규칙 기반 최적화기 예시는, 대규모 조인과 희소한 특징 벡터를 가진 쿼리에서 MLDecompositionPushdown (ML 연산자를 조인 아래로 이동) 과 MatMulDense2Sparse (희소 커널 사용) 규칙을 적용하여 실행 시간을 85 초에서 1.976 초로 약 43 배 단축시켰습니다.
• 개발 효율성: 새로운 사용자가 워크벤치를 열고 간단한 규칙 기반 최적화기를 정의하여 저장하는 데 약 4 분이 소요되었으며, 이는 복잡한 최적화 로직을 빠르게 프로토타이핑할 수 있음을 보여줍니다.
• 투명한 분석: 최적화기가 어떤 통계 (예: 조인 비율, 희소성) 를 기반으로 어떤 액션을 발동시켰는지, 그리고 그로 인해 실행 계획이 어떻게 변형되었는지를 시각적으로 명확하게 보여줍니다.

5. 의의 (Significance)

• 연구 및 개발의 표준화: 서로 다른 시스템에서 구현된 SQL-ML 최적화 기술들을 동일한 환경에서 공평하게 비교할 수 있는 표준 플랫폼을 제공합니다.
• 최적화 과정의 투명성 확보: 최적화기의 내부 결정 과정 (어떤 규칙이 발동되었는지, 통계가 어떻게 활용되었는지) 을 시각화하여 디버깅과 성능 향상을 용이하게 합니다.
• 데이터 과학자와 연구자의 접근성 향상: 복잡한 분산 시스템 설정 없이도 DuckDB 기반의 경량화된 환경에서 인-데이터베이스 (In-database) ML 파이프라인을 실험하고 성능 병목 현상을 진단할 수 있게 합니다.
• 미래 지향성: 추후 다른 데이터베이스 시스템으로의 확장을 염두에 두고 설계되었으며, AI/ML 연산자와 관계형 연산자의 공동 최적화 (Co-optimization) 를 위한 새로운 전략 (인자화, 푸시다운, 선형 대수에서 관계형 대수로의 변환 등) 을 탐구하는 핵심 도구로 작용할 것입니다.

이 논문은 AI/ML 과 데이터베이스의 융합이 가속화되는 시대에, 효율적인 하이브리드 쿼리 최적화를 위한 필수적인 도구와 방법론을 제시한다는 점에서 중요한 의의를 가집니다.