기술 요약: 대규모 데이터베이스에는 작고 개방형 가중치(Open-Weight)를 가진 언어 모델이 필요하다

문제 정의

관계형 데이터베이스 시스템에 언어 모델(LM)을 통합하는 작업은 기존의 독점적 API 기반 언어 모델이 가진 비용 및 지연 시간 모델로 인해 어려움을 겪고 있다. 현재 시스템들은 종종 토큰 기반 과금 방식을 따르는데, 이로 인해 LM이 강화된 관계형 연산자를 통해 대규모 데이터베이스를 처리할 경우 막대한 비용(예: 단 한 번의 실험 세트에 10,000달러 초과)이 발생하거나 상당한 지연 시간이 유발될 수 있다. 이러한 경제적 장벽은 심도 있는 연구와 실질적인 배포를 제한한다. 또한, 기존의 하이브리드 LM-DB 시스템에 관한 문헌은 주로 대규모 폐쇄형 모델(주로 20B 파라미터 이상)을 활용하고 있으며, 이는 최적화된 소프트웨어 인프라를 통해 작은 규모의 개방형 가중치 모델이 훨씬 적은 비용으로 대등한 성능을 달erm할 수 있는지에 대한 이해의 공백을 남긴다.

방법론

저자들은 로컬 환경에서 양자화된 개방형 가중치 모델을 데이터베이스 쿼리 엔진에 통합하도록 설계된 시스템인 BlendSQL v0.1.0을 제안한다. 본 방법론은 다음 세 가지 핵심 축에 집중한다:

1. 시스템 아키텍처 및 쿼리 언어

BlendSQL은 표준 SQL로 컴파일되는 쿼리 언어로, 전통적인 SQL 연산자와 일반화 가능한 LM 함수를 결합할 수 있게 한다.

• 다형적 함수 (Polymorphic Functions): 수많은 특정 연산자 대신, BlendSQL은 두 가지 핵심 함수를 사용한다:
  • llmqa: 데이터 서브셋을 스칼라 또는 컬렉션 출력으로 변환하는 집계 함수 (예: 순위 매기기, RAG).
  • llmmap: 특정 컬럼 값에 자연어 질문을 적용하는 행 단위(row-wise) 함수.
• 제약된 디코딩 (Constrained Decoding): 시스템은 llmguidance를 사용하여 데이터 타입 및 옵션 세트에 대한 엄격한 준수를 강제하며, 이를 통해 출력값이 쿼리 컨텍스트 내에서 유효하도록 보장한다 (예: 유효한 JSON 스키마 또는 특정 범주형 선택).
• 원샷 프롬프팅 (One-Shot Prompting): 시스템은 토큰 오버헤드를 늘리지 않으면서 정확도를 높이기 위해 타입 정렬된 원샷 프롬프팅을 채택한다.

2. 쿼리 최적화 전략

LM 호출의 계산 비용을 완화하기 위해, BlendSQL은 비용 모델($C(f) \ll C(llmqa) < C(llmmap)$)을 추상화하고 네 가지 주요 전략을 적용하는 규칙 기반 최적화 도구를 구현한다:

• 계층적 필터링 (Cascade Filtering): LM 술어(predicate)를 순차적으로 배치하여, 후속 함수가 이전 필터를 모두 만족하는 행만 처리하도록 함으로써 불필요한 호출을 방지한다.
• 조기 종료 (Early Exiting): LIMIT 절이 포함된 쿼리의 경우, 시스템은 필요한 행의 수가 충족되는 즉시 LM 생성을 중단하고 진행 중인 비동기 요청을 취소한다.
• 조기 중복 제거 (Early Deduplication): llmmap에 값을 전달하기 전, 시스템은 입력값을 중복 제거(SELECT DISTINCT 활용)하고 결과를 재결합함으로써, 중복 계수에 비례하여 LM 호출 횟수를 줄인다.
• 사전 필터링 및 구체화 (Pre-filtering and Materialization): 최적화 도구는 일반 SQL 술어를 아래로 밀어넣고(push down), LM 함수를 호출하기 전에 필터링된 서브셋을 임시 테이블로 구체화하여 I/O 및 데이터 전송을 최소화한다.

3. 실험 설정

• 하드웨어: 실험은 NVIDIA RTX 5080 (16GB VRAM), 64GB RAM, AMD Ryzen 5 7600X를 갖춘 로컬 워크스테이션에서 수행되었다.
• 모델: 본 연구는 vLLM을 통해 실행되는 양자화된 Gemma 3 및 Gemma 4 제품군(특히 Gemma 4 E4B 및 E2B)을 활용하였다.
• 벤치마크: 텍스트, 이미지, 오디오 모달리티를 아우르는 다섯 가지 시나리오(Movie, Wildlife, E-Commerce, Cars, MMQA)를 포함하는 SemBench 벤치마크를 사용하였다.
• 베이스라인: Gemini 2.5 Flash와 같은 독점 API 및 호환 가능한 LOTUS, Palimpzest, ThalamusDB와 같은 오픈 소스 시스템과 비교하였다.

주요 결과

본 연구는 작은 규모의 개방형 가중치 모델이 효과적인 시스템 최적화와 결합될 때, 특정 맥락에서 폐쇄형 모델과 대등하거나 더 나은 성능을 보일 수 있음을 입증한다.

• 비용 및 지연 시간 감소: BlendSQL과 Gemma 4 E4B를 결 함께 사용했을 때, 전체 SemBench 벤치마크 세트 기준 Gemini 2.5 Flash를 사용하는 평균적인 SemBench 시스템에 비해 비용은 390배 감소(226.64달러에서 0.58달러로 감소)하였고, 지연 시간은 3.8배 단축되었다.
• 품질 성능:
  • 텍스트: 로컬 Gemma 4 E4B 모델은 모든 시나리오에서 폐쇄형 대안 모델들을 상대로 57%의 승리 또는 무승부(win-or-tie) 비율을 기록했다. MMQA(0.85 대 0.70)와 Wildlife(0.54 대 0.51) 시나리오에서 평균 베이스라인을 능가했으며, Movie 시나리오에서는 베이스라인(0.72 대 0.74)에 근접한 성능을 보였다.
  • 멀티모달 격차: 오디오 비중이 높은 시나리오(예: "Cars" 시나리오)에서는 개방형 가중치 모델이 0.53을 기록하여 베이스라인의 0.67에 비해 유의미한 품질 격차가 나타났다. 저자들은 이를 현재 소규모 개방형 가중치 모델들이 가진 오디오 및 이미지 이해 측면의 모달리티 격차 때문이라고 분석했다.
• 확장성: 스케일 팩터 4,000에서 최대 268GB의 CPU 메모리에 도달하는 선형 메모리 스케일링을 보인 베이스라인 시스템들(LOTUS, Palimpzest, ThalamusDB)과 달리, BlendSQL은 약 18GB의 거의 일정한 메모리 점유율을 유지하며 소비자급 하드웨어에서도 실행이 가능함을 보여주었다.
• 절제 연구 (Ablation Studies): 기능 절제 실험을 통해 조기 중복 제거가 가장 큰 지연 시간 절감 효과(Movie 시나리오에서 최대 40초)를 제공하며, 제약된 디코딩이 잘못된 출력을 방지함으로써 분류 작업의 점수를 최대 0.35까지 높이는 데 결정적인 역할을 한다는 것을 확인했다.

의의 및 주장

본 논문은 효과적인 LM-데이터베이스 통합을 위해 폐쇄형 LM API가 반드시 필요하다는 가정은 잘못되었다고 주장한다. 로컬 하드웨어를 통해 가능해진 토큰 기반 과금 모델에서 시간 기반(시간당 컴퓨팅 비용) 모델로의 전환을 통해, 연구자들은 다음과 같은 성과를 얻을 수 있다:

1. 접근성: LM-DB 연구의 진입 장벽을 획기적으로 낮추어, 막대한 비용 없이도 대규모 실험을 가능하게 한다.
2. 재현성: 실험 결과가 독점 API 엔드포인트의 변동성이나 시간 경과에 따른 품질 변화에 영향을 받지 않도록 보장한다.
3. 인프라 혁신: 소프트웨어 인프라(최적화 도구, 제약된 디코딩, 캐싱)가 기본 모델의 선택만큼이나 다운스트림 성능을 예측하는 중요한 요소임을 입증한다.

저자들은 작은 규모의 개방형 가중치 모델이 현재 멀티모달(오디오/이미지) 이해 능력에서는 뒤처져 있지만, 적절히 활용될 경우 텍스트 기반 작업에서는 엄격히 우월하며, 하이브리드 LM-DB 시스템을 위한 실행 가능하고 비용 효율적인 경로를 제공한다고 결론짓는다.