Sema: A High-performance System for LLM-based Semantic Query Processing

LLM 기반의 의미적 쿼리 처리를 위해 DuckDB 를 기반으로 구축된 Sema 는 자연어 표현을 SQL 에 통합하고 적응적 쿼리 실행 (AQE) 을 통해 토큰 소비와 지연 시간을 최적화함으로써 기존 시스템 대비 2~10 배의 성능 향상을 달성합니다.

핵심

🚀 세마 (Sema): AI 가 데이터를 읽는 '초고속' 도서관 사서

이 논문은 **"대규모 언어 모델 (LLM, 예: ChatGPT)"**과 **"전통적인 데이터베이스"**를 만나게 하여, 두 세계의 장점을 모두 살리는 새로운 시스템 **<세마 (Sema)>**를 소개합니다.

기존 방식의 문제점과 세마가 어떻게 해결책을 제시하는지, 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이런 시스템이 필요할까요? (기존의 문제점)

상상해 보세요. 거대한 도서관 (데이터베이스) 이 있는데, 책장에는 수백만 권의 책 (데이터) 이 꽉 차 있습니다.

• 기존 방식 A (DataFrame): 도서관 사서가 직접 책을 하나하나 꺼내서 눈으로 읽는 방식입니다.
  • 문제: 책이 너무 많으면 사서가 지쳐서 죽습니다. (속도가 매우 느림)
• 기존 방식 B (SQL UDF): 사서가 "이 책 내용 요약해 줘"라고 AI 에게 물어보는 방식입니다.
  • 문제: 사서가 AI 에게 물어볼 때마다 도서관의 전체 시스템이 멈춥니다. AI 가 대답할 때까지 기다려야 하니까요. 또한, 사서는 AI 가 어떤 책을 골라야 할지, 어떤 순서로 물어봐야 가장 효율적인지 전혀 모릅니다. (최적화가 안 됨)

결론: AI 는 똑똑하지만, 데이터를 대량으로 처리할 때는 너무 느리고 비쌉니다.

---

2. 세마 (Sema) 의 등장: "AI 를 도서관 사서의 '일등 시민'으로!"

세마는 **"AI 가 직접 도서관 사서 업무를 수행하되, 도서관의 고속 시스템 (DuckDB) 을 그대로 활용하자"**고 제안합니다.

🌟 핵심 기능 1: "자연어"로 질문하기 (SemaSQL)

기존에는 "데이터베이스에 있는 'A'라는 열이 'B'라는 조건을 만족하는지 확인해"라고 복잡한 코드를 써야 했지만, 세마는 **"이 리뷰가 '유용한' 리뷰인지 확인해"**라고 한국어 (또는 영어) 로 자연스럽게 말하면 됩니다.

• 비유: 사서에게 "이 책이 재미있어?"라고 물어보면, AI 가 책 내용을 읽고 "네, 재미있어요"라고 답하는 것입니다.

🌟 핵심 기능 2: "말 줄이기"와 "미리 걸러내기" (옵티마이저)

사용자가 "이 리뷰가 정말 유용하고, 긍정적인 감정을 담고 있으며, 500 자 이상인 리뷰를 찾아줘"라고 길고 복잡한 말을 하면, 세마는 AI 가 이해하기 쉽게 핵심만 남긴 짧은 문장으로 바꿔줍니다.

• 비유: 사용자가 "내일 비가 올까 봐 우산을 챙겨야 하고, 비가 오면 우산이 필요하니까..."라고 길게 말하면, 세마는 "내일 비 오면 우산 챙겨"라고 요약해서 AI 에게 전달합니다.
• 더 놀라운 점: "유용한 리뷰"라는 조건 중 "제목이 'nan'(없음) 이면 제외"라는 부분은 AI 에게 물어볼 필요도 없이, 컴퓨터가 자동으로 미리 걸러냅니다. (AI 에게 물어보는 횟수를 줄여 비용과 시간을 아낍니다.)

🌟 핵심 기능 3: "한 번에 여러 명 처리" (실행 최적화)

기존에는 책을 한 권씩 AI 에게 보여주고 답변을 기다렸다면, 세마는 한 번에 10 권, 20 권을 묶어서 AI 에게 보여줍니다.

• 비유: 사서가 "이 책 10 권을 한 번에 읽어보고 요약해 줘"라고 하면, AI 는 한 번의 작업으로 10 권을 처리합니다. (이것을 '프롬프트 배칭'이라고 합니다.)
• 또 다른 비유: 두 가지 조건 (유용함 + 긍정적) 을 따로따로 물어보는 대신, **"유용하고 긍정적인 리뷰"**라고 하나로 합쳐서 한 번에 물어봅니다. (이것을 '연산자 융합'이라고 합니다.)

🌟 핵심 기능 4: "상황에 맞춰 실시간 전략 변경" (적응형 실행)

가장 중요한 부분입니다. 세마는 실행을 시작하기 전에 **작은 샘플 데이터 (예: 100 권 중 3 권)**를 먼저 테스트해 봅니다.

• 비유: 사서가 "오늘은 AI 가 느릴까, 빠를까?"를 먼저 테스트해 봅니다.
  • 만약 AI 가 느리다면? -> 비용을 아끼기 위해 여러 권을 묶어서 한 번에 보냅니다.
  • 만약 AI 가 빠르다면? -> 속도를 위해 한 권씩 빠르게 처리합니다.
  • 만약 두 조건이 서로 상관관계가 있다면? -> 두 조건을 하나로 합쳐서 처리합니다.
• 이 모든 과정을 실시간으로 계산해서 가장 빠르고 저렴한 방법을 선택합니다.

---

3. 실험 결과: 얼마나 빨라졌나요?

연구진은 20 가지 다양한 질문 (데이터 분류, 요약, 정보 추출 등) 으로 세마를 테스트했습니다.

• 속도: 기존 시스템보다 2 배에서 10 배까지 빨라졌습니다. (가장 복잡한 질문일수록 더 빨라짐)
• 정확도: 속도가 빨라졌지만, AI 가 답한 내용의 정확도는 기존 시스템과 거의 비슷했습니다.
• 비용: AI 에게 물어보는 횟수가 줄어들어 비용도 크게 절감되었습니다.

---

4. 요약: 세마가 가져온 변화

세마는 **"AI 를 데이터 분석에 쓸 때, 너무 느리고 비싸다는 편견을 깨뜨린 시스템"**입니다.

• 이전: AI 에게 물어보면 시스템이 멈춤. → 지루함.
• 이후 (세마): AI 를 도서관의 고속 시스템에 자연스럽게 녹여냄. → 초고속!

한 줄 요약:

"세마는 AI 가 도서관 사서 일을 할 때, 말도 줄이고 (요약), 한 번에 여러 명 처리하고 (배칭), 상황에 맞춰 전략을 바꾸는 (적응형) 똑똑한 시스템입니다."

이 기술이 발전하면, 우리는 거대한 데이터 속에서 "이 자료들이 무슨 뜻일까?"라고 자연어로 물어보기만 해도, AI 가 순식간에 정답을 찾아줄 날이 머지않았습니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 구조화 및 비구조화 데이터에 대한 강력한 추론 능력을 제공하지만, 이를 데이터 분석 시스템에 통합하는 데에는 다음과 같은 근본적인 한계가 존재합니다.

• 기존 시스템의 비효율성:
  • DataFrame 기반 시스템 (예: Lotus): 사용자 정의 알고리즘을 사용하지만, 현대적 DBMS 의 효율적인 실행 인프라 (벡터화 실행, 파이프라인 병렬 처리 등) 가 부족하여 대규모 데이터 처리 시 비효율적입니다.
  • SQL UDF 기반 시스템 (예: FlockMTL): LLM 을 사용자 정의 함수 (UDF) 로 감싸는 방식은 유연하지만, 시맨틱 로직이 쿼리 최적화기 (Optimizer) 와 실행기 (Executor) 로부터 격리됩니다. 이로 인해 시스템 차원의 최적화가 불가능하고, 구현 및 유지보수의 복잡성이 사용자에게 전가됩니다.
• LLM 연산의 고유한 특성:
  • 비결정성 (Non-determinism): LLM 의 실행 결과는 입력 튜플뿐만 아니라 자연어 (NL) 프롬프트, 모델 버전, 프롬프트 전략에 따라 달라집니다.
  • 비용 및 지연 시간: LLM 호출은 높은 비용과 지연 시간을 발생시키며, 기존 DBMS 의 통계 기반 비용 모델 (Cost Model) 이나 선택도 추정 방식이 적용되지 않습니다.
  • 최적화 규칙의 부재: 기존 관계형 대수 법칙 (교환법칙, 결합법칙 등) 이 시맨틱 연산자에 항상 적용되지 않아, 전통적인 쿼리 재작성 (Rewriting) 기법이 안전하지 않거나 적용 불가능합니다.

2. 방법론 (Methodology)

저자들은 DuckDB 를 기반으로 한 고성능 시맨틱 쿼리 엔진 Sema를 설계했습니다. Sema 는 LLM 기반 시맨틱 연산자를 '1 급 시민 (First-class citizen)'으로 취급하여, 논리적 최적화부터 런타임 적응형 실행까지 엔드 투 엔드 최적화를 지원합니다.

A. SemaSQL (쿼리 인터페이스)

• 자연어 주입: 표준 SQL 절 (SELECT, WHERE, JOIN ON 등) 에 자연어 (NL) 표현식을 직접 주입할 수 있는 선언적 문법을 제공합니다.
• 예시: WHERE s'{translated_review} is a valid user review'와 같이 컬럼을 플레이스홀더 {} 로 감싸 NL 프롬프트를 정의합니다.
• 호환성: 서브쿼리, CTE, 윈도우 함수 등 기존 SQL 기능을 지원하며, RDBMS 와의 완전한 호환성을 유지합니다.

B. 최적화기 (Optimizer) - 논리적 수준

LLM 호출 비용을 줄이기 위해 LLM 을 보조 도구로 활용하여 NL 표현식을 최적화합니다.

1. 표현식 압축 (Expression Compression): CoT(Chain-of-Thought) 프롬프팅을 사용하여 NL 표현식을 불필요한 단어를 제거하고 문장을 단순화하여 토큰 소비를 줄입니다.
2. 술어 추론 (Predicate Deduction): NL 표현식에서 기호적 조건 (예: translated_review != 'nan') 을 추출하여 SQL 필터로 변환합니다. 이를 통해 LLM 호출 없이 튜플을 먼저 필터링하여 불필요한 LLM 호출을 방지합니다.

C. 실행기 (Executor) - 물리적 수준 및 적응형 실행

1. 시맨틱 연산자 퓨전 (Semantic Operator Fusion): 연속된 시맨틱 연산자 (예: 두 개의 SemFilter) 를 하나의 연산자로 병합합니다. 여러 개의 NL 표현식을 하나의 프롬프트로 합쳐 튜플당 LLM 호출 횟수를 줄입니다.
2. 프롬프트 배치 (Prompt Batching): 여러 튜플을 하나의 LLM 프롬프트에 배치하여 API 호출 오버헤드와 네트워크 지연을 줄입니다.
3. 적응형 쿼리 실행 (Adaptive Query Execution, AQE):
   • LLM 연산의 불확실성 (선택도, 정확도, 비용) 으로 인해 정적 최적화가 어렵기 때문에 런타임에 최적 경로를 탐색합니다.
   • 3 단계 프로세스:
     1. 표현식 탐색: 소량의 데이터로 각 필터의 선택도와 상관관계를 분석합니다.
     2. 경로 탐색: 퓨전, 배치, 재순서화 등 다양한 실행 경로 (Candidate Paths) 를 소량 데이터로 테스트하여 정확도, 지연 시간, 토큰 비용을 측정합니다.
     3. 경로 활용: Pareto 최적 경로 (지연 시간 vs 비용 vs 정확도 트레이드오프) 를 선택하여 나머지 대량 데이터를 처리합니다.

D. 엔지니어링 세부 사항

• 동시성: DuckDB 의 파이프라인 병렬 실행 엔진을 확장하여, 각 워커 스레드가 독립적인 HTTP 연결 풀을 유지하도록 설계했습니다. 이를 통해 LLM API 호출 시 교차 스레드 동기화 오버헤드를 제거하고 높은 처리량을 달성합니다.

3. 주요 기여 (Key Contributions)

1. Sema 시스템 설계: DuckDB 기반의 고성능 시맨틱 쿼리 엔진으로, LLM 연산자를 네이티브 연산자로 통합하여 엔드 투 엔드 최적화를 가능하게 함.
2. SemaSQL 언어: 자연어 표현식을 SQL 에 자연스럽게 주입할 수 있는 선언적 문법 제안.
3. 최적화 기술:
   • 논리적 수준: LLM 보조 NL 표현식 압축 및 SQL 술어 추론.
   • 런타임 수준: 적응형 쿼리 실행 (AQE) 을 통한 연산자 퓨전, 프롬프트 배치, 동적 재순서화.
4. 포괄적인 벤치마크: 9 개의 데이터셋과 20 개의 다양한 시맨틱 쿼리 (분류, 요약, 추출) 로 구성된 벤치마크를 통해 기존 시스템 대비 성능을 입증.

4. 실험 결과 (Results)

Sema 는 20 개의 쿼리를 대상으로 Lotus (DataFrame 기반), Palimpzest (파이프라인 기반), FlockMTL (UDF 기반) 과 비교 평가되었습니다.

• 성능 (속도):
  • Sema 는 Lotus 대비 2~4 배, Palimpzest 대비 2~10 배의 속도 향상 (Speedup) 을 달성했습니다.
  • 특히 복잡한 쿼리 (Q6-Q20) 에서 벡터화 실행과 파이프라인 병렬 처리의 이점이 두드러졌습니다.
• 품질 (정확도):
  • Sema 는 Lotus 와 Palimpzest 와 비교해 경쟁력 있는 결과 품질을 유지했습니다. (F1 점수, 정확도 등)
  • UDF 기반인 FlockMTL 은 대부분의 메트릭에서 성능이 현저히 낮았습니다.
• 최적화 효과:
  • 표현식 최적화: NL 압축은 토큰 소비를 줄이고, 술어 추론은 LLM 호출 횟수를 대폭 감소시켰습니다.
  • AQE 효과: 원격 API 환경에서는 네트워크 오버헤드 감소로 인해 배치와 퓨전이 지연 시간과 비용 모두를 개선시켰으며, 로컬 환경에서는 데이터 특성에 따라 유연하게 최적 경로를 선택했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: LLM 기반 시맨틱 쿼리 처리를 단순한 'UDF 추가'가 아닌, DBMS 의 핵심 최적화 엔진에 통합된 '네이티브 기능'으로 승격시켰습니다.
• 실용성: 개발자가 복잡한 AI 연산자 구현 없이도 자연어로 복잡한 데이터 분석을 수행할 수 있게 하여, AI 기반 분석의 접근성을 높였습니다.
• 효율성과 유연성의 균형: LLM 의 비결정성과 높은 비용을 고려한 적응형 실행 전략 (AQE) 을 통해, 정확도, 비용, 지연 시간 사이의 최적 균형을 찾는 시스템을 제시했습니다.

이 논문은 데이터베이스 시스템과 대형 언어 모델의 융합을 위한 새로운 아키텍처를 제시하며, 향후 지능형 데이터 관리 시스템의 표준으로 자리 잡을 가능성을 보여줍니다.