Automating Database-Native Function Code Synthesis with LLMs

1. 연구 배경 및 문제 정의 (Problem)

현대 데이터베이스 시스템 (PostgreSQL, DuckDB, SQLite 등) 은 새로운 애플리케이션 지원 및 비즈니스 마이그레이션 (예: Oracle 에서 PostgreSQL 로 전환) 을 위해 커널에 내장된 네이티브 함수 (Native Functions) 의 수가 급격히 증가하고 있습니다. 그러나 이러한 함수를 자동으로 생성하는 것은 다음과 같은 이유로 매우 어렵습니다.

• 복잡한 내부 구조: 하나의 SQL 함수는 여러 개의 하위 함수 유닛 (Function Units) 으로 나뉘며, 각 유닛은 서로 다른 입력 타입에 대해 별도의 구현이 필요합니다 (예: date_trunc 함수는 타임스탬프, 인터벌 등 다양한 타입에 대해 별도의 유닛 등록 필요).
• 정교한 참조 의존성: 구현 시 기존에 존재하는 수천 개의 내부 매크로, 유틸리티 함수, 그리고 시스템 카탈로그 등록 코드를 정확히 참조해야 합니다. 이를 누락하거나 잘못 사용하면 컴파일 오류나 시맨틱 오류가 발생합니다.
• 기존 LLM/에이전트 방법의 한계:
  • 할루시네이션: LLM 은 데이터베이스 특유의 내부 의존성 (예: pg_proc.dat 등록, 특정 헤더 파일 포함) 을 간과하거나 잘못된 코드를 생성합니다.
  • 비효율적인 탐색: 에이전트 기반 방법 (Claude Code 등) 은 관련 없는 파일을 무작위로 검색하는 데 시간을 낭비하며, 코드 생성과 검증에 집중하지 못합니다.
  • 정적 전략: 함수의 복잡도 (단순 수학 함수 vs 복잡한 집계 함수) 에 따라 유연하게 대응하지 못하고, 모든 함수를 처음부터 작성 (From-scratch) 하려 합니다.

2. 제안 방법: DBCooker (Methodology)

저자들은 DBCooker라는 LLM 기반 자동 합성 시스템을 제안했습니다. 이는 데이터베이스 커널의 구조적 특성을 반영하여 설계된 세 가지 핵심 모듈로 구성됩니다.

2.1 함수 특성화 모듈 (Function Characterization Module)

LLM 이 함수의 구조를 정확히 이해하도록 돕는 전처리 단계입니다.

• 다중 소스 선언 수집: 공식 문서와 시스템 카탈로그 (예: pg_proc) 를 분석하여 함수의 시그니처, 인자, 반환 타입을 추출합니다.
• 고유 함수 유닛 식별: 그래프 기반 정적 분석을 통해 하나의 SQL 함수가 매핑되는 여러 내부 유닛 (Distinctive Units) 을 식별하고, 공통된 보조 유닛 (Reusable Units) 과 구분합니다.
• 유닛 간 참조 분석: 정적 의존성 그래프를 통해 필요한 내부 참조 (매크로, 유틸리티 함수) 를 추출하고, 불필요한 세부 구현은 제거하여 핵심 컨텍스트만 제공합니다.

2.2 함수 합성 연산 (Function Code Synthesis Operations)

추출된 정보를 바탕으로 코드를 생성하는 3 단계 프로세스입니다.

1. 의사 코드 기반 계획 생성 (Pseudo-based Coding Plan Generation):
   • LLM 에게 직접 코드를 작성하게 하는 대신, 먼저 구조화된 코드 스케레톤 (Skeleton) 을 생성합니다.
   • 필요한 파일 경로, 함수 유닛 분해, 참조할 매크로 등을 명시한 계획을 생성하고, 신뢰도 점수 (Faithfulness) 를 기반으로 최적의 계획을 선별합니다.
2. 점진적 코드 합성 (Progressive Code Synthesis):
   • Fill-in-the-blank 모델: 전체 코드를 처음부터 작성하는 대신, 유사한 기존 함수의 템플릿을 가져와 빈칸을 채우는 방식을 사용합니다.
   • 적응형 모델 (Adaptive Model): 만약 템플릿 기반 생성이 실패하면 (예: 잘못된 매크로 참조), 확률적 감쇠를 통해 '처음부터 작성 (From-scratch)' 모드로 전환하는 롤백 메커니즘을 적용합니다.
3. 3 단계 점진적 검증 (Three-Stage Code Validation):
   • 구문 검증 (Syntax): ANTLR 등을 사용하여 문법 오류 확인.
   • 준수성 검증 (Compliance): 데이터베이스의 빌드 도구 (make) 를 사용하여 내부 규약 (등록 일관성 등) 준수 여부 확인.
   • 시맨틱 검증 (Semantic): LLM 이 생성한 테스트 케이스를 실행하여 예상 출력이 맞는지 확인.

2.3 적응형 도구 오케스트레이션 (Adaptive Tool Orchestration)

함수의 복잡도에 따라 고정된 워크플로우가 아닌, 동적으로 도구를 호출하는 전략입니다.

• Operation-as-Tool: 코드 생성, 검증, 파일 검색 등을 모두 '호출 가능한 도구'로 추상화합니다.
• 메모리 증강 오케스트레이션: 과거 유사 함수의 합성 성공/실패 경로 (Trajectory) 를 메모리에 저장하고, LLM 이 현재 컨텍스트와 유사한 경로를 참조하여 다음 도구를 동적으로 선택하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 자동화 시스템: 데이터베이스 함수의 구성을 분석하고, 내부 참조를 생성하며, 다양한 복잡도의 함수를 적응적으로 합성하는 첫 번째 LLM 기반 시스템 (DBCooker) 을 제안했습니다.
2. 구체적인 모듈 설계:
   • 선언 추출 및 유닛 식별을 통한 함수 특성화 모듈.
   • 의사 계획 생성, 하이브리드 Fill-in-the-blank, 3 단계 검증을 통한 고유 함수 유닛 합성 전략.
   • LLM 기반 의사결정과 경로 재사용을 결합한 적응형 오케스트레이션 메커니즘.
3. 성능 입증: SQLite, PostgreSQL, DuckDB 에서 SOTA(최첨단) 방법론 (Claude Code, Qwen Code 등) 보다 평균 34.55% 높은 정확도를 달성했습니다.
4. 새로운 함수 합성: 최신 SQLite(v3.50) 에 존재하지 않던 4 가지 범주의 새로운 함수를 성공적으로 합성하여 데이터베이스 기능 확장을 증명했습니다.

4. 실험 결과 (Results)

• 전체 정확도: DBCooker 는 실행 가능 정확도 (AccEXE) 와 결과 정확도 (AccRES) 에서 기존 방법론을 크게 앞섰습니다. (예: PostgreSQL 에서 AccEXE 78.62% vs 기존 최고 46.9%)
• 오류 감소: 선언 오류 (Incorrect Declaration) 및 참조 오류 (Incorrect Reference) 가 가장 큰 비중을 차지하는데, DBCooker 는 이를 획기적으로 줄였습니다.
• 난이도별 성능:
  • Hard 함수: 복잡한 집계 함수나 다중 유닛이 필요한 경우, 기존 LLM 은 정확도가 급격히 떨어지지만 (약 22%), DBCooker 는 68.97% 의 높은 정확도를 유지했습니다.
  • 카테고리별: 수학, 날짜, 문자열, JSON 등 모든 카테고리에서 일관된 높은 성능을 보였습니다.
• Ablation Study: 함수 특성화, 계획 생성, 검증, 오케스트레이션 등 모든 구성 요소가 필수적이며, 특히 3 단계 검증이 PostgreSQL 과 같은 복잡한 DB 에서 정확도 향상에 결정적인 역할을 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 단순한 코드 생성을 넘어, 데이터베이스 커널 수준의 엄격한 제약 조건을 만족하는 코드 합성을 가능하게 했습니다.

• 검색을 넘어선 합성: 단순히 파일을 찾는 것 (Retrieval) 을 넘어, 데이터베이스의 내부 규약과 의존성을 이해하고 검증하는 과정이 필수적임을 증명했습니다.
• 확정적 정확성 보장: 확률적 생성 모델 (LLM) 의 한계를 보완하기 위해, 정적 분석과 점진적 검증을 결합하여 확정적인 정확성을 확보하는 프레임워크를 제시했습니다.
• 실용적 가치: 레거시 시스템 마이그레이션 시 발생하는 수동 코드 리팩토링 비용 (30-60% 예산) 을 획기적으로 줄이고, 데이터베이스 기능 확장을 자동화할 수 있는 실용적인 솔루션을 제공합니다.

DBCooker 는 데이터베이스 시스템의 진화와 함께 지속적으로 발전하는 LLM 기술과 결합하여, 향후 데이터베이스 개발의 패러다임을 바꿀 수 있는 중요한 연구로 평가됩니다.