기술 요약: BEAVER: 텍스트 -SQL 을 위한 기업용 벤치마크

문제 제기

기존 텍스트 -SQL 벤치마크 (예: Spider, BIRD) 는 잘 구조화된 스키마, 명시적 조인 관계, 그리고 상대적으로 단순한 쿼리를 가진 공개 데이터베이스로 구성되었습니다. 대규모 언어 모델 (LLM) 이 이러한 벤치마크에서 높은 정확도를 달성하지만, 사내 기업 환경에서의 유효성은 아직 입증되지 않았습니다. 기업 데이터 웨어하우스는 다음과 같은 고유한 도전 과제를 제시합니다:

• 스키마 복잡성: 스키마는 크고, 이질적이며, 지속적으로 진화하며, 종종 암호화된 열 이름과 제한된 문서화를 가진 수백 개의 테이블을 포함합니다.
• 암시적 관계: 조인 관계는 외래 키를 통해 명시되는 대신 빈번히 암시적입니다.
• 도메인 지식: 자연어 쿼리를 해결하는 것은 종종 스키마에 명시적으로 인코딩되지 않은 도메인별 지식 (예: "Stata 빌딩"을 내부 ID 로 매핑) 을 추출하는 것을 필요로 합니다.
• 쿼리 정교함: 기업용 쿼리는 깊은 중첩, 공통 테이블 표현식 (CTE), 고급 윈도우 함수, 그리고 여러 조인을 포함하는 고도로 분석적인 특성을 가집니다.
• 평가 한계: 표준 "실행 정확도"(전부 또는 전무) 지표는 여러 복합적인 도전 과제가 동시에 존재할 때 특정 실패 모드를 진단하지 못합니다.

방법론

1. 데이터셋 구축 (BEAVER)

저자들은 사내 기업 데이터 웨어하우스에서 파생된 최초의 텍스트 -SQL 벤치마크인 BEAVER를 소개합니다.

• 소스 데이터: 이 데이터셋은 교육, 시설, 네트워킹 등 19 가지 다양한 도메인을 아우르는 3 개의 익명화된 기업 웨어하우스 (DW, NW, SP) 에서 구축되었으며, 실제 사용자 쿼리 로그 및 생산 보고서에서 유래한 812 개의 테이블과 9,128 개의 질문-SQL 쌍을 포함합니다.
• 데이터 합성 (구조적 템플릿 재구성): 프라이버시 제약으로 인해 접근 가능한 기업 로그의 부족을 극복하기 위해, 저자들은 체계적인 파이프라인을 제안합니다:
  1. 템플릿 추출: 실제 로그에서 반복적인 분석 패턴 (기본 SELECT-FROM-JOIN-WHERE-집계, 중첩, CTE, 그리고 도메인 지식 술어) 을 추출합니다.
  2. 반복적 구성: 이러한 템플릿은 구체적인 값 (테이블, 열, 인스턴스) 으로 인스턴스화되고 LLM 을 사용하여 반복적으로 구성됩니다.
  3. 도전 과제 격리: 이 파이프라인은 특정 도전 과제를 격리하는 쿼리를 생성합니다: 도메인 지식 없이 높은 복잡성, 도메인 지식과 함께 낮은 복잡성, 그리고 둘의 조합.
  4. 검증: 모든 합성 쿼리는 실행 가능성과 정확성을 위해 전문가 검증을 거칩니다.

2. 평가 프레임워크

BEAVER 는 인간의 주석과 특정 지표를 가진 다섯 가지 핵심 하위 작업을 도입함으로써 이진 실행 정확도를 넘어섭니다:

1. 다중 테이블 검색: 올바른 테이블 부분집합 식별 (F1 점수).
2. 조인 키 감지: 테이블 간의 암시적 조인 조건 추론 (F1 점수).
3. 열 매핑: 자연어 개념을 모호한 열 이름에 매핑 (F1 점수).
4. 도메인 지식 추출: 최종 SQL 에 포함되지 않은 인스턴스 값 및 도메인 사실 식별 (F1 점수).
5. 쿼리 분해: 복잡한 질문을 하위 문제 (CTE/서브쿼리) 로 분해 (점수 0-100).

주요 기여

1. BEAVER 벤치마크: 사내 기업 환경의 "무질서함"을 반영하는 대규모 데이터셋 (9,128 개 쿼리) 으로, 데이터베이스당 평균 101.5 개의 테이블과 869.4 개의 열을 가진 스키마를 특징으로 하며, Spider 2.0 또는 BIRD 와 같은 기존 벤치마크보다 훨씬 큽니다.
2. 구조적 템플릿 재구성: 엄격한 프라이버시 제약 하에서 실제 작업 부하에 대한 높은 충실도를 유지하면서 기업 데이터셋을 확장하기 위한 원칙적인 방법.
3. 세분화된 평가: 다섯 가지 하위 작업에 대한 인간 주석을 제공하는 프레임워크로, 거친 실행 정확도 너머의 모델 실패에 대한 진단 분석을 가능하게 합니다.
4. 종합적 오류 분류 체계: 잔여 오류에 대한 상세 분석으로, 실패를 분석/구조적 오류, 스키마 링크 오류, 그리고 술어 오류로 분류합니다.

실험 결과

저자들은 BEAVER 에서 일곱 개의 최근 LLM(GPT-5.2, Claude-4.5, Qwen3 포함) 과 네 가지 텍스트 -SQL 방법 (ReFoRCE, DIN-SQL, DAIL-SQL, Few-shot) 을 평가했습니다.

• 성능 격차: 기존 벤치마크에 비해 성능이 크게 저하되었습니다. GPT-5.2 를 사용한 최첨단 에이전트 프레임워크 (ReFoRCE) 는 BIRD/Spider 에서 약 80% 였던 것과 대조적으로 BEAVER 에서 **10.8%**의 실행 정확도만 달성했습니다.
• 하위 작업 분석:
  • 모델은 조인 키 감지, 도메인 지식, 그리고 쿼리 분해에서 가장 낮은 성능을 보였습니다.
  • 명시적 외래 키의 부재와 암호화된 명명 관행으로 인해 조인 키 감지가 특히 어렵습니다.
• 오라클 힌트: 다섯 가지 하위 작업에 대한 주석을 "오라클 힌트"로 제공했을 때, 실행 정확도는 **30.1%**로 향상되었습니다. 이는 이러한 하위 작업을 올바르게 해결하는 것이 주요 병목 현상임을 확인시켜 주지만, 여전히 상당한 잔여 오류가 존재함을 보여줍니다.
• 쿼리 카테고리: 모델은 높은 구조적 복잡성과 도메인 지식을 결합한 쿼리에서 가장 큰 어려움을 겪었습니다. 순수하게 복잡한 쿼리 (도메인 지식 없이) 는 약간 더 쉬웠으며, 낮은 복잡성을 가진 도메인별 쿼리가 가장 관리하기 쉬웠습니다.

오류 분석

하위 작업에 대한 오라클 힌트가 있음에도 불구하고 잔여 오류가 지속되며, 다음과 같이 분류됩니다:

• 분석 및 구조적 오류 (46.8%): 그룹화, 정렬, 고급 함수 (윈도우, 스칼라, 집계), 그리고 쿼리 분해 (예: ROLLUP 의 잘못된 사용) 에서의 실수.
• 스키마 링크 오류 (35.2%): 불투명한 명명 관행으로 인한 잘못된 테이블/열 선택 및 조인 유형.
• 술어 오류 (18.0%): 잘못된 리터럴 값 또는 누락된 필터로, 도메인별 관례 적용 실패를 반영합니다.

의의

이 논문은 BEAVER 를 견고하고 기업 준비가 된 SQL 에이전트 개발을 위한 중요한 단계로 위치시킵니다. 단순화된 공개 벤치마크에서는 성공적이지만, 실제 사내 기업 환경에서 요구되는 복잡한 스키마, 암시적 도메인 지식, 그리고 정교한 분석적 구성 요소를 처리할 수 있는 능력이 현재 텍스트 -SQL 방법에는 아직 부족함을 보여줍니다. BEAVER 는 도전적인 데이터셋과 세분화된 진단 프레임워크를 제공함으로써, 해당 분야를 발전시키기 위해 해결되어야 하는 특정 병목 현상 (특히 하위 작업 해결 및 고급 SQL 구성에서) 을 식별합니다.