SQaLe: A Large Text-to-SQL Corpus Grounded in Real Schemas

이 논문은 실제 스키마를 기반으로 대규모 반합성 텍스트 -SQL 데이터셋인 SQaLe 를 소개하며, 13 만 5 천 개 이상의 스키마와 51 만 7 천 개 이상의 고품질 질의 -스키마 -SQL 삼중체를 포함하여 기존 벤치마크보다 더 현실적이고 일반화 가능한 텍스트 -SQL 연구 환경을 조성한다고 주장합니다.

핵심

SQALE: 데이터베이스를 위한 '실제 상황' 훈련 교재

이 논문은 인공지능(AI)이 사람의 자연어 질문을 데이터베이스 언어(SQL)로 번역하는 능력을 키우기 위해 만든 거대한 새로운 데이터셋, SQALE에 대해 소개합니다.

기존의 방법론이 가진 문제와 SQALE 이 어떻게 해결책을 제시하는지, 마치 요리 학교와 실전 훈련에 비유하여 쉽게 설명해 드리겠습니다.

---

1. 문제: "가짜 식당"에서 요리하는 AI

지금까지 AI 가 데이터베이스를 다루는 법을 배우기 위해 사용했던 교재 (데이터셋) 들은 대부분 가짜 식당에서 만들어졌습니다.

• Spider, BIRD 같은 기존 데이터셋: 마치 요리 학교의 연습용 시나리오처럼, 테이블이 5~10 개 정도밖에 없는 아주 작고 단순한 식당을 상상해 보세요. 질문도 "햄버거 몇 개 팔았어?"처럼 매우 단순합니다.
• 현실의 문제: 실제 기업이나 병원, 은행의 데이터베이스는 이보다 훨씬 복잡합니다. 테이블이 수백 개, 수천 개가 서로 얽혀 있고, 데이터의 구조도 제각각입니다.
• 결과: 가짜 식당 (단순 데이터) 에서 요리 실력을 키운 AI 는, 실제 거대한 식당 (복잡한 기업 데이터) 에 들어가면 당황해서 요리를 못 합니다.

2. 해결책: SQALE, "현실 기반의 거대한 요리 학교"

저자들은 이 문제를 해결하기 위해 SQALE이라는 새로운 데이터를 만들었습니다. SQALE 은 단순히 가짜 데이터를 많이 만든 것이 아니라, 실제 존재하는 데이터베이스의 뼈대를 가져와서 확장한 것입니다.

🏗️ SQALE 의 핵심 특징 (세 가지 비유)

1. "실제 건물의 청사진"에서 시작 (Real Schemas)

• 비유: 기존 데이터셋은 종이로 만든 장난감 집 모델이었다면, SQALE 은 실제 도시의 **건물 설계도 (SchemaPile)**에서 가져온 것입니다.
• 내용: 실제 세상에서 쓰이는 13 만 5 천 개 이상의 데이터베이스 구조를 바탕으로 했습니다. 테이블이 100 개가 넘는 거대한 기업용 시스템부터 작은 스타트업용 시스템까지 다양합니다.

2. "현실적인 혼란"을 포함 (Realism & Ambiguity)

• 비유: 요리 학교의 연습 문제는 "소금 1g, 설탕 2g 넣으세요"라고 정확히 적혀 있지만, 실제 주방에서는 "약간 짜게 해줘"나 "그거 좀 더 달게 해줘"처럼 애매한 주문이 많습니다.
• 내용: SQALE 은 실제 데이터베이스처럼 약칭이 섞여 있거나, 테이블 이름이 제각각이거나, 데이터 연결 (외래키) 이 완벽하지 않은 경우까지 포함합니다. AI 가 이런 '불완전한 현실'에서도 추론하는 법을 배우게 합니다.

3. "수백만 개의 실전 주문" (51 만 7 천 개의 질문)

• 비유: 이 학교에는 51 만 7 천 개의 다양한 주문 (질문) 이 있습니다. "어제 매출이 가장 높은 메뉴는?"부터 "A 부서와 B 부서의 직원을 합쳐서 연봉이 높은 순서대로 정렬해 줘"처럼 매우 복잡하고 긴 주문까지 다양합니다.
• 내용: AI 가 이 방대한 양의 데이터를 학습하면, 어떤 복잡한 질문이 들어와도 적절한 SQL(데이터베이스 명령어) 을 만들어낼 수 있게 됩니다.

3. 어떻게 만들었나요? (생성 파이프라인)

저자들은 AI(대규모 언어 모델) 를 '건축가'와 '요리사'로 활용하여 데이터를 만들었습니다.

1. 확장 (Extension): 실제 작은 데이터베이스를 가져와서 AI 가 "이걸 더 큰 기업용 시스템으로 확장해 줘"라고 지시하면, AI 가 새로운 테이블과 관계를 자연스럽게 추가합니다. (실제처럼 100 개 이상의 테이블로 키움)
2. 질문 생성 (Question Synthesis): 확장된 데이터베이스를 보고, 실제 사람이 할 법한 자연스러운 질문을 만듭니다. "어제 날씨와 사용자 로그인을 비교해 줘" 같은 질문들입니다.
3. 검증 (Validation): 만들어진 질문과 SQL 코드가 실제로 실행 가능한지, 오류는 없는지 AI 가 스스로 테스트하고 걸러냅니다.

4. 왜 이것이 중요한가요?

• 규모의 법칙 (Scaling Laws): 머신러닝에서는 "데이터가 많고 복잡할수록 AI 가 더 똑똑해진다"는 법칙이 있습니다. SQALE 은 기존 데이터셋보다 데이터 양이 훨씬 많고, 구조가 훨씬 복잡합니다.
• 미래의 전망: 이 데이터로 훈련된 AI 는 이제 단순한 실험실 장난감이 아니라, 실제 은행, 의료, 기업 시스템에서 실제 업무를 처리할 수 있는 전문가로 성장할 수 있는 발판을 마련했습니다.

📝 한 줄 요약

"기존의 AI 는 가상의 작은 식당에서 요리만 배웠지만, SQALE 은 실제 거대한 도시의 복잡한 식당들에서 실전 훈련을 시켜주어, AI 가 현실 세계의 데이터 문제를 해결할 수 있게 만든 거대한 교재입니다."

이 데이터셋은 누구나 무료로 다운로드하여 사용할 수 있으며, 앞으로 더 똑똑한 데이터베이스 AI 를 만드는 데 핵심적인 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 제기 (Problem)

텍스트를 SQL 로 변환하는 (Text-to-SQL) 기술은 대규모 언어 모델 (LLM) 의 발전으로 급격히 진전되었으나, 범용적이고 일반화 가능한 모델을 개발하는 데에는 여전히 주요한 병목 현상이 존재합니다.

• 데이터의 부재: 기존 데이터셋 (Spider, BIRD, Spider 2.0 등) 은 규모가 작고, 스키마 (Schema) 의 다양성과 복잡성이 부족하며, 도메인 커버리지가 제한적입니다.
• 현실성 결여: 기존 벤치마크는 실제 산업 환경의 데이터베이스 구조를 충분히 반영하지 못하거나, 인공적으로 생성된 단순한 스키마에 의존하는 경향이 있습니다.
• 확장성 한계: 표준 NLP 코퍼스에 비해 Text-to-SQL 데이터의 규모가 턱없이 작아, 대규모 모델 학습을 위한 '스케일링 법칙 (Scaling Laws)'을 적용하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 SQALE이라는 대규모 반-합성 (semi-synthetic) Text-to-SQL 데이터셋을 구축하기 위해 원칙에 기반한 생성 파이프라인을 제안했습니다. 이 파이프라인은 실제 데이터베이스 스키마를 기반으로 하여 현실성과 다양성을 동시에 확보합니다.

A. 데이터 소스 및 확장 (Schema Extension)

• 기반 데이터: 실제 세계의 22,989 개 데이터베이스 스키마가 포함된 SchemaPile을 기반으로 합니다.
• 스키마 확장: LLM(Qwen3 30B) 을 사용하여 기존 스키마를 점진적으로 확장합니다.
  • 5~25 개의 합성 테이블을 추가하여 목표하는 쿼리 복잡도 분포 (쿼리당 중앙값 4 개의 JOIN) 를 맞춥니다.
  • 스키마 크기는 100 개 (모드) 에서 최대 350 개 (Spider 2.0 기준) 테이블까지 감마 분포를 따르도록 설계하여 다양한 규모의 데이터베이스를 포함합니다.
  • 원래 스키마의 네이밍 컨벤션, 정규화 수준, 외래키 (Foreign Key) 무결성을 유지하도록 프롬프트를 설계했습니다.

B. 질문 및 쿼리 생성 (Question & Query Synthesis)

• 질문 생성: BIRD 와 Spider 2.0 의 실제 쿼리 예시를 참조하여 자연어 질문을 생성합니다. 템플릿 기반 방식이 아닌 오픈형 생성 방식을 채택하여 문체, 길이, 복잡성의 다양성을 극대화했습니다.
• SQL 생성 (ReFoRCE 프레임워크):
  • 생성된 질문에 대해 ReFoRCE(Text-to-SQL 에이전트) 를 사용하여 여러 SQL 후보를 생성합니다.
  • 투표 (Voting) 과정을 통해 최선의 후보를 선정하고, 실제 스키마에 대해 실행 가능한지 검증합니다.
  • 이상치 (Outliers) 를 필터링하고 주석 등을 제거하여 최종 쿼리를 확정합니다.

C. 설계 기준 (Design Criteria)

현실성과 다양성을 보장하기 위해 8 가지 핵심 기준을 적용했습니다:

1. 스키마 수준: 크기 다양성 (C1), 밀도 및 정규화 (C2), 외래키 무결성 (C3), 네이밍 관습 (C4).
2. 쿼리 수준: JOIN 복잡도 (C5), 연산자 다양성 (C6), 의도 다양성 (C7), 언어적/의미적 모호성 (C8).

3. 주요 기여 (Key Contributions)

1. 대규모 데이터셋 구축: 135,875 개의 스키마에서 파생된 **517,676 개의 고품질 (질문, 스키마, 쿼리) 3 중체 (Triples)**로 구성된 SQALE 데이터셋을 공개했습니다.
2. 실제 기반 생성 파이프라인: 인공 스키마가 아닌 실제 스키마를 기반으로 하며, LLM 과 ReFoRCE 프레임워크를 결합한 체계적인 생성 프로세스를 제시했습니다.
3. 심층 분석 및 벤치마크: 기존 데이터셋 (BIRD, Spider 2.0, SynSQL 등) 과의 비교 분석을 통해 SQALE 이 가진 현실성과 복잡성의 우월성을 입증했습니다.

4. 결과 및 통계 (Results)

SQALE 은 기존 데이터셋을 압도하는 규모와 복잡성을 보여줍니다.

• 스키마 규모 (Table 1):
  • 스키마 수: 135,875 개 (SynSQL 의 16,575 개, BIRD 의 80 개 대비 압도적).
  • 평균 테이블 수: 스키마당 중앙값 91 개 (BIRD: 5 개, Spider 2.0: 7 개).
  • 외래키 (FK) 관계: 총 1,320 만 개 이상의 FK 관계를 포함하여 실제 데이터베이스의 복잡한 관계를 반영합니다.
• 쿼리 복잡도 (Table 2):
  • JOIN 포함률: 76.1% (BIRD: 76.2%, Spider 2.0: 72.0% 와 유사한 수준).
  • 다양한 연산자: 집계, 서브쿼리, 집합 연산 등 다양한 SQL 구문을 포함하며, 실제 분석 작업 부하를 잘 시뮬레이션합니다.
• 품질 검증: 300 개의 샘플을 수동으로 무작위 점검하여 데이터의 정확성과 실행 가능성을 확인했습니다.

5. 의의 및 중요성 (Significance)

• 모델 일반화 및 확장성: SQALE 은 대규모 모델의 성능 향상을 위한 '데이터 스케일링'을 가능하게 합니다. 더 크고 복잡하며 다양한 데이터셋을 통해 모델의 Text-to-SQL 성능이 비례하여 향상될 것이라는 가설을 검증할 수 있는 토대를 마련했습니다.
• 현실적인 평가 기준: 기존 리더보드에서 복잡한 파이프라인이나 대형 모델에 의존하는 경향을 넘어, 실제 산업 환경 (Enterprise settings) 에서 발생할 수 있는 복잡한 스키마와 모호한 질문을 처리하는 능력을 평가하는 새로운 표준을 제시합니다.
• 연구 인프라: HuggingFace 를 통해 공개된 이 데이터셋은 향후 Text-to-SQL 연구의 새로운 기준이 될 것이며, 실제 데이터베이스 인터페이스 개발에 필수적인 자원이 될 것입니다.

결론적으로, SQALE 은 인공적인 단순함을 탈피하고 실제 데이터베이스의 복잡성과 규모를 충실히 반영한 최초의 대규모 Text-to-SQL 코퍼스로, 차세대 Text-to-SQL 모델 개발의 핵심 인프라가 될 것으로 기대됩니다.