[기술 요약] TEXT2SQL-FLOW: Text-to-SQL을 위한 강건한 SQL 인식 데이터 증강 프레임워크

1. 문제 정의 (Problem Statement)

최근 AI 패러다임이 알고리즘 중심에서 **데이터 중심(Data-centric)**으로 이동함에 따라, Text-to-SQL 작업에서도 고품질 데이터의 확보가 핵심 과제로 떠오르고 있습니다. 그러나 기존의 Text-to-SQL 데이터셋(Spider, BIRD 등)은 다음과 같은 한계를 가집니다:

• 데이터 부족 및 다양성 결여: 수동 주석(Manual annotation)에 의존하여 규모가 작고, 데이터 도메인과 쿼리 구조가 단순함.
• 구조적 단순성: 복잡한 SQL 문법(Window function, Subquery, Join 등)을 포함하는 실제 환경의 쿼리를 충분히 반영하지 못함.
• 합성 데이터의 한계: 기존의 LLM 기반 합성 데이터 생성 방식은 기존 데이터셋에 내재된 풍부한 구조적/의미적 정보를 충분히 활용하지 못함.

2. 제안 방법론 (Methodology)

본 논문은 제한된 시드(Seed) 데이터로부터 대규모의 의미론적으로 유효하고 구조적으로 다양한 Text-to-SQL 쌍을 생성하는 TEXT2SQL-FLOW 프레임워크를 제안합니다.

A. 분포 수준의 다양성 증강 (Distribution-level Diversity)

데이터 도메인과 스키마의 다양성을 높이기 위해 **데이터 웨어하우스(Database Warehouse)**에서 보조 데이터베이스를 선택합니다.

• 스키마 복잡도 점수(Schema Complexity Score): 테이블 수, 컬럼 수, 외래 키(FK) 밀도를 기반으로 복잡도를 계산하고, 이를 백분위 순위로 변환하여 다양한 복잡도를 가진 데이터베이스를 균등하게 선택합니다.

B. 쿼리 수준의 다양성 증강 (Query-level Diversity)

기존 SQL 쿼리를 기반으로 6가지 차원의 증강 전략을 사용하여 쿼리의 구조적 복잡성을 높입니다:

1. 데이터 값 변환 (DVT): 필터링 조건, 날짜 범위, 수치 임계값 등 변경.
2. 쿼리 구조 수정 (QSM): Window function ↔ Aggregation 전환, Subquery/CTE 도입 등.
3. 비즈니스 로직 변경 (BLC): 분석 목적이나 도메인(예: 매출 $\rightarrow$ 재고) 변경.
4. 복잡도 향상 (CE): 추가 필터링, JOIN 추가, CASE 문 도입.
5. 고급 SQL 기능 (ASF): Set operation(UNION, INTERSECT), 재귀 CTE 등 활용.
6. 성능 및 최적화 (PO): 인덱스 활용 및 쿼리 재구조화.

C. 엔드투엔드 파이프라인 (End-to-End Pipeline)

생성된 데이터의 품질을 보장하기 위해 다음의 필터링 및 생성 단계를 거칩니다:

• SQL 실행 가능성 필터: EXPLAIN 명령어를 통해 문법 오류가 없는 실행 가능한 쿼리만 선별.
• 자연어(NL) 질문 생성: 11가지 언어적 스타일(격식, 구어체, 의문문 등)을 적용하여 질문 생성.
• NL-SQL 대응 필터: LLM을 사용하여 생성된 질문과 SQL이 동일한 의도를 갖는지 검증.
• CoT(Chain-of-Thought) 생성: 모델의 추론 능력을 높이기 위해 단계별 사고 과정(의도 분석 $\rightarrow$ 스키마 해석 $\rightarrow$ SQL 구축)을 함께 생성.

D. 폐쇄형 LLM을 위한 마스크 정렬 검색 (Masked Alignment Retrieval)

GPT-4와 같은 폐쇄형 모델의 성능을 높이기 위해, 질문과 SQL 사이의 구조적 유사성을 학습하는 검색 모델을 제안합니다.

• Masking 전략: 테이블/컬럼명, 문자열 리터럴, 숫자 등 스키마에 종속적인 세부 정보를 마스킹하여, 모델이 지엽적인 단어가 아닌 **쿼리의 논리적 구조(Skeleton)**에 집중하도록 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. TEXT2SQL-FLOW 프레임워크 제안: 시드 데이터를 활용해 고품질의 대규모 데이터를 체계적으로 생성하는 자동화된 파이프라인 구축.
2. SQLFLOW 데이터셋 구축: 75,386개의 고품질 주석 데이터를 포함하는 새로운 데이터셋 구축.
3. 구조 인식 검색 방법론: 마스킹 전략을 통해 NL 질문과 SQL 쿼리 간의 미세한 구조적 정렬을 수행하는 새로운 검색 방식 제안.

4. 실험 결과 (Results)

• 오픈소스 LLM 미세 조정(Fine-tuning): SQLFLOW로 학습된 모델(Qwen2.5-Coder 등)은 동일한 데이터 규모의 기존 합성 데이터(SynSQL)보다 우수한 성능을 보였으며, 특히 EHRSQL 벤치마크에서 비약적인 성능 향상(34.6% $\rightarrow$ 53.7%)을 기록했습니다.
• 폐쇄형 LLM 프롬프팅(Prompting): 제안된 마스크 정렬 검색 방식을 적용했을 때, 기존의 의미론적 유사도 기반 검색보다 훨씬 높은 정확도를 보였습니다 (BIRD-dev 61.0%, Spider-dev 83.5%).
• 강건성(Robustness): 데이터 생성 시 사용된 LLM의 종류(GPT-4o, Claude, Gemini 등)에 관계없이 프레임워크 자체가 안정적인 고품질 데이터를 생성함을 입증했습니다.

5. 의의 (Significance)

본 연구는 Text-to-SQL 분야에서 **"데이터의 양보다 질과 구조적 다양성이 중요하다"**는 것을 실증적으로 보여주었습니다. 특히 단순한 텍스트 생성을 넘어 SQL의 문법적 특성과 데이터베이스 스키마의 구조를 깊이 있게 반영하는 증강 방식은, 향후 데이터 중심 AI 개발에서 고도로 정밀한 합성 데이터 생성의 표준 모델을 제시했다는 점에서 큰 의의가 있습니다.