기술 요약: UNIQL

문제 정의

Spider 및 BIRD와 같은 현재의 Text-to-SQL 벤치마크는 주로 SQLite 방언에 집중되어 있습니다. 이러한 의존성은 심각한 평가 격차를 발생시킵니다. 즉, 대규모 언어 모델(LLM)이 이질적인 SQL 방언 전반에 걸쳐 그 능력을 일반화할 수 있는지 여부가 불분명합니다. 실제 데이터베이스 시스템(예: PostgreSQL, MySQL, Oracle, Hive)은 구문, 내장 함수, 타입 시스템 및 실행 의미론 측면에서 실질적으로 다릅니다. 결과적으로, 동일한 자연어 의도라도 방언별로 특화된 SQL 구현이 필요합니다. 기존 벤치마크는 단일 방언에 집중하거나 여러 시스템을 다루더라도 동일한 자연어 의도를 이들 간에 정렬하지 않기 때문에, 방언의 차이를 스키마나 작업의 차이와 분리하여 고립시키는 것이 불가능합니다. 이러한 한계는 현재의 Text-to-SQL 시스템의 견고성과 보편성을 과대평가하게 만듭니다.

방법론

저자들은 교차 방언 Text-to-SQL 평가를 위해 설계된 인간 검증 기반의 실행 가능한 벤치마크인 UNIQL을 소개합니다. UNIQL의 구축은 BIRD 개발 세트를 16개의 SQL 방언으로 확장하는 하이브리드 파이프라인을 포함합니다.

데이터셋 구축 파이프라인

1. 데이터베이스 마이그레이션: 기존 BIRD 데이터베이스(SQLite 기반)를 15개의 대상 데이터베이스 시스템(ClickHouse, Doris, Drill, Druid, DuckDB, Hive, MySQL, Oracle, PostgreSQL, Presto, Spark, StarRocks, Teradata, Trino, T-SQL 포함)으로 마이그레이션합니다. 이 과정에는 실행 가능성을 보장하면서 데이터 의미론을 보존하기 위한 스키마 적응, 타입 매핑, 식별자 정규화 및 네임스페이스 적응이 포함됩니다.
2. 자동 번역 및 검증:
   • 규칙 기반 번역: 결정론적 도구(SQLGlot)를 사용하여 초기 대상 방언 쿼리를 생성합니다.
   • 실행 가이드 검증: 번역된 쿼리는 대상 데이터베이스에서 실행됩니다. 쿼리는 성공적으로 실행되고 결과가 소스 SQLite 쿼리와 엄격하게 일치하는 경우에만 자동으로 수락됩니다. 이 프로토콜은 순서 의미론과 중복 개수를 보존하여, 순서가 없는 집합 비교에서 흔히 발생하는 허위 양성(false positives)을 방지합니다.
   • LLM 기반 번역: 규칙 기반 번역에 실패한 쿼리의 경우, LLM(GPT-5-mini)이 소스 SQL, 대상 스키마 및 현재 규칙 세트를 조건으로 하여 번역을 생성합니다.
   • 자기 성찰(Self-Reflection): LLM 번역이 등가성 검증에 실패하면, 모델은 실행 피드백(오류 또는 결과 불일치)을 사용하여 쿼리를 개선하는 제한된 자기 성찰 루프(최대 3회)에 진입합니다.
3. 반복적 규칙 진화: 번역에 실패한 사례들은 재사용 가능한 방언 변환 규칙으로 추상화하기 위해 분석됩니다. 이러한 규칙은 함수 재작성, 타입 변환, 집계 동작과 같은 롱테일 방언 특유의 이슈를 처리하기 위해 반복적으로(Gemini-2.5-Pro를 사용하여) 업데이트됩니다.
4. 인간 검증: 자동 번역, 성찰 또는 규칙 개선을 통해 해결할 수 없는 사례는 인간 주석가에게 전달됩니다. 두 명의 독립적인 주석가가 실행 가능성과 의미론적 일관성을 검토하며, 필요한 경우 원래의 자연어 의도와 일치하도록 쿼리를 재작성합니다.

벤치마크 통계

• 소스: BIRD 개발 세트에서 추출한 1,534개의 자연어 질문.
• 커버리지: 16개의 SQL 방언 (1개 소스 + 15개 타겟).
• 총 주석: 24,544개의 방언별 실행 가능한 SQL 쿼리.
• 정렬: 모든 방언은 동일한 자연어 의도, 정렬된 스키마 및 데이터베이스 콘텐츠를 공유합니다.

평가 프로토콜

본 논문은 **실행 정확도(Execution Accuracy, EX)**를 사용하여 모델을 평가합니다. 출력을 순서가 없는 집합으로 변환하는 기존 벤치마크와 달리, UNIQL의 프로토콜은 명시적인 ORDER BY 절이 존재하는 경우 순서를 보존하고, 순서가 없는 출력에 대해서는 중복 개수를 유지합니다. 모델은 작업별 미세 조정, 퓨샷(few-shot) 선택 또는 방언별 적응 없이 추론 전용 설정에서 평가됩니다.

주요 결과

저자들은 광범위한 오픈 소스(예: Qwen3, Llama-3, DeepSeek) 및 폐쇄형 소스(예: GPT-5, Gemini, Claude) LLM을 평가했습니다.

1. 제한된 방언 보편성: 가장 강력한 모델(예: Claude-4.5-Sonnet)조차 평균 실행 정확도가 약 54.63%에 불과합니다. 이는 실행 가능한 교차 방언 Text-to-SQL 생성이 아직 완성 단계에 훨씬 못 미친다는 것을 나타냅니다.
2. SQLite 중심 편향: SQLite에서의 성능은 다른 방언에서의 성능을 신뢰성 있게 예측하지 못합니다. 예를 들어, 어떤 모델은 SQLite에서 59.84%를 달성하지만 Teradata에서는 37.74%만을 기록할 수 있습니다. 단일 방언 벤치마크는 이러한 유의미한 모델-방언 상호작용을 포착하지 못합니다.
3. 스케일링 효과: 모델 패밀리 내의 더 큰 모델(예: Qwen3-1.7B에서 Qwen3-32B로)은 향상된 성능을 보여주지만, 스케일링은 전반적인 능력을 높일 뿐 방언 특유의 약점을 제거하지는 못합니다. Druid, Presto, Teradata와 같은 어려운 방언은 더 큰 모델에서도 여전히 도전적인 과제로 남습니다.
4. 방언 친숙도: 성능은 모델의 친숙도와 상관관계가 있습니다. 풍부한 공개 문서와 훈련 노출이 있는 Oracle은 학습 데이터에 적게 포함되었거나 복잡한 시스템 특유의 함수를 포함하는 Teradata나 Druid보다 높은 정확도를 보입니다.
5. 교차 방언 일관성: 높은 평균 정확도가 방언 보편적 정답성을 의미하지는 않습니다. 최상의 모델의 경우에도 16개 방언 모두에서 정답을 맞힌 질문은 약 20%에 불과합니다. 또한, 특정 의도의 SQLite 구현에 성공했다고 해서 다른 방언에서도 성공한다는 보장이 없습니다 (예: Claude-4.5-Sonnet의 경우, SQLite에서 정답인 질문 중 약 33%만이 다른 모든 방언에서도 정답을 유지함).

의의 및 기여

본 논문의 주요 기여는 다음과 같습니다:

1. UNIQL 벤치마크: 16개 방언에 걸쳐 동일한 자연어 의도를 SQL 구현과 정렬하여, 방언 일반화 능력을 제어된 방식으로 평가할 수 있는 인간 검증 기반의 실행 가능한 벤치마크를 도입했습니다.
2. 구축 프레임_워크: 고품질의 교차 방언 데이터셋을 구축하기 위해 도구 기반 번역, LLM 기반 번역, 실행 기반 검증, 자기 성찰, 반복적 규칙 진화 및 인간 검증을 통합한 새로운 SQL 번역 프레임-워크를 제시했습니다.
3. 진단적 평가: 현재의 LLM이 방언 보편적인 Text-to-SQL 생성에 어려움을 겪고 있음을 보여주는 종합적인 평가를 수행했습니다. 연구 결과는 견고한 교차 시스템 쿼리 수행을 위해서는 SQLite 중심의 벤치마크에 의존하기보다, 교차 방언의 강건성에 대한 명시적인 평가와 모델링이 필요함을 강조합니다.

저자들은 현재 모델들이 유망한 모습을 보이고 있으나, 아직 방언 보편적이지는 않다고 결론짓습니다. 데이터베이스 시스템 간의 상당한 성능 차이는 정렬된 교차 방언 벤치마크와 더욱 방언 인지적인(dialect-aware) Text-to-SQL 방법론의 개발이 필요함을 시사합니다.