💬 NLP

Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows

이 논문은 대규모 언어 모델이 스노우플레이크(Snowflake) 플랫폼에서 AI 네이티브 SQL 쿼리를 생성하는 능력을 평가하기 위해 설계된 125개의 실제 데이터베이스에 걸친 465개의 검증된 인스턴스로 구성된 새로운 벤치마크인 Spider 2.0-AIFunc를 소개하며, 상위 유료 모델들이 67-70%의 정확도를 달ach하는 반면 기존의 텍스트-투-SQL 작업에 최적화된 현재의 에이전트 프레임워크는 이 신흥 환경으로 효과적으로 전이되지 못한다는 점을 밝히고 있다.

원저자: Tianyang Liu, Canwen Xu, Fangyu Lei, Nikki Lijing Kuang, Jixuan Chen, Tao Yu, Julian McAuley, Zhewei Yao, Yuxiong He

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianyang Liu, Canwen Xu, Fangyu Lei, Nikki Lijing Kuang, Jixuan Chen, Tao Yu, Julian McAuley, Zhewei Yao, Yuxiong He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 고객 리뷰부터 판매 기록까지 모든 것을 저장할 수 있는 거대하고 첨단 기술이 집약된 도서관(클라우드 데이터베이스)을 가지고 있다고 상상해 보세요. 수년 동안 이 도서관에 대해 질문하려면 SQL이라는 매우 엄격하고 로봇 같은 언어를 사용해야 했습니다. 그것은 마치 숫나 기호의 코드로만 구성된 언어로 복잡한 식사를 주문해야 하는 레스토랑과 같았습니다.

최근 도서관 소유자들(Snowflake와 같은 기업들)은 새로운 기능인 **AI 함수(AI Functions)**를 추가했습니다. 이것은 주문 시스템에 내장된 "스마트 비서"라고 생각하면 됩니다. 이제 단순히 "모든 빨간 사과를 보여줘"라고 요청하는 대신, "이 사과들에 대한 리뷰를 읽고 사람들이 행복해하는지 아니면 화가 났는지 말해줘"라거나 "이 리뷰와 유사한 리뷰를 찾아줘"라고 요청할 수 있습니다. 이는 데이터베이스를 AI 네이티브(AI-Native) 시스템으로 탈바꿈시켜, 표준 데이터 명령과 언어 기반의 지능적인 사고를 하나의 문장 안에 혼합할 수 있게 해줍니다.

문제점: 오래된 지도는 작동하지 않는다

연구진들은 이러한 새로운 "스마트 비서"가 강력하긴 하지만, 컴퓨터의 두뇌(AI 모델)를 훈련하고 검증하는 데 사용되는 테스트들이 구식이라는 점을 발견했습니다. 기존의 테스트들은 컴퓨터가 엄격한 로봇 언어를 말할 수 있는지만을 체크했습니다. 컴퓨터가 새로운 "스격 비서"를 사용할 수 있는지는 확인하지 않았습니다. 그것은 마치 실제 세상에는 교통 체증, 보행자, 공사 구간이 있음에도 불구하고, 운전자를 오직 직선의 빈 도로에서만 테스트하는 것과 같았습니다.

해결책: Spider 2.0-AIFunc

이를 해결하기 위해 연구진은 더 혹독한 운전 시험인 Spider 2.0-AIFunc를 만들었습니다.

변환: 그들은 기존의 513개 "운전 테스트"(데이터에 대한 질문)를 가져와 다시 작성했습니다. 그들은 질문이 반드시 새로운 "스마트 비서"를 필요로 하도록 강제했습니다.
- 기존 질문: "모든 부정적인 리뷰를 보여줘." (사람이 먼저 리뷰를 읽어야 함).
- 새로운 질문: "AI 비서가 감정이 부정적이라고 말하는 리뷰를 모두 보여줘." (데이터베이스 내부에서 AI가 직접 읽음).
건설 팀: 그들은 AI 에이전트(디지털 작업자) 팀을 사용하여 이 질문들을 재작성했습니다. 이 에이전트들은 편집자이자 정비사 역할을 했습니다.
- 그들은 지침이 명확한지 확인했습니다 (예: "'부정적'이라는 것이 정확히 무엇을 의미하는가?).
- 그들은 "스마트 비서"가 업무를 수행하는 데 필요한 모든 적절한 도구(파라미터)를 갖추었는지 확인했습니다.
- 그들은 답변이 안정적인지, 그리고 AI 비서가 컨디션이 좋지 않다고 해서 답변이 바뀌지는 않는지 확인하기 위해 테스트를 반복해서 실행했습니다.
최종 시험: 그 결과물은 125개의 서로 다른 데이터베이스에 걸친 465개의 검증된 질문으로 구성된 벤치마크입니다. 여기에는 감정에 따라 리뷰를 분류하거나, 텍스트의 유사성을 찾거나, 단락에서 특정 세부 정보를 추출하는 것과 같은 6가지 유형의 "스마트 비서" 작업이 포함됩니다.

결과: 누가 시험을 통과했는가?

연구진은 10개의 서로 다른 AI 모델(운전자들)을 이 새로운 시험에 투입하여, 그들이 얼마나 잘 이러한 복잡한 AI 기반 쿼리를 작성할 수 있는지 테스트했습니다.

상위 운전자 (폐쇄형 모델): 대규모 폐쇄형 모델들(Claude Opus 및 Gemini 등)이 가장 우수한 성적을 거두었습니다. 이들은 약 **67%에서 70%**의 정답률을 보였습니다. 이들은 어떤 "스마트 비서"를 사용해야 할지, 그리고 어떻게 올바른 질문을 던져야 할지를 잘 파악했습니다.
오픈 소스 운전자: 가장 뛰어난 오픈 소스 모델(Kimi K2.5 등)은 약 **58%**를 기록했습니다. 준수한 성적이었지만, 실수가 더 많았습니다.
격차: 오픈 소스 모델들이 고전한 주요 원인은 그들이 기본적인 코드를 작성하지 못해서가 아니었습니다. 그들은 "스마트한" 부분에서 넘어졌습니다:
- 규칙 오해: 잘못된 테이블이나 컬럼을 선택함.
- 불충분한 지침: AI 비서에게 무엇을 찾아야 하는지 정확하게 알려주는 것을 잊음 (예: 분류 작업 시 가능한 모든 카테고리를 나열하지 않음).
- 논리 오류: 작업 순서를 혼동함 (예: AI에게 물어보기 전이 아니라, 물어본 후에 데이터를 필터링함).

놀라운 발견: 적을수록 좋다 (Less is More)

연구진은 또한 복잡한 "에이전트 프레임워크"(AI가 단계를 계획하도록 돕는 정교한 도구 모음)를 사용하는 것이 도움이 되는지 테스트했습니다.

발견: 놀랍게도, 가장 복잡한 도구 모음들이 큰 도움이 되지 않았습니다. 사실, 데이터베이스를 들여다보는 간단한 도구와 쿼리를 실행하는 도구만 있는 최소한의 설정이 정교한 프레임워크만큼, 혹은 그보다 더 나은 성능을 보였습니다.
비유: 이것은 숙련된 요리사에게 거대한 스위스 아미 나이프 대신 아주 작고 단순한 칼을 주는 것과 같습니다. 이 특정 종류의 요리(AI 네이티브 SQL)를 하는 데 있어, 숙련된 요리사는 추가적인 도구가 필요하지 않았습니다. 그저 칼을 어떻게 사용하는지만 알면 되었습니다. 기존 방식의 데이터 작업을 위해 설계된 복잡한 프레임워크들은 오히려 방해가 되거나 가치를 더하지 못했습니다.

요약

이 논문은 AI 모델이 현대적인 "AI 기반" 데이터베이스 기능을 사용할 수 있는지 확인하는 새로운 현실적인 테스트를 소개합니다. 연구 결과, 최고의 AI 모델들은 점점 능숙해지고 있지만, 최상위 모델들과 오픈 소스 모델들 사이에는 여 still 격차가 존재함을 발견했습니다. 성공의 핵심은 더 복잡한 계획 도구를 사용하는 것이 아니라, AI 함수의 기본 지침과 파라미터를 정확하게 전달하는 것입니다.

기술 요약: Spider 2.0-AIFunc

문제 정의

주요 클라우드 데이터 플랫폼(예: Snowflake, BigQuery, Databricks)은 LLM(대규모 언어 모델) 기능을 네이티브 SQL 함수로 노출하기 시작했습니다. 이러한 "AI 네이티브" 함수를 통해 분석가들은 표준 SQL 쿼리 내에서 분류, 감성 분석, 유사도 검색, 정보 추출과 같은 시맨틱(semantic) 연산을 직접 수행할 수 있습니다. 그러나 기존의 Text-to-SQL 벤치마크(예: Spider 1.0, Spider 2.0, BIRD)는 구조화된 데이터에 대한 전통적인 SQL만을 평가합니다. 이들은 모델이 AI 네이티브 SQL을 생성하는 능력, 즉 표준 쿼리 구성뿐만 아니라 AI 함수의 올바른 선택, 파라미터화 및 통합 능력을 측정할 수 있는 신호를 제공하지 못합니다.

방법론

저자들은 AI 네이티브 워크플로우 맥락에서 Text-to-SQL 능력을 평가하기 위해 설계된 벤치마크인 Spider 2.0-AIFunc를 소개합니다. 구축 및 평가 방법론은 다음 세 가지 핵심 구성 요소를 포함합니다:

1. 에이전트 파이프라인을 통한 벤치마크 구축

이 벤치마크는 Spider 2.0의 엔터프라이즈급 서브셋인 Spider2-Snow(Snowflake 기반)의 513개 인스턴스에서 파생되었습니다. 저자들은 기존의 전통적인 작업들을 AI 네이티브 버전으로 변환하기 위해 재사용 가능한 에이전트 기반 파이프라인(Claude Opus 4.5 사용)을 채택했습니다:

변환(Transformation): 에이전트는 대상 SQL을 Snowflake Cortex AI 함수를 포함하도록 재작성하는 동시에, 의도된 AI 사용을 명시적으로 만들기 위해 자연어 지침을 정교화합니다.
모호성 감소(Ambiguity Reduction): 여러 개의 유효한 Gold SQL이 존재하는 작업의 경우, 단일 정답을 보장하기 위해 정확한 AI 함수와 파라미터(예: 분류를 위한 완전한 클래스 레이블 세트)를 지정하도록 지침을 정교화합니다.
2단계 프로세스:
- 메인 라운드(Main Round): 에이전트가 AI 함수를 자유롭게 선택하며, 결과적으로 AI_CLASSIFY, AI_FILTER, AI_SIMILARITY가 주를 이루는 분포를 보입니다.
- 다양성 라운드(Diversity Round): 에이전트에게 미표집된 함수(AI_SENTIMENT, AI_EXTRACT, AI_AGG)를 우선시하도록 지시하여 지원되는 6가지 AI 함수 유형에 대한 폭넓은 커버리지를 확보합니다.

2. 결정론적 검증 (Determinism Verification)

AI 함수를 벤치마킹할 때 발생하는 핵심 과제는 **실행 결정론(execution determinism)**입니다. LLM의 출력은 제로 템퍼러처(zero temperature)에서도 미세한 불일치를 보일 수 있기 때문입니다. 이를 해결하기 위해:

멀티 패스 검증 (Multi-Pass Verification): 각 후보 인스턴스는 4회의 실행 과정을 거칩니다(총 $\ge$ 35회 실행). 검증 에이전트는 SQL, 지침 또는 평가 구성을 조정하여 불일치하는 결과를 보이는 인스턴스를 수정합니다.
시간적 안정성 (Temporal Stability): 생존한 인스턴스는 세 개의 시간적으로 분리된 시간 창(time window) 동안 총 30회의 실행을 포함하는 최종 안정성 체크를 거칩니다. 이 시간 창들 사이에서 일관되지 않은 결과를 생성하는 인스턴스는 폐기됩니다.
최종 데이터셋: 이 과정을 통해 125개의 실제 데이터베이스에 걸친 465개의 검증된 인스턴스가 생성되었습니다.

3. 평가 프로토콜

지표: 실행 정확도(Execution Accuracy, EX). Gold 결과가 사전에 계산되어 고정되어 있는 전통적인 벤치마크와 달리, Spider 2.0-AIFunc는 Gold SQL( $S_n$ )과 예측된 SQL( $\hat{S}_n$ )이 동일한 모델 상태에서 평가되도록 동일한 시간 창 내에서 실행되어야 합니다.
비교 로직: 결과는 컬럼 부분 집합 매칭(column-subset matching)을 사용하여 비교됩니다(Gold 컬럼은 예측 결과에 반드시 포함되어야 하며, 예측 컬럼은 추가적인 컬럼을 포함할 수 있음).
프레임워크: 모델은 최소한의 도구 세트(스키마 탐색, SQL 실행, 작업 종료를 위한 bash)를 갖춘 Spider-Agent 프레임워크를 사용하여 평가됩니다. 설정에는 Snowflake Cortex AI 함수에 대한 참조 문서가 포함됩니다.

주요 기여

Spider 2.0-AIFunc 벤치마크: 465개의 검증된 인스턴스, 125개의 데이터베이스, 6가지 유형의 AI 함수(분류, 필터링, 감성, 유사도, 추출, 집계)를 다루는 AI 네이티브 Text-to-SQL을 위한 최초의 벤치마크입니다.
에이전트 기반 구축 파이프라인: 기존의 엔터프라이즈 Text-to-SQL 작업을 지침 정교화 및 실행 결정론 검증과 동시에 AI 네이티브 버전으로 변환하는 혁신적이고 자동화된 파이프라인입니다.
AI 네이티브 SQL의 경험적 분석: 10개의 최첨단 모델(Proprietary 5개, Open-source 5개)과 3개의 에이전트 프레임워크를 종합적으로 평가하여, 특정 실패 모드와 이 새로운 환경에서의 전통적인 Text-to-SQL 전략의 한계를 밝혀냈습니다.

결과

Spider 2.0-AIFunc에서 10개 모델을 평가한 결과는 다음과 같습니다:

Proprietary vs. Open-Source 격차: 독점(Proprietary) 모델이 오픈 소스 모델을 크게 앞섭 fact습니다.
- 최고 성능 Proprietary: Claude Opus 4.6 (70.3%), Claude Sonnet 4.6 (69.0%), Gemini 3.1 Pro (67.1%).
- 최고 성능 Open-Source: Kimi K2.5 (58.1%).
- 이 격차는 주로 술어 지정(predicate specification), 스키마 그라운딩(schema grounding), AI 함수 파라미터화에서의 오류에 의해 발생합니다.
실행 성공률: 대부분의 모델은 높은 "Exec." 비율(90–99%)을 달-성하며, 이는 오류 없이 실행되는 문법적으로 유효한 AI 네이티브 SQL을 생성할 수 있음을 나타냅니다. 성능 격차는 시맨틱(semantic) 정확도에 있습니다.
에이전트 프레임워크 전이 가능성: 전통적인 Text-to-SQL 과제(예: 스키마 검색, 테이블 선택)를 위해 설계된 에이전트 프레임워크는 AI 네이티브 SQL로 효과적으로 전이되지 않습니다.
- 복잡한 프레임워크(AutoLink, ReFoRCE, DSR-SQL)는 동일한 백본 모델(Claude Sonnet 4.6)을 사용할 때 최소한의 Spider-Agent 설정을 능가하지 못하고 대등한 수준에 머물렀습니다.
- 이는 전통적인 SQL 스캐폴딩(scaffolding)을 위한 전략보다 AI 함수 사용에 관한 정밀한 시맨틱 결정(예: 정확한 파라미터화, 필터링 순서)이 더 중요하다는 것을 시사합니다.
상호작용 동작: 오픈 소스 모델은 정답에 도달하기 위해 훨씬 더 많은 상호작용 라운드(Proprietary 10–12회 대비 19–30회)와 더 많은 SQL 실행 시도가 필요하며, 종종 정상적으로 종료(terminate)하는 데 실패합니다.

의의 및 주장

본 논문은 Spider 2.0-AIFunc가 순수하게 구조화된 데이터 조작에서 벗어나, 시맨틱 연산을 SQL에 직접 통합하는 AI 네이티브 워크플로우로의 Text-to-SQL 평가의 필수적인 진화를 나타낸다고 주장합니다.

저자들은 다음을 강조합니다:

현재 벤치마크의 불충분함: 기존 벤치마크는 엔터프라이즈 데이터 파이프라인에 LLM 역량을 통합하는 복잡성을 포착하지 못합니다.
결정론의 중요성: 검증 프로토콜은 통제된 환경에서도 LLM 출력의 본질적인 비결정성 때문에 AI 함수를 벤치마킹하려면 엄격한 안정성 체크가 필요함을 보여줍니다.
전략의 변화: 복잡한 에이전트 프레임워크가 최소한의 설정보다 우수한 성능을 내지 못한다는 점은, AI 네이티브 SQL의 주요 병목 현상이 스키마 검색이나 분해가 아니라 AI 함수의 정밀한 지정 및 파라미터화에 있음을 시사합니다. 모델이 발전함에 따라, 전통적인 SQL 구성 요소에 대한 정교한 스캐폴딩의 가치는 정확한 시맨틱 함수 호출의 필요성에 비해 상대적으로 감소합니다.

이 연구는 기업용 데이터 플랫폼에서 점점 더 요구되고 있는 능력인, "AI 네이티브" 데이터 분석 워크플로우를 구축할 수 있는 모델을 평가하고 개선하기 위한 기초적인 단계 역할을 합니다.