💬 NLP

Test-Time Verification for Text-to-SQL via Outcome Reward Models

이 논문은 결과 보상 모델(ORM)을 학습된 의미론적 스코어러로 활용하여 Text-to-SQL의 신뢰성을 향상시키는 프레임워크인 GradeSQL을 소개하며, ORM 기반 검증이 BIRD 및 Spider 벤치마크에서 실행 기반의 Best-of-N 및 다수결 투표와 같은 전통적인 휴리스틱 방법보다 현저히 우수한 성능을 보임을 입증한다.

원저자: Mattia Tritto, Giuseppe Farano, Dario Di Palma, Gaetano Rossiello, Fedelucio Narducci, Dharmashankar Subramanian, Tommaso Di Noia

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mattia Tritto, Giuseppe Farano, Dario Di Palma, Gaetano Rossiello, Fedelucio Narducci, Dharmashankar Subramanian, Tommaso Di Noia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 때때로 자만심이 강한 요리사(AI)에게 당신이 평범한 영어로 설명한 레시피를 바탕으로 특정 요리를 만들어 달라고 요청하고 있다고 상상해 보세요. 이 요리사는 요리법을 알고 있지만, 가끔 재료를 잘못 가져오거나 단계를 헷용하기도 합니다.

컴퓨터의 세계에서 이것은 Text-to-SQL: 즉, 인간의 질문을 데이터베이스 쿼리(컴퓨터 데이터베이스를 위한 일련의 지침)로 번로하는 것을 의미합니다. 문제는 요리사가 아주 작은 실수라도 하면 컴퓨터가 잘못된 답을 내놓거나, 아예 아무것도 내놓지 못할 수도 있다는 점입니다.

옛날 방식: "추측하고 확인하기"

보통 요리사가 확신이 없을 때, 시스템은 그에게 요리를 32번 하게 합니다 (32개의 서로 다른 SQL 쿼리를 생성하는 것입니다). 그런 다음 가장 좋은 것을 골라내야 합니다.

기존의 선정 방식은 다음과 같습니다:

다수결 투표: "누가 가장 자주 요리를 완성했는가?" 만약 20명의 요리사가 "소금을 넣어라"라고 하고 12명이 "설탕을 넣어라"라고 한다면, 시스템은 "소금"이 맞다고 가정합니다. 하지만 만약 실제 레시피에 설탕이 필요했고, 다수가 똑같은 실수를 저지른 것이라면 어떻게 될까요?
실행 성공 여부: "누가 실제로 팬을 작동시켰는가?" 쿼리가 오류 없이 실행된다면 시스템은 그것을 선택합니다. 하지만 쿼리는 완벽하게 실행되었음에도 불구하고 잘못된 데이터(예를 들어 수프를 요청했는데 케이크를 내놓는 경우)를 줄 수도 있습니다.

이러나 방식들은 실제 요리가 정확한지를 이해하기보다는 단순하고 표면적인 단서(휴리스틱)에 의존합니다.

새로운 방식: "GradeSQL" 음식 비평가

이 논문은 GradeSQL이라는 새로운 시스템을 소개합니다. 단순히 투표수를 세거나 팬이 작동하는지 확인하는 대신, 그들은 특화된 음식 비평가(이를 결과 보상 모델 또는 ORM이라 부릅니다)를 훈련시킵니다.

GradeSQL 시스템의 단계별 작동 방식은 다음과 같습니다:

1. 요리 수업 (훈련)
먼저, 비평가에게 무엇이 "좋은 것"이고 "나쁜 것"인지 가르쳐야 합니다.

시스템은 질문을 가져와 메인 요리사(AI)에게 32가지 버전의 요리를 만들도록 요청합니다.
그런 다음 32개의 요리 모두를 "골드 스탠다드(정답)"와 대조하여 실행합니다.
만약 요리가 골드 스탠다드와 맛이 정확히 일치하면, 비평가는 높은 점수를 줍니다. 만약 맛이 다르다면, 낮은 점수를 줍니다.
비평가는 이러한 예시들을 통해 쿼리가 단순히 실행되는지를 넘어, 정답의 풍미를 인식하는 법을 배웁니다.

2. 시식 세션 (추론)
이제 실제 사용자가 질문을 던지면:

요리사는 32가지의 새로운 버전을 요리합니다.
단순히 실행되는지 확인하는 대신, 비평가가 모든 요리를 맛봅니다.
비평가는 질문의 의도와 얼마나 잘 부합하는지에 따라 각 요리에 점수를 매깁니다.
시스템은 가장 높은 점수를 받은 요리를 선택합니다.

왜 이것이 더 나은가요?

논문은 이 시스템을 두 개의 거대한 데이터베이스 질문 세트(BIRD 및 Spider라고 불림)로 테스트했습니다. 그 결과, 비평가가 기존의 "투표수 세기"나 "실행 여부 확인" 방식보다 정답을 훨씬 더 잘 찾아낸다는 것을 발견했습니다.

비유: 객관식 시험을 상상해 보세요. 옛날 방식은 가장 많이 등장하거나 오타가 없는 답을 고릅니다. 새로운 방식(GradeSQL)은 질문과 답을 실제로 읽고 둘이 서로 말이 되는지 확인합니다.
결과: 어려운 질문들에 대해, 비평가는 BIRD 데이터셋에서 약 4% 더 자주, Spider 데이터셋에서 약 2% 더 자주 정답을 맞히는 데 도움을 주었습니다. 2~4%라는 수치가 작아 보일 수 있지만, AI의 세계에서 이는 엄청난 발전입니다. 특히 기존 방식들이 포기해버리는 가장 어려운 문제들에서 말이죠.

핵심 요점

"학습된" 판사: 비평가는 단순히 규칙을 따르는 것이 아닙니다. 그는 수천 개의 예시를 연습함으로써 무엇이 올바른 SQL 쿼리인지 학습했습니다.
사람이 필요 없음: 시스템은 스스로 어떻게 비평가가 될지 배웠습니다. 어떤 답이 작동하는지 자동으로 확인함으로써 사람이 직접 숙제를 채점할 필요가 없게 만들었습니다.
확장성: 요리사가 생성하는 옵션(후보)이 많아질수록 비평가의 성능은 더 좋아집니다. 기존 방식은 한계에 부딪혀 개선이 멈추지만, 비평가는 선택지가 많아질수록 계속해서 더 똑똑해집니다.

요약하자면, GradeSQL은 단순히 군중에게 묻거나 가스레인지가 켜져 있는지 확인하는 대신, 32개의 요리 중 가장 좋은 요리를 고르기 위해 전문 음식 비평가를 고용하는 것과 같습니다. 이는 질문이 까다로워질 때 AI를 더욱 신뢰할 수 있게 만듭니다.

기술 요약: 결과 보상 모델(Outcome Reward Models)을 통한 Text-to-SQL의 테스트 타임 검증

문제 정의

구조화된 추론 작업, 특히 Text-to-SQL에서 대규모 언어 모델(LLM)의 신뢰성은 여전히 중요한 과제로 남아 있습니다. LLM이 크게 발전했음에도 불구하고, 다중 테이블 조인(multi-table joins), 중첩 서브쿼리(nested subqueries), 미묘한 제약 조건이 포함된 복잡한 쿼리에서는 여전히 어려움을 겪는 경우가 많습니다. Best-of-N (BoN) 샘플링 및 **다수결 투표(Majority Voting)**와 같은 현재의 테스트 타임 추론 전략은 여러 후보 SQL 쿼리를 생성하고 최적의 것을 선택함으로써 이를 완화하려고 시도합니다. 그러나 이러한 방법들은 주로 실행 성공 여부(쿼리가 에러 없이 실행되는가?) 또는 출력 빈도(여러 쿼리가 동일한 결과를 반환하는가?)와 같은 휴리스틱 신호에 의존합니다.

저자들은 이러한 휴리스틱이 의미론적 정확성에 대한 거친 근사치(coarse proxies)만을 제공한다고 주장합니다. 후보 집합이 커짐에 따라, 이러한 신호는 포화 상태에 도달하여 의미론적으로 유효한 쿼리와 유효하지 않은 쿼리를 구별하는 데 실패하는 경우가 많습니다. 특히 여러 개의 잘못된 쿼리가 성공적으로 실행되지만 틀린 결과를 반환하거나, 의미론적으로는 동일하지만 구문 구조가 다른 경우에 그러합니다. 따라서 표면적인 실행 메트릭이 아닌, 작업 특화된 의미론적 정렬(semantic alignment)을 기준으로 후보를 점수화할 수 있는 학습된 검증 메커니즘이 필요합니다.

방법론: GradeSQL 프레임워크

검증기 학습에 필요한 레이블링된 데이터의 부족 문제를 해결하기 위해, 저자들은 **결과 보상 모델(Outcome Reward Models, ORMs)**을 훈련하기 위한 확장 가능한 프레임워크인 GradeSQL을 소개합니다. 중간 단계를 점수화하는 프로세스 보상 모델(Process Reward Models, PRMs)과 달리, ORM은 최종 출력에 스칼라 점수를 할당합니다. 이 프레임워크는 세 단계로 작동합니다:

후보 생성 (Candidate Generation): 자연어 질문과 데이터베이스 스키마가 주어지면, 생성 LLM은 확률적 디코딩 전략을 사용하여 다양한 $N$ 개의 후보 SQL 쿼리를 생성합니다. 이러한 다양성은 검증기가 다양한 정답 형식과 근접 오류(near-miss errors)에 노출되도록 하는 데 필수적입니다.
자동 데이터 레이블링 (Automated Data Labeling): 수동 주석 대신, 프레임워크는 **실행 등가성(execution equivalence)**을 통해 후보를 레이블링합니다. 각 후보는 데이터베이스에서 실행됩니다. 만약 후보의 결과 집합이 골드 표준(gold-standard) 쿼리의 결과와 일치하면( $R(c_j) = R(y_{gold})$ ), 해당 후보는 "정답(Correct)"으로 레이블링됩니다. 그렇지 않으면 "오답(Incorrect)"으로 레이블링됩니다. 실행 에러를 발생시키는 쿼리는 폐기됩니다. 이를 통해 검증기 훈련을 위한 대규모 자동 레이블링 데이터셋이 생성됩니다.
지도 미세 조정 (Supervised Fine-Tuning, SFT): 검증기 LLM은 이진 자기회귀 분류기(binary autoregressive classifier)로서 LoRA를 사용하여 미세 조정됩니다. 입력값은 스키마, 질문, 그리고 후보 쿼리로 구성되며, 모델은 "Yes" 토큰(정확성을 나타냄)의 확률을 예측하도록 훈련됩니다.

추론 파이프라인: 테스트 타임에는 생성기가 $N$ 개의 후보를 생성합니다. 훈련된 ORM은 "Yes" 토큰의 확률을 기반으로 각 후보의 점수를 매깁니다. 학습된 의미론적 점수화를 통해 휴리스틱 선택을 대체하여 가장 높은 점수를 받은 후보가 선택됩니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

Text-to-SQL을 위한 ORM 기반 검증: 본 연구는 ORM을 구조화된 쿼리 생성에서의 테스트 타임 후보 선택을 위한 학습된 의미론적 점수 산출 데로 적응시켰으며, 이를 통해 전통적인 정렬 및 추론 작업 이외의 분야에서도 그 적용 가능성을 입증했습니다.
확장 가능한 데이터 큐레이션 파이프라인: 저자들은 실행 등가성을 통해 후보 SQL 쿼리를 생성하고 레이블링하는 자동화된 프레임워크인 GradeSQL을 제안합니다. 이는 값비싼 수동 주석 없이도 작업 특화된 ORM을 훈련할 수 있게 합니다.
테스트 타임 검증에 대한 경험적 분석: 다양한 오픈 소스 LLM 제품군(Qwen, Granite, Llama, OmniSQL 포함)과 벤치마크(BIRD 및 Spider)에 대한 체계적인 평가를 통해, ORM 기반 선택이 휴리스틱 베이스라인보다 일관되게 우수한 성능을 보임을 보여줍니다.

실험 결과

이 접근 방식은 여러 생성 모델을 사용하여 BIRD 및 Spider 벤치마크에서 평가되었습니다. 주요 결과는 다음과 같습니다:

성능 향상: ORM 기반 선택은 다수결 투표 및 실행 기반 Best-of-N보다 일관되게 더 높은 실행 정확도(Execution Accuracy, EX)를 달랐습니다.
- BIRD dev에서, ORM은 **68.90%**를 달성하여 베이스라인( $N=1$ ) 대비 +5.01% 향상되었으며, 다수결 투표(+3.06%) 및 실행 기반 BoN(+2.15%)보다 높은 성능을 보였습니다.
- Spider test에서, ORM은 **87.47%**에 도달하여 다수결 투표(85.47%)와 실행 기반 BoN(85.14%)을 능가했습니다.
후보 집합에 따른 스케일링: 휴리스틱 방법이 조기에 포화되는 것과 달리, ORM 성능은 후보 풀 크기( $N$ )가 증가함에 따라 계속 개선되어 Pass@N에 의해 정의된 오라클 상한선에 근접했습니다. 이는 ORM이 증가된 테스트 타임 컴퓨팅 자원을 효과적으로 활용함을 나타냅니다.
강건성 (Robustness): 이 방법은 다양한 생성 모델 제품군과 모델 규모 전반에서 일관된 개선을 보여주었습니다. ORM 기반 선택의 이점은 더 큰 생성기(최대 32B 파라미터)를 사용할 때도 지속되었습니다.
훈련 역학 (Training Dynamics):
- 데이터셋 불균형: 생성된 데이터셋은 불균형했지만(예: Spider에서 약 69%가 정답), 균형 잡힌 서브셋(50/50)으로 훈련해도 성능이 저하되지 않았으며, 어떤 경우에는 훈련 비용을 줄이면서 성능을 향상시키기도 했습니다.
- 모델 크기: ORM 크기를 7B 파라미터 이상으로 키워도 미미하고 일관되지 않은 개선만을 보였으며, 이는 경량 ORM이 성능-효율성 측면에서 유리한 균형을 제공함을 시사합니다.
- 프롬프트 설계: 검증기에 SQL 구조를 직접 노출하는 프롬프트("SQL-Only")가 지시형(instruction-style) 또는 데이터 전용(data-only) 프롬프트보다 가장 좋은 결과를 냈습니다.

의의 및 주장

본 논문은 학습된 검증이 Text-to-SQL을 위한 휴리스틱 테스트 타임 선택 전략에 대한 단순하고 효과적이며 확장 가능한 대안을 제공한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

실행 기반 레이블링만으로도 구조화된 작업을 위한 효과적인 검증기를 훈련하기에 충분하며, 수동 주석의 장벽을 제거했다는 점입니다.
생성기를 수정하거나 초기 후보 생성 이상의 추가적인 환경 상호작용 없이도, 추론 시점에 의미론적 구별이 가능하다는 점입니다.
ORM은 휴리스틱 신호가 실패하는 복잡한 쿼리에 특히 효과적이며, Text-to-SQL에 내재된 모호성과 구조적 복잡성을 처리하는 원칙적인 방법을 제공합니다.

저자들은 절대적인 이득이 완만(2~5%)하며, 이 접근 방식이 의미론적 정답성을 위한 대리물로서 실행 등가성에 의존하고 있어 의미론적으로는 동일하지만 구문적으로 다른 쿼리나 잘못된 일치를 보상할 가능성이 있다는 점을 인정하며 겸허한 어조를 유지합니다. 이 작업은 생성 능력 자체보다는 후보의 선택을 개선하는 데 초점을 맞추고 있습니다.