💬 NLP

CAPER: Clause-Aligned Process Supervision for Text-to-SQL

이 논문은 SQL 추상 구문 트리(AST)에 대한 반사실적 개입을 활용하여 절 단위의 감독 신호를 생성함으로써, 기존 방식들에 비해 Text-to-SQL 실행 정확도와 실패 위치 파악 성능을 크게 향상시키는 경량 보상 모델 학습을 가능하게 하는 프레임워크인 CAPER을 소개한다.

원저자: Lujie Ban, Jiasheng Shi, Jinyang Li, Xiaolin Han, Tsz Nam Chan, Chenhao Ma

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lujie Ban, Jiasheng Shi, Jinyang Li, Xiaolin Han, Tsz Nam Chan, Chenhao Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 로봇에게 데이터베이스 쿼리 작성법 가르치기

매우 똑똑한 로봇(AI)이 거대한 데이터 도서관(데이터베이스)과 대화할 수 있다고 상상해 보세요. 여러분의 목표는 이 로봇에게 "2024년에 가장 많은 학생이 수강한 과목은 무엇인가?"와 같은 질문에 답하기 위해 SQL이라는 특정 컴퓨터 언어를 작성하는 법을 가르치는 것입니다.

문제는 SQL이 매우 정밀하다는 점입니다. 로봇이 단 하나의 작은 실수라도 하면—예를 들어, 잘못된 두 테이블을 연결한다면—결과가 틀려지게 됩니다.

문제점: "전부 아니면 전무(All-or-Nothing)" 식의 성적 매기기

현재 우리는 이러한 로봇을 가르칠 때, 보통 맨 마지막 단계에서만 성적을 매깁니다.

로봇이 쿼리를 작성합니다.
우리는 그것을 실행합니다.
만약 답이 맞다면: 잘했어! (성적: 100%)
만약 답이 틀리다면: 못했어! (성적: 0%)

비유: 수학 시험을 치르는 학생을 상상해 보세요. 학생은 10단계로 된 긴 풀이 과정을 적습니다. 처음 9단계는 완벽하지만, 10단계에서 "5 + 5 = 10" 대신 "5 + 5 = 11"이라고 적었습니다.

기존 방식: 선생님은 최종 답이 틀린 것을 보고 학생에게 0점을 줍니다. 학생은 어느 단계에서 실패했는지 알 수 없습니다. 학생은 자신의 첫 번째 단계가 틀렸다고 생각하여 다음에도 그 부분을 고치려 할 수도 있고, 이는 상황을 더 악화시킬 수 있습니다.
토큰(Token) 방식: 일부 연구자들은 로봇이 쓰는 모든 글자와 기호(토큰)마다 점수를 매기려고 시도합니다. 하지만 이것은 마치 수학 시험을 채점하면서 논리가 타당한지 여부와 상관없이 모든 숫자가 제대로 쓰였는지를 일일이 확인하는 것과 같습니다. 너무 번거롭고 수학적 의미를 이해하지 못합니다.

해결책: CAPER (더 "절(Clause)" 단위로 가르치는 코치)

저자들은 로봇을 가르치는 새로운 방법인 CAPER를 제안합니다. 로봇에게 전체 답안이나 모든 글자를 기준으로 점수를 매기는 대신, SQL 쿼리의 절(clause, 논리적 덩어리) 단위로 점수를 매깁니다.

SQL 쿼리를 명확한 부분들로 구성된 문장이라고 생각하면 쉽습니다:

SELECT (무엇을 보고 싶은가?)
FROM/JOIN (어디를 살펴보고 있는가?)
WHERE (규칙은 무엇인가?)
GROUP BY (어떻게 조직화하는가?)

CAPER의 작동 방식 (마법 같은 기술):

"만약 ~라면?" 게임 (역사실적 개입 - Counterfactual Intervention):
로봇이 실수를 했을 때, CAPER는 단순히 "틀렸다"라고 말하지 않습니다. 대신 "만약 ~라면?"이라는 게임을 합니다.
- 로봇의 틀린 답을 가져와서 이렇게 묻습니다: "만약 우리가 이 특정 부분(즉, 'JOIN' 절)을 올바른 논리에 맞게 수정한다면 어떻게 될까?"
- 만약 이 한 부분을 고쳤을 때 답이 맞게 된다면, CAPER는 다음과 같이 판단합니다: "아하! 실수는 문장의 나머지 부분이 아니라 JOIN 절에서 발생했구나."
- 그런 다음 로봇에게 "이 특정 덩어리는 나빴고, 저 다른 덩어리는 좋았다"라고 보여주는 "학습 예시"를 만듭니다.
결함 주입 (사보타주 게임 - Fault Injection):
CAPER는 또한 정답을 가져와서 숫자를 바꾸는 등의 방식으로 의도적으로 작고 구체적인 방식으로 망가뜨립니다. 그리고 로봇에게 이 특정 고장 난 덩어리가 나쁘다는 것을 인식하도록 가르칩니다.
"절-PRM" (스마트 코치 - Clause-PRM):
이 수천 개의 "만약 ~라면?" 예시들을 사용하여, CAPER는 작고 가벼운 코치(Clause-PRM이라 불림)를 훈련시킵니다. 이 코치는 작고 빠릅니다.
- 로봇이 답을 작성하는 동안, 코치는 단계별로 지켜봅니다.
- 로봇이 "JOIN" 절을 작성할 때, 코치는 "그것은 위험해 보이니 작은 벌점을 줄게"라고 하거나, "그것은 아주 좋아 보여, 보상을 줄게"라고 말합니다.
- 이를 통해 로봇은 마지막 단계가 아닌, 자신의 논리에 대해 즉각적인 피드백을 받게 됩니다.

결과: 더 똑똑하고 빠른 학습자

이 논문은 두 가지 주요 데이터베이스(BIRD 및 Spider)에서 테스트를 진행했습니다.

더 좋은 성적: CAPER로 훈련된 로봇은 기존의 "전부 아니면 전무" 방식의 로봇보다 최종 점수가 현저히 높았습니다 (최대 15% 향상).
더 나은 진단: 로봇이 실수를 했을 때, CAPER 코치는 **84.5%**의 확률로 문장의 어느 부분이 틀렸는지 정확히 짚어낼 수 있었습니다. 이는 환자에게 그냥 "당신은 아픕니다"라고 말하는 것이 아니라, 정확히 어느 장기가 아픈지 말해주는 의사와 같습니다.
후보 선택 (Candidate Selection): 코치는 심판 역할도 할 수 있습니다. 로봇이 8개의 답을 생성하면, 코치는 각 답의 논리를 살펴보고, 최종 답안들이 서로 비슷해 보이더라도 그중 가장 좋은 것을 골라낼 수 있습니다.

요약

CAPER는 운전자가 시험을 마칠 때까지 기다렸다가 단순히 "당신은 사고를 냈습니다"라고 말하는 운전 강사가 아닙니다. 대신 운전자를 지켜보다가, 운전자가 교차로에서 방향을 잘못 잡는 순간 "교차로에서 너무 일찍 회전했습니다"라고 말해주는 강사와 같습니다. 문장 전체나 모든 글자가 아니라, 논리의 덩어리(절) 단위로 피드백을 제공함으로써, AI는 훨씬 더 빠르고 안정적으로 올로바른 데이터베이스 쿼리를 작성하는 법을 배웁니다.

기술 요약: CAPER – 절(Clause) 정렬 프로세스 감독을 통한 Text-to-SQL

문제 정의

Text-to-SQL 시스템은 자연어 질문을 실행 가능한 SQL 쿼리로 변환하는 것을 목표로 합니다. 대규모 언어 모델(LLM)이 스키마 연결(schema linking)과 검색(retrieval)을 통해 이 분야를 발전시켜 왔지만, 이 작업은 여전히 고정밀 구조 생성 문제이며, 단 하나의 의미론적 오류(예: 잘못된 조인 키 또는 집계)만으로도 전체 쿼리를 무효화할 수 있습니다.

현재의 학습 패러다임은 감독(supervision)과 관련하여 두 가지 주요 한계에 직면해 있습니다:

쿼리 수준의 실행 정확성(Query-Level Execution Correctness): 표준 평가는 종단 실행 신호(Execution Accuracy, EX)에 의존합니다. 이는 확장 가능하지만, 성공/실패라는 희소하고 이진적인 보상만을 제공하며, 어떤 중간 결정이 실패를 유발했는지에 대한 가이드를 제공하지 못합니다. 이는 "근접 성공(near-miss)" 쿼리(대부분은 맞지만 하나의 절에서 틀린 경우)를 완전히 틀린 쿼리와 동일하게 취급하게 만들어 신용 할당(credit assignment) 문제를 야기합니다.
토큰 수준의 조밀한 감독(Token-Level Dense Supervision): 토큰 수준의 피드백으로 이동하는 것은 SQL의 의미론적 특성에 적합하지 않습니다. 개별 토큰(별칭, 쉼표, 연산자)은 완전한 의미적 결정을 구성하기 어렵고, 중요한 SQL 결정은 다중 토큰 구조(예: 조인 경로, 서술절)를 통해 표현됩니다. 토큰 수준의 감독은 신용을 낮은 수준의 기호로 분산시키며, 신뢰할 수 있는 미세한 라벨링을 요구합니다.

핵심 과제는 비용이 많이 드는 수동 주석 없이도 실행 정확성을 최종 목표로 유지하면서, 근본 원인 오류 국지화(localization)를 가능하게 하는 **절 정렬 프로세스 감독(clause-aligned process supervision)**을 도출하는 것입니다.

방법론: CAPER 프레임워크

저자들은 CAPER(Clause-Aligned Process Supervision)를 제안합니다. 이는 절 수준의 선호도 데이터를 자동으로 구축하고 경량화된 절 수준 프로세스 보상 모델(Clause-Level Process Reward Model, Clause-PRM)을 학습시키는 자동화된 프레임워크입니다. 이 프레임워크는 세 단계로 작동합니다.

1. 자동 보상 주석 (Automatic Reward Annotation)

CAPER은 SQL의 추상 구문 트리(AST) 표현을 사용하여 거친 쿼리 결과물을 미세한 절 수준 보상으로 변환합니다. 이를 위해 두 가지 상호 보완적인 전략을 사용합니다:

결함 주입 (Fault Injection - 성공적인 궤적용): 궤적이 올바르게 실행되는 경우, 시스템은 AST에서 편집 가능한 핵심 노드를 샘플링하고 유형을 보존하는 변이(mutation)를 적용합니다(예: 컬럼 교체, 연산자 변경). 변이는 실행 결과가 변경되는 경우에만 유지되며, 이를 통해 실제 의미론적 오류를 유도합니다. 이는 근본 원인이 명확히 알려진 "부정적" 예시를 생성합니다.
역사실적 개입 (Counterfactual Intervention - 실패한 궤적용): 궤적이 실패하는 경우, 시스템은 예측된 SQL을 골드 스탠다드(정답)와 비교합니다. 시스템은 가장 초기에 갈라지는 절을 식고, 동일한 접두사(prefix) 하에서 AST를 복구하여 역사실적 수정 쿼리를 구성합니다. 그 후 시스템은 예측된 절을 수정된 절로 변환하기 위한 최소 비용 편집 스크립트를 계산하여 **근본 원인 노드( $v^*$ )**를 식별합니다.

보상 전파 (Reward Propagation):
근본 원인 노드가 식별되면, $v^*$ 와의 구조적 거리에 따라 AST 노드에 연속적인 페널티가 할당됩니다.

근본 원인 노드는 가장 강한 페널티( $-\alpha$ )를 받습니다.
동일한 의존성 경로상의 조상(ancestor) 노드들은 가우시안 감쇠(Gaussian-decayed) 음수 보상을 받습니다.
관련 없는 브랜치는 마스킹(zero reward) 처리됩니다.
이러한 노드 수준의 페널티는 minimum 연산자를 사용하여 절 수준(예: SELECT, FROM-JOIN, WHERE)으로 집계되며, 결정적인 오류를 포함하는 절이 강한 비양수(non-positive) 레이블을 상속받도록 보장합니다. 이는 결정적인 구조적 오류의 심각도를 반영하는 연속적인 마진 $\delta_k$ 를 가진 선호도 튜플 $(u^+, u^-)$ 를 생성합니다.

2. 절 수준 프로세스 보상 모델 (Clause-Level Process Reward Model, Clause-PRM)

주석이 달린 데이터셋 $\mathcal{D}$ 를 사용하여, 저자들은 경량 모델(Qwen3.5-9B 기반의 CAPER-9B)을 Clause-PRM으로 미세 조정합니다.

목적: 모델은 입력 및 이전 문맥이 주어졌을 때, 올바른 절 단위와 선호되지 않는(오류를 포함하는) 절 단위 간의 선호도를 점수화하는 법을 배웁나다.
학습: 모델은 마진 가중치 선호도 목적 함수를 최적화하며, 여기서 더 큰 구조적 마진(더 결정적인 오류)을 가진 쌍이 더 강한 감독 신호를 기여합니다.

3. 정책 최적화 (Policy Optimization)

학습된 Clause-PRM은 Text-to-SQL 정책 최적화를 위한 강화 학습(RL) 루프(구체적으로 GRPO) 내에 배치됩니다.

다중 입도 보상 (Multi-Granular Reward): 각 절 경계에서의 보상 신호는 다음을 결합합니다:
1. 절 보상 (Clause Reward): 현재 절에 대한 Clause-PRM의 점수.
2. 실행 보상 (Execution Reward): 최종 절 경계에서만 추가되는 종단 신호.
신용 할당 (Credit Assignment): 보상을 단일 궤적 수준의 어드밴티지로 축소하는 대신, 이 방법은 절 수준의 return-to-go를 계산합니다. 이는 해당 절 경계 이후의 남은 궤적의 어드밴티지를 기반으로 절 내부의 토큰들을 최적화하여 시간적 신용 할당을 보존합니다.

주요 기여

자동화된 파이프라인: 수동 주석 없이도 근본 원인 오류를 국지화하고 절 수준의 선호도 감독을 구축하는 역사실적 SQL-AST 파이프라인을 개발했습니다. 이 파이프라인은 세 가지 데이터셋(BIRD, Spider, SYNSQL)에 걸쳐 90,000개 이상의 절 주석 선호도 튜플을 생성했습니다.
Clause-PRM (CAPER-9B): 밀도 높은 절 경계 피드백을 제공하도록 학습된 경량 모델입니다. 이는 희소한 실행 결과와 취약한 토큰 수준 감독 사이의 간극을 메웁니다.
경험적 검증: 절 정렬 감독이 end-to-end 실행 정확성과 모델의 실패 국지화 능력을 모두 유의미하게 향상시킨다는 것을 입증했습니다.

실험 결과

실험은 Qwen3.5-9B를 백본으로 하여 BIRD 및 Spider 벤치마크에서 수행되었습니다.

실행 정확성 (Execution Accuracy, EX):
- CAPER-9B(절 수준 보상)로 학습된 GRPO 정책은 BIRD 데이터셋에서 GPT-5.4 대비 실행 정확도에서 15.3%의 상대적 향상을 달으로 했습니다.
- 이는 특히 Majority Vote@8 설정에서 희소 보상 GRPO 및 토큰 수준 보상 GRPO 베이스라인보다 우수한 성능을 보였으며, 이는 샘플링된 후보들의 의미론적 신뢰성이 향상되었음을 나타냅니다.
실패 국지화 (Failure Localization):
- 홀드아웃(held-out) 실패 궤적에 대해, CAPER-9B는 84.53%의 Top-1 국지화 정확도와 **90.60%의 평균 역수 순위(MRR)**를 달성했습니다.
- 이는 휴리스틱 선택기, 셀프 디버깅 프롬프트, 실행 전용 보상 모델을 크게 상회하는 수치입니다. 절단위(ablation) 연구를 통해 위상 인식 전파(topology-aware propagation)와 역사실적 오류 구축이 이러한 성능에 결정적임을 확인했습니다.
후보 검증 (Candidate Verification):
- 플러그 앤 플레이 검증기로서 폐쇄형 LLM의 후보들을 재순위화(rerank)할 때, CAPER-9B는 Majority Vote@8 대비 실행 정확도를 +0.7 ~ +1.6 포인트 일관되게 향상시켰으며, 이는 생성기가 고정된 상태에서도 신뢰할 수 있는 중간 구조적 결정을 가진 후보를 식별하는 능력을 입증합니다.

의의 및 주장

본 논문은 **절 정렬 프로세스 감독(clause-aligned process supervision)**이 Text-to-SQL과 같은 구조적 생성 작업에서 확장 가능하고 효과적인 방향임을 주장합니다. 실행 성공과 실패를 특정 SQL 절 결정에 귀속시킴으로써, CAPER는 종단 레이블의 희소성과 토큰 수준 피드백의 의미론적 불일치를 피하는 실용적인 신용 할당 메커니즘을 제공합니다.

저자들은 이 접근 방식이 새로운 파서 아키텍처나 복잡한 프롬프팅 파이프라인을 요구하지 않으며, 오히려 역사실적 AST 섭동(perturbation)을 활용하여 의미론적으로 근거 있는 감독을 도출한다고 강조합니다. 결과는 도메인의 의미적 단위(SQL 절)와 정렬된 중간 프로세스 피드백이 생성 정책의 최적화와 보상 모델의 진단 능력을 모두 크게 향다면할 수 있음을 시사합니다.

인정된 한계점:
저자들은 현재 구현이 SQL을 최상위 절 단위로만 분해한다는 점을 언급하며, 이는 복잡한 서술절이나 서브쿼리 내부의 오류에 대해서는 다소 거칠 수 있다고 밝혔습니다. 또한, 자동 주로 파이프라인은 희소 보상에 비해 계산 오버헤드를 발생시키지만, 생성된 데이터는 PRM 학습에 재사용 가능하다는 점을 명시했습니다. 현재 이 방법은 Chain-of-Thought 추론보다는 SQL 생성에 초점을 맞추고 있습니다.