💬 NLP

Residual Skill Optimization for Text-to-SQL Ensembles

본 논문은 모델 미세조정 없이 이전 실패 사례를 기반으로 새로운 기술을 반복적으로 학습하여 상호 보완적인 텍스트 -SQL 앙상블을 구축하는 잔여 기술 최적화 프레임워크인 DivSkill-SQL 을 소개하며, 이를 통해 다양한 SQL 방언과 작업에서 Pass@K 정확도를 크게 향상시키고 환각 현상을 감소시킵니다.

원저자: Jiongli Zhu, Haoquan Guan, Parjanya Prajakta Prashant, Nikki Lijing Kuang, Seyedeh Baharan Khatami, Canwen Xu, Xiaodong Yu, Yingyu Lin, Zhewei Yao, Yuxiong He, Babak Salimi

게시일 2026-05-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiongli Zhu, Haoquan Guan, Parjanya Prajakta Prashant, Nikki Lijing Kuang, Seyedeh Baharan Khatami, Canwen Xu, Xiaodong Yu, Yingyu Lin, Zhewei Yao, Yuxiong He, Babak Salimi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 어려운 퍼즐을 풀려고 한다고 상상해 보세요. 예를 들어, 복잡한 인간의 질문을 SQL 이라는 특정 컴퓨터 언어로 번역하는 경우입니다. 이때 이 퍼즐을 풀 수 있는 초지능 AI 어시스턴트 (대규모 언어 모델) 가 있다고 가정해 봅시다.

보통 이 AI 에게 한 번 물어보면 맞을 수도 있고 틀릴 수도 있습니다. 성공 확률을 높이기 위해 많은 시스템은 "산탄총 접근법"을 사용합니다. 즉, AI 에게 여덟 가지 다른 답변을 한 번에 생성하게 한 후 가장 좋은 것을 선택하는 방식입니다. 이를 앙상블 (ensemble) 이라고 합니다.

하지만 이 논문은 현재의 "산탄총 접근법"에 치명적인 결함이 있다고 주장합니다. 이는 같은 사람에게 "더 빨리 쓰라"거나 "기분을 바꿔라"라고 말하며 같은 주제로 여덟 편의 다른 에세이를 쓰게 하는 것과 같습니다. 그들은 아마도 매우 유사한 여덟 편의 에세이를 작성할 것이며, 첫 번째 에세이에서 실수를 한다면 나머지 일곱 개에서도 동일한 실수를 할 가능성이 높습니다. 모두 같은 방식으로 실패하는 것입니다.

해결책: "전문가 팀" (DIVSKILL-SQL)

이 논문의 저자 DIVSKILL-SQL은 AI 어시스턴트 팀을 구성하는 더 지혜로운 방법을 제안합니다. 무작위적인 변형을 요구하는 대신, 각각 고유한 "기술 세트"나 성격을 가진 여덟 명의 독특한 전문가로 구성된 팀을 훈련시킵니다.

다음은 간단한 비유를 통해 그들이 어떻게 이를 수행하는지 설명한 것입니다.

1. "잔여 (Residual)" 훈련 방법 (실패로부터 배우기)

축구 팀을 훈련시키는 코치라고 상상해 보세요.

옛 방식: 여덟 명의 선수 모두에게 같은 연습 동작을 하라고 지시합니다. 그들이 계속 골대를 빗나가면, 단순히 더 열심히 하거나 더 빨리 뛰라고만 말합니다. 그들은 여전히 정확히 같은 지점에서 골대를 빗나갑니다.
DIVSKILL-SQL 방식: 경기를 지켜봅니다. A 선수가 너무 공격적이어서 골대를 계속 빗나가는 것을 발견합니다. 따라서 A 선수에게 단순히 다시 시도하라고 말하는 대신, 그 특정 약점을 해결하기 위한 새로운 구체적인 훈련 동작을 A 선수만을 위해 만듭니다.
그런 다음 남은 문제들을 살펴봅니다. B 선수는 슈팅은 뛰어나지만 패스는 서툴 수 있습니다. B 선수만을 위한 새로운 훈련 동작을 만들어 패스를 개선합니다.

논문에서 이는 잔여 기술 최적화 (Residual Skill Optimization) 라고 불립니다. 시스템은 현재 팀이 해결하지 못한 질문들을 분석한 후, 남아 있는 어려운 사례들을 해결하기 위해 새로운 기술을 구체적으로 최적화합니다. 모든 선수를 모든 일에 완벽하게 만들려고 하는 것이 아니라, 다른 선수들이 남긴 특정 허점을 각 선수마다 완벽하게 메꾸도록 하는 것입니다.

2. "기술 카드" (무거운 작업 불필요)

이 논문은 전체 AI 두뇌를 재훈련할 필요가 없다고 강조합니다 (이는 비용이 많이 들고 느립니다). 대신 AI 에게 주는 지시 카드 (프롬프트) 만 변경합니다.

한 카드는 다음과 같이 말할 수 있습니다: "신중한 탐험가가 되세요. 먼저 데이터를 확인한 후 코드를 작성하세요."
다른 카드는 다음과 같이 말할 수 있습니다: "빠른 코더가 되세요. 즉시 코드를 작성하고 실행한 후 오류가 발생하면 수정하세요."
세 번째 카드는 다음과 같이 말할 수 있습니다: "큰 그림을 그리기 전에 문제를 작은 조각으로 나누세요."

여덟 번의 시도 각각에 AI 에게 서로 다른 "성격 카드"를 제공함으로써, 여덟 개의 답변이 서로 확실히 다르게 나오도록 보장합니다. 한 가지 접근 방식이 실패하더라도, 다른 방식들은 문제를 다르게 생각하기 때문에 성공할 가능성이 높습니다.

3. "토너먼트" (승자 선정)

여덟 명의 전문가 팀이 여덟 개의 답변을 생성하면, 시스템은 승자를 선택해야 합니다.

단순히 추측하거나 첫 번째 것을 선택하는 대신, 쌍대 토너먼트 (pairwise tournament) 를 사용합니다.
권투 경기를 상상해 보세요: 답변 A 가 답변 B 와 맞서 싸웁니다. AI 심판이 승자를 선택합니다. 그런 다음 그 승자가 답변 C 와 맞서 싸웁니다.
가장 많은 "승리"를 거둔 것이 최종 답변이 됩니다. 이는 무작위로 하나를 선택하는 것보다 훨씬 신뢰할 수 있습니다.

그들은 무엇을 발견했는가?

저자들은 실제 세계의 데이터베이스 문제 (Spider2-Lite 및 BIRD-Critic 과 같은 벤치마크 사용) 에서 이를 테스트했습니다. 주요 결론은 다음과 같습니다.

향상된 정확도: 그들의 "전문가 팀"은 기존 최선 방법보다 훨씬 더 많은 문제를 해결했습니다. 일부 어려운 데이터베이스에서는 정확도가 11 포인트 이상 향상되었습니다.
환각 현상 감소: 기술이 특정 유형의 오류를 해결하는 데 집중되어 있기 때문에, AI 는 존재하지 않는 가짜 데이터베이스 테이블을 발명하는 것과 같은 "무모한 추측"을 덜 했습니다.
진정한 다양성: 논문은 여덟 개의 답변이 단순히 같은 문장의 약간 다른 버전이 아니었음을 보여줍니다. 그들은 완전히 다른 추론 경로 (예: 하나는 먼저 데이터를 확인하고, 다른 하나는 즉시 코드를 작성함) 를 사용하여 생성되었습니다. 이는 더 넓은 범위를 커버했음을 의미합니다.
이전 가능한 기술: 흥미롭게도 한 유형의 데이터베이스 (Snowflake) 로 훈련된 팀은 재훈련 없이도 완전히 다른 데이터베이스 (BigQuery, SQLite) 에서도 똑같이 잘 작동했습니다. "기술들" (예: "문제를 분해하라") 은 어디서나 유용했습니다.

요약

이 논문은 AI 팀을 더 크게 만드는 것이 아니라 더 다양하게 만들어 더 똑똑하게 만드는 방법을 소개합니다. AI 에게 여덟 번 연속으로 추측하게 하는 대신, AI 에게 여덟 가지 다른 사고 방식을 가르쳐, 한 가지 방식이 실패하면 다른 방식이 성공할 가능성을 높입니다. 이는 한 사람에게 여덟 번 시도해 보라고 하는 것과, 고유한 강점을 가진 여덟 명의 전문가에게 함께 문제를 해결하게 하는 것의 차이입니다.

기술 요약: 텍스트 -SQL 앙상블을 위한 잔여 기술 최적화

문제 정의

텍스트 -SQL 시스템은 자연어 질문을 실행 가능한 SQL 쿼리로 변환하는 것을 목표로 합니다. 대규모 언어 모델 (LLM) 은 표준 벤치마크에서 좋은 성능을 보이지만, 대규모 스키마, 방언별 구문, 다단계 논리가 포함된 실제 시나리오는 여전히 도전 과제로 남아 있습니다. 현재 에이전트 시스템은 스키마를 반복적으로 검사하고 오류를 수정하는 방식으로 작동하지만, 모든 쿼리를 신뢰할 수 있게 해결하지는 못합니다.

이를 해결하기 위해 텍스트 -SQL 앙상블은 여러 개의 SQL 후보 ( $K$ 개) 를 생성하고 가장 좋은 것을 선택합니다. 그러나 어떤 앙상블의 효과도 근본적으로 Pass@K(즉, $K$ 개의 후보 중 적어도 하나가 정확할 확률) 에 의해 제한됩니다. 기존 방법들은 확률적 디코딩 (고온 샘플링) 이나 수동으로 설계된 프롬프트 변형을 통해 다양성을 높이려 시도했습니다. 하지만 저자들은 이러한 접근 방식이 종종 상관된 실패를 일으키는 후보들을 생성하기 때문에 불충분하다고 주장합니다. 에이전트 시스템에서는 초기 계획의 무작위성이 긴 추론 궤적을 통해 전파되어, 동일한 잘못된 경로의 노이즈가 있는 변형만 생성할 뿐 진정으로 보완적인 솔루션을 만들어내지 못합니다. 결과적으로 Pass@K 는 정체되고, 추가적인 후보는 체감 수익을 가져옵니다.

방법론: DIVSKILL-SQL

본 논문은 모델 미세 조정 없이 보완적인 에이전트형 텍스트 -SQL 앙상블을 구축하는 DIVSKILL-SQL 프레임워크를 소개합니다. 확률이나 휴리스틱에 의존하는 대신, 이 프레임워크는 **잔여 기술 최적화 (Residual Skill Optimization)**를 사용하여 후보의 보완성을 명시적인 최적화 목표로 삼습니다.

핵심 개념: 기술과 잔여

기술 (Skills): "기술"은 에이전트의 분해 스타일, 스키마 탐색 정책, 초안 작성 전략, 그리고 수정 로직을 제어하는 고수준 지시 파일 (시스템 프롬프트) 로 정의됩니다.
잔여 최적화: 이 프레임워크는 새로운 기술이 반드시 이전 기술보다 전역적으로 더 우수할 필요는 없으며, 오히려 현재 앙상블이 놓친 특정 예제를 해결해야 한다는 원칙에 기반합니다.
- $D_{train}$ 을 학습 집합이라고 합시다.
- 기술 $s_1, \dots, s_{j-1}$ 을 선택한 후, 잔여 집합 $R_{j-1}$ 은 현재 앙상블이 실패한 예제의 부분집합으로 정의됩니다.
- 다음 기술 $s_j$ 는 $R_{j-1}$ 에서 성공을 극대화하도록 최적화됩니다.
- 이 과정은 새로운 기술이 전체 Pass@K 에 기여하는 한계 기여도를 탐욕적으로 목표로 합니다.

알고리즘 흐름

시드 풀 초기화: 이 과정은 각각 고유한 추론 전략을 인코딩하는 $K$ 개의 수동으로 선별된 시드 기술 (예: decompose, direct_coder, explore_heavy, adversarial_checker) 로 구성된 다양한 풀로 시작합니다.
반복적 최적화:
- 알고리즘은 배치 단위로 실행됩니다. 풀의 각 기술에 대해 현재 잔여 실패 (앙상블이 해결하지 못한 예제) 를 식별합니다.
- 반사적 프롬프트 최적화 (Reflective Prompt Optimization)(특히 GEPA 기법) 를 사용하여 LLM 이 실패 흔적 (스키마 검사, 실행 오류) 을 분석하고 이러한 특정 실패를 해결하기 위해 개선된 프롬프트를 제안합니다.
- 개선안은 잔여 집합에서의 복구율이 향상될 때만 승인됩니다.
- 개선된 기술이 새로 해결한 예제를 제거하여 잔여 집합을 업데이트합니다.
추론: 테스트 시, 학습된 $K$ 개의 기술 조건부 에이전트가 병렬로 실행됩니다. 후보들은 실행 출력에 따라 중복 제거되며, 최종 SQL 은 직접적인 1-of-K 선택보다 더 신뢰할 수 있는 LLM 판정자를 사용한 쌍별 비교를 통해 선택됩니다.

주요 기여

정식화: 저자들은 에이전트 기술을 기반으로 한 잔여 Pass@K 최적화 문제로 텍스트 -SQL 앙상블링을 공식화하여, 서로 다른 실패 모드를 커버하는 보완적인 행동을 학습하는 것을 목표로 합니다.
프레임워크: 그들은 모델 미세 조정이나 고온 샘플링 없이 후보 집합의 커버리지를 개선하는 DIVSKILL-SQL을 제안하며, 이는 오픈 및 폐쇄형 LLM 모두에 적용 가능합니다.
이론적 보장: 이 논문은 Pass@K 목적 함수의 서모듈러성 (submodularity) 을 활용하여, 인구 집단 목적 하에서 탐욕적 잔여 최적화 전략이 최적 $K$ -기술 앙상블의 적어도 $(1 - 1/e)$ -근사치를 달성함을 보여주는 증명 (Proposition A.1) 을 제공합니다.
실증적 검증: 여러 벤치마크와 SQL 방언에 대한 광범위한 평가는 해결되지 않은 예제에 기술을 최적화하는 것이 Pass@K 에 대한 한계 기여도를 직접적으로 타겟팅함을 입증했습니다.

실험 결과

이 프레임워크는 Opus-4.6과 GPT-5.4를 기본 모델로 사용하여 Spider2-Lite(SQLite, Snowflake, BigQuery 포함) 와 BIRD-Critic(PostgreSQL 디버깅) 에서 평가되었습니다.

성능 향상:
- **Spider2-Lite (Snowflake)**에서 DIVSKILL-SQL 은 가장 강력한 베이스라인 (CHASE-SQL) 대비 선택 정확도를 +11.1 포인트 향상시켰습니다.
- **Spider2-Lite (BigQuery)**에서는 +8.3 포인트 향상되었습니다.
- BIRD-Critic에서는 선택 정확도가 +2.6 포인트 향상되어 디버깅 스타일 작업 형식으로의 전이를 입증했습니다.
전이성: 단일 방언 (Snowflake) 에서 최적화된 기술은 재학습 없이 BigQuery 와 SQLite 로 효과적으로 전이되었으며, 이는 학습된 전략이 방언별 구문보다는 고수준 문제 해결 논리를 포착함을 나타냅니다.
오류 감소: 오류 진단 결과, 베이스라인 대비 환각된 스키마 참조와 지원되지 않는 함수 호출이 최대 3 배 감소한 것으로 나타났습니다.
행동 다양성: 궤적 분석에 따르면 DIVSKILL-SQL 은 에이전트 행동의 중복성을 19%–28% 줄였습니다. 상관된 실패를 생성하는 반복 샘플링과 달리, 학습된 기술은 명확히 다른 추론 경로 (예: 고유한 스키마 검사 및 분해 패턴) 를 유도합니다.
효율성: DIVSKILL-SQL 의 8 개 후보와 동일한 Pass@K 커버리지를 달성하기 위해 베이스라인 방법은 3 개에서 8 개의 추가 패스가 필요하여, 잔여 접근 방식의 비용 효율성을 강조했습니다.

중요성과 주장

본 논문은 DIVSKILL-SQL이 확률적 다양성에 의존하는 것에서 구조화된 보완적 다양성으로의 전환을 나타낸다고 주장합니다. 이전 에이전트가 놓친 "잔여" 사례를 명시적으로 최적화함으로써, 이 시스템은 전체가 부분의 합보다 큰 앙상블을 구축합니다.

저자들은 그들의 성취가 표면적 변이가 아닌 진정으로 신뢰할 수 있는 보완적 기술에서 비롯된다고 강조합니다. 이 접근법은 초기 무작위성이 불안정한 추론으로 이어지는 에이전트 시스템의 취약성을 해결합니다. 또한, 이 방법의 방언 및 작업 유형 (생성에서 디버깅까지) 간 전이 능력은 최적화된 기술이 관계형 데이터베이스와 상호작용하기 위한 견고하고 일반화 가능한 전략을 인코딩함을 시사합니다. 이 프레임워크는 여러 모델을 미세 조정하는 계산 비용 없이 텍스트 -SQL 신뢰성을 개선할 수 있는 실용적인 경로를 제공합니다.