기술 요약: 자기 개선과 적응형 가중 다수결을 활용한 LLM 기반 SQL 생성

1. 문제 제기

텍스트-to-SQL 생성은 사용자가 자연어를 통해 데이터베이스를 조회할 수 있게 함으로써 데이터 분석의 진입 장벽을 낮추는 것을 목표로 합니다. 대형 언어 모델 (LLM) 의 발전에도 불구하고, 정확한 SQL 생성은 다음과 같은 이유로 여전히 어렵습니다:

• 모호성: 자연어 쿼리는 종종 명확한 의도를 담고 있지 않습니다.
• 스키마 링크: 자연어 토큰을 특정 데이터베이스 테이블 및 열에 정확하게 매핑하는 어려움, 특히 암시적 조인과 테이블 간 참조와 관련하여 발생합니다.
• 일반화: 실제 기업 환경에서 발견되는 다양한 SQL 문법 (예: BigQuery, Snowflake) 및 쿼리 스타일에 대한 성능이 낮습니다.
• 견고성 부족: 기존 파이프라인은 종종 최종 출력을 위해 단일 모델에 의존하며, 적응형 피드백 메커니즘, 외부 지식 통합, 이전 실행 오류로부터 학습하는 전략이 부족합니다.
• 복잡성: 실제 기업 시나리오 (예: Spider 2.0) 는 다단계 추론, 동적 환경 상호작용, 긴 컨텍스트 제약 조건 처리를 요구하며, 여기서 전통적인 단일 턴 프롬프팅은 실패합니다 (종종 10% 미만의 정확도 달성).

2. 방법론

본 논문은 단일 에이전트 파이프라인에서 다중 에이전트 프레임워크로 진화하는 2 단계 접근법을 제안하며, 두 가지 모두 **가중 다수결 (Weighted Majority Voting, WMA)**과 **실행 기반 자기 개선 (Execution-Guided Self-Refinement)**을 활용합니다.

1 단계: 앙상블 투표가 포함된 단일 에이전트 자기 개선 (SSEV)

PET-SQL 프레임워크를 기반으로 구축된 SSEV 파이프라인은 추론 중 정답 (ground-truth) 데이터 없이 작동하며 두 가지 주요 단계로 구성됩니다:

1. PreSQL 생성 및 스키마 링크:
   • 여러 LLM(전문가) 이 전체 데이터베이스 DDL, 셀 값 참조 및 최적화 규칙이 포함된 퓨샷 (few-shot) 프롬프트를 사용하여 예비 SQL 후보 (PreSQL) 를 생성합니다.
   • 스키마 링크: 생성된 PreSQL 문자열을 파싱하여 참조된 테이블과 열을 추출합니다. 관련 없는 스키마 요소를 제거하여 다음 단계를 위한 집중된 스키마 기반 프롬프트를 생성합니다.
2. PostSQL 생성 및 개선:
   • 동일한 LLM 앙상블이 제거된 스키마를 사용하여 개선된 SQL 후보 (PostSQL) 를 생성합니다.
   • 실행 기반 자기 개선: 쿼리가 실패할 경우 (구문 오류 또는 빈 결과), 반복적으로 다시 작성됩니다. 모델은 원래 컨텍스트, 실패한 SQL, 그리고 구체적인 오류 메시지와 함께 다시 프롬프트됩니다. 이 루프는 최대 반복 횟수 ($N$) 까지 계속됩니다.
3. 적응형 앙상블 투표:
   • 단순 다수결 대신 시스템은 **가중 다수 알고리즘 (Weighted Majority Algorithm, WMA)**과 그 무작위 변형 (RWMA) 을 사용합니다.
   • 메커니즘: 각 전문가 (LLM) 에게 가중치 ($w_i$) 가 할당됩니다. 가중치는 과거 성능 (정확성 또는 실행 성공) 에 따라 업데이트됩니다. 잘못된 예측은 곱셈 패널티 ($1-\epsilon$) 를 초래합니다.
   • 선택: 최종 SQL 은 가장 높은 총 가중치 (WMA) 를 기반으로 선택되거나 가중치에 따라 확률적으로 샘플링 (RWMA) 됩니다. 이를 통해 시스템은 추론 시 정답 레이블이 필요 없이 더 신뢰할 수 있는 전문가를 동적으로 우선순위화할 수 있습니다.

2 단계: ReCAPAgent-SQL (개선 - 비판 - 실행 - 계획)

기업용 데이터베이스의 복잡성 (Spider 2.0) 을 해결하기 위해 저자들은 SSEV 의 핵심 통찰력을 전문화되고 협력하는 에이전트들에 캡슐화한 다중 에이전트 프레임워크를 제안합니다:

• PlannerAgent: SQL 생성 전에 사용자 쿼리를 단계별 추론 계획 (JSON 형식) 으로 분해합니다.
• RetrieverAgent: 벡터 데이터베이스에서 외부 도메인 지식과 특정 SQL 문법 (예: BigQuery) 을 검색하여 생성 (RAG) 에 활용합니다.
• CritiqueAgent: 논리적 일관성, 문법 준수, 그리고 계획과의 일관성을 위해 추론 계획과 생성된 SQL 을 모두 평가합니다. 결함이 감지되면 수정을 트리거합니다.
• SchemaLinkerAgent: 실행 오류 (예: TableNotFound) 가 발생할 때 스키마 정보를 동적으로 필터링하고 포맷하여 프롬프트에 관련 컨텍스트만 포함되도록 합니다.
• ActionAgent: 현재 상태와 피드백에 따라 다음 실행 가능한 동작 (SQL 생성, Bash 명령어, 또는 종료) 을 예측합니다.
• SelfRefinerAgent: 실패한 SQL 쿼리에 대한 반복적 수정 루프를 관리하며 오류 메시지와 스키마 컨텍스트를 통합합니다.
• ValidatorAgent: 최종 품질 보장을 수행하여 결과가 사용자 의도와 일치하는지, 비어 있지 않은지, 그리고 불필요한 열이 없는지 확인합니다.

이 프레임워크는 계획 - 실행 - 비판 - 개선 - 검증 루프에서 작동하며, 성공적인 검증이 이루어지거나 최대 단계 제한에 도달할 때까지 종료됩니다.

3. 주요 기여

• SSEV 파이프라인: PreSQL/PostSQL 생성, 실행 기반 자기 개선, 그리고 적응형 WMA/RWMA 투표를 통합한 새로운 단일 에이전트 파이프라인으로, 정답 감독 없이 Spider 1.0 및 BIRD 에서 강력한 성능을 달성했습니다.
• ReCAPAgent-SQL: 복잡하고 실제적인 기업 시나리오를 위해 설계된 포괄적인 다중 에이전트 프레임워크입니다. 계획, 외부 지식 검색, 동적 스키마 링크, 그리고 반복적 비판/개선을 체계적으로 통합합니다.
• 적응형 투표 메커니즘: Text-to-SQL 에 WMA 및 RWMA 를 적용하여, 과거 성능에 기반하여 LLM 전문가를 동적으로 가중치하는 것이 정적 앙상블 방법 및 단일 모델 베이스라인보다 훨씬 우수한 성능을 보임을 입증했습니다.
• 실행 기반 개선: 복잡한 외부 오류 분류 모듈에 의존하지 않고 구문 및 실행 오류를 수정하는 경량 자기 개선 루프입니다.

4. 실험 결과

실험은 Spider 1.0 (Dev/Test), BIRD (Dev), 그리고 Spider 2.0-lite 의 첫 100 개 쿼리에서 수행되었습니다.

SSEV 성능 (Spider 1.0 및 BIRD)

• Spider 1.0 Dev: 최상의 구성 (Stage 6.1: WMA + 자기 개선 + 스키마 링크) 은 **85.5%**의 실행 정확도를 달성하여 개별 베이스라인 (예: 84.9% 의 Gemini-2.5-Pro) 을 능가했습니다.
• Spider 1.0 Test: 동일한 구성은 **86.4%**의 실행 정확도를 달성했습니다.
• BIRD Dev: 프레임워크는 **66.3%**의 실행 정확도를 달성하여 최상의 개별 모델 (66.56% 의 Gemini-2.5-Pro) 의 성능에 근접했습니다.
• Ablation 연구:
  • 스키마 링크는 특히 약한 모델에게 modest 하지만 일관된 향상을 제공했습니다.
  • 실행 기반 자기 개선은 복잡한 BIRD 데이터셋에서 상당한 개선을 보였으며 (특정 모델의 경우 최대 +2.28%), Spider 1.0 에서는 혼합된 결과를 보였습니다.
  • WMA 는 RWMA 및 Naïve 투표에 비해 일관되게 낮은 오류율과 후회 (regret) 를 보여주어 가장 강력한 전문가들에게 효과적으로 수렴했습니다.

ReCAPAgent-SQL 성능 (Spider 2.0-lite)

• 베이스라인 비교: GPT-4.1 을 사용한 공식 Spider-Agent 는 첫 100 개 쿼리에서 불과 **6%**의 정확도를 달성했습니다.
• ReCAPAgent-SQL 개선: GPT-4.1 에 ReCAPAgent-SQL 을 통합하여 정확도를 **31%**로 높였습니다 (절대적 증가분 25%).
• Grok-3-beta: ReCAPAgent-SQL 은 Grok-3-beta 의 성능을 **23%**에서 **29%**로 향상시켰습니다.
• 투표 영향: WMA 는 가장 높은 총 정확도 (31%) 를 달성한 반면, RWMA 는 "Hard" 쿼리에서 약간의 우위 (12.5% 대 8.3%) 를 보여 전체 정확도와 어려운 인스턴스에서의 견고성 사이의 트레이드오프를 나타냈습니다.

5. 의의 및 주장

본 논문은 다음과 같은 이유로 실제 환경에서 확장 가능한 Text-to-SQL 시스템의 배포를 촉진한다고 주장합니다:

• 격차 해소: 합성 벤치마크에서 현실적이고 문법에 민감한 기업 환경 (Spider 2.0) 으로 이동합니다.
• 비용 및 효율성: 전문 SQL 전문성에 대한 의존도를 줄여 더 낮은 비용과 더 큰 효율성으로 데이터 기반 의사 결정을 지원합니다.
• 견고성: 실행 기반 자기 개선과 적응형 앙상블 투표 (WMA) 를 결합하면 스키마 모호성과 실행 오류에 견고한 시스템을 만든다는 것을 입증했습니다.
• 이론적 기반: 추론 중 정답 감독이 없어도 낮은 후회로 거의 전문가 수준의 성능을 달성하는 이론적으로 근거 있는 방법 (WMA) 을 제공합니다.

저자들은 개선, 스키마 추론, 그리고 적응형 투표의 통합이 복잡하고 실제적인 시나리오에서 Text-to-SQL 시스템의 신뢰성을 높이는 데 필수적이라고 결론지었습니다.