An Agentic System for Schema Aware NL2SQL Generation

논문 요약: 스키마 인식형 에이전트 시스템을 활용한 비용 효율적 NL2SQL 생성

1. 연구 배경 및 문제 정의 (Problem)

자연어에서 SQL 로의 변환 (NL2SQL) 은 비전문가 사용자가 데이터베이스에 접근할 수 있게 하여 데이터 민주화를 실현하는 핵심 기술입니다. 최근 대규모 언어 모델 (LLM) 을 기반으로 한 다중 에이전트 시스템 (예: MAC-SQL) 이 성능을 크게 향상시켰으나, 다음과 같은 심각한 한계점이 존재합니다.

• 높은 계산 비용: LLM 기반 시스템은 연산 비용이 매우 높아 대규모 배포 시 경제적 부담이 큽니다.
• 데이터 프라이버시 및 규제: 기업 내 민감한 데이터를 외부 LLM API 에 전송하는 것은 데이터 보호 규정 (GDPR 등) 및 보안 정책상 문제가 될 수 있습니다.
• 복잡한 스키마 처리: 수백 개의 테이블과 복잡한 관계가 있는 엔터프라이즈 환경에서 LLM 만으로는 정확한 스키마 정합성 (Schema Alignment) 을 유지하기 어렵고, 할루시네이션 (Hallucination) 이 발생할 수 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 소형 언어 모델 (SLM) 을 주 에이전트로 활용하고, 오류 발생 시에만 LLM 을 지능적 백업 (Fallback) 으로 사용하는 하이브리드 에이전트 시스템을 제안합니다. 이 시스템은 4 개의 전문화된 에이전트로 구성된 파이프라인을 통해 작동합니다.

• 시스템 아키텍처:

  1. Extractor Agent (추출 에이전트):
     • 데이터베이스 메타데이터, RAG(검색 증강 생성) 를 통한 문서 컨텍스트, 과거 쿼리 - 스키마 정합성 증거 (Evidence Mapping) 를 통합하여 스키마 인식 컨텍스트를 생성합니다.
     • 벡터 임베딩을 사용하여 관련 문서를 1 초 미만으로 검색하고, 스키마 정합성을 강화하여 할루시네이션을 줄입니다.
  2. Decomposer Agent (분해 에이전트):
     • 복잡한 자연어 질문을 계층적 태스크 플래닝을 통해 작은 단계로 분해합니다.
     • 엔티티 매핑, 조건 분석, 실행 계획 수립, 결과 포맷팅을 수행하여 SQL 생성을 위한 구조화된 청사진을 작성합니다.
  3. Generator Agent (생성 에이전트):
     • 주요 생성: Llama-3.1 (8B) 과 같은 SLM 을 사용하여 초기 SQL 쿼리를 생성합니다.
     • 지능적 백업: 생성된 쿼리가 실행에 실패할 경우, GPT-4o(LLM) 를 활성화하여 오류 메시지, 실패한 쿼리, 원본 질문을 분석하여 재생성합니다. (최대 3 회 시도)
  4. Validator & Executor Agent (검증 및 실행 에이전트):
     • 증거 기반 자동 수정: 자연어 용어와 실제 DB 값의 불일치 (예: "East Bohemia" vs "east Bohemia") 를 사전에 교정합니다.
     • 다단계 검증: 구문 검증, 실행 검증 (런타임 오류 확인), 의미적 검증 (결과 집합의 논리적 정확성) 을 수행합니다.
     • 검증 실패 시 상세 진단 정보를 Generator 에게 전달하여 백업 메커니즘을 트리거합니다.

• 구현 기술: LangGraph(워크플로우 오케스트레이션), LangChain, Chroma DB(RAG 저장소), Mistral-7B(분해), Llama-3.1-8B(생성), GPT-4o(백업).

3. 주요 기여 (Key Contributions)

1. 하이브리드 에이전트 시스템 설계: SLM 을 주 엔진으로 사용하고 LLM 을 오류 복구용 백업으로만 사용하는 비용 효율적인 NL2SQL 아키텍처를 제안했습니다.
2. 성능 및 비용 비교 연구: BIRD 벤치마크를 통해 제안된 시스템과 기존 LLM 기반 다중 에이전트 시스템 (MAC-SQL, DAIL-SQL, DIN-SQL) 을 실행 정확도, 검증 효율성, 쿼리당 비용 측면에서 비교 분석했습니다.
3. 온프레미스 배포 가능성: 데이터 프라이버시를 유지하면서 로컬 SLM 을 활용하여 기업 환경에 적용 가능한 솔루션을 제시했습니다.

4. 실험 결과 (Experimental Results)

BIRD 벤치마크 (개발 세트 1,534 개 쿼리) 에서의 성능:

• 실행 정확도 (Execution Accuracy, EX): 47.78%
  • 비교: MAC-SQL(59.59%), DAIL-SQL(57.41%), DIN-SQL(55.90%) 보다 정확도는 낮으나, 비용 대비 효율성이 뛰어납니다.
• 검증 효율성 점수 (Validation Efficiency Score, VES): 51.05%
• 비용 절감 효과:
  • 쿼리당 평균 비용: $0.0085 (제안 시스템) vs $0.094 (LLM 전용 시스템).
  • 비용 절감률: 약 90% 이상 절감.
  • SLM 처리 비율: 전체 쿼리의 약 67% 가 로컬 SLM 만으로 성공적으로 해결되어, LLM 호출 비용이 거의 발생하지 않습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 경제성: LLM 의존도를 극도로 낮추어 NL2SQL 시스템의 상용화 장벽을 낮췄습니다.
  • 보안 및 규제 준수: 민감한 데이터를 외부 LLM 에 전송하지 않고 로컬에서 처리할 수 있어 기업 보안 요구사항을 충족합니다.
  • 실용성: 복잡한 쿼리의 2/3 이상을 저비용으로 처리할 수 있어 실시간 애플리케이션에 적합합니다.

• 한계점:

  • 복잡한 추론의 정확도: 중첩 서브쿼리, 복잡한 조인, 시간적 추론이 필요한 경우 SLM 의 한계로 인해 정확도가 떨어집니다. (백업 메커니즘이 일부 완화하지만 완전한 해결은 아님)
  • 지연 시간 (Latency): 백업 메커니즘이 발동되는 경우 (꼬리 분포, Tail Latency) 응답 시간이 길어져 사용자 경험에 영향을 줄 수 있습니다.
  • 에러 전파: 에이전트 간 순차적 의존성으로 인해 초기 에이전트 (예: 분해 에이전트) 의 오류가 최종 결과에 영향을 미칠 수 있습니다.
  • 스키마 의존성: 문서화가 부족하거나 컬럼명이 불명확한 레거시 데이터베이스에서는 RAG 기반 추출의 정확도가 감소할 수 있습니다.

6. 결론

이 논문은 NL2SQL 분야에서 비용 효율성과 데이터 프라이버시를 동시에 해결할 수 있는 실용적인 아키텍처를 제시했습니다. 비록 순수 LLM 기반 시스템보다 정확도가 약간 낮지만, 90% 이상의 비용 절감과 67% 의 로컬 처리 비율을 통해 기업 환경에서의 실제 배포 가능성을 입증했습니다. 향후 연구에서는 토큰 사용 패턴 분석, 지연 시간 최적화, 그리고 프라이버시 보호를 위한 LLM 백업 전략 고도화가 필요하다고 결론지었습니다.