기술 요약: 이질적인 엔터프라이즈 데이터베이스에 대한 NL2SQL을 위한 시맨틱 레이어 매개 에이전트

1. 문제 정의

자연어 질문을 실행 가능한 SQL(NL2SQL)로 변환하는 작업은 학술적 벤치마크보다 엔터프라이즈 환경에서 훨씬 더 까다로운 과제로 남아 있습니다. 모델들은 스키마가 작고 질문이 단일 쿼리에 직접 매핑되는 Spider나 BIRD와 같은 데이터셋에서는 우수한 성능을 보이지만, 엔터프라이즈 데이터베이스는 다음과 같은 뚜렷한 장애물을 제시합니다:

• 규모와 불투명성: 스키마는 수백 개의 물리적 테이블을 포함하며, 컬럼 이름은 암호 같고 자기 설명적 메타데이터가 부족합니다.
• 복잡성: 분석적 질문은 종종 중첩된 집계, 타임 윈도우 로직, 다중 테이블 조인 및 특정 방언(dialect)의 함수를 필요로 합니다.
• 취약성: LLM에 가공되지 않은 스키마 텍스트를 직접 프롬프트로 제공하면, 모델은 그라운딩(관련 테이블/컬럼 식별)과 구성(유효한 SQL 조립)을 동시에 해결해야 합니다. 컬럼 명칭이나 조인 로직에서의 단 한 번의 오류는 전체 쿼리를 실패하게 만들며, 구조화된 복구 메커니즘이 존재하지 않습니다.

스키마 프루닝(pruning)이나 멀티 에이전트 분해에 의존하는 기존 방식들은 여전히 물리적 스키마에 직접적으로 작동하며, 이로 인해 모델이 물리적 식별자를 환각하거나 평면적인 덤프에서 이름을 기억해내야 하는 상황을 남깁니다.

2. 방법론

본 논문은 spider2-daquv-quvi를 제안하며, 이는 LLM과 데이터베이스 사이에 **정제된 시맨틱 레이어(curated semantic layer)**를 삽입함으로써 스키마 그라운딩과 SQL 구성을 분리하는 아키텍처입니다.

핵심 아키텍처

시스템은 네 가지 계층을 통해 작동합니다:

1. 오케스트레이션 계층(Orchestration Tier): 벤치마크 인스턴스를 관리하고, 병렬 실행을 처리하며, 데이터베이스 접두사(SQLite, BigQuery, Snowflake)에 따라 쿼리를 라우팅합니다.
2. QUVI NL2SQL 서비스: LLM 에이전트와 시맨틱 레이어를 호스팅합니다.
3. SMQ-to-SQL 엔진: 중간 단계의 쿼리를 방언에 맞는 SQL로 변환하는 결정론적 컴파일러입니다.
4. 멀티 백엔드 실행기(Multi-Backend Executor): 최종 쿼리를 대상 데이터베이스에 대해 실행합니다.

시맨틱 레이어와 SMQ

시스템은 물리적 테이블을 그대로 노출하는 대신, 물리적 테이블을 **시맨틱 모델(Semantic Models)**로 래핑합니다. 이 모델들은 다음을 노출합니다:

• 차원(Dimensions): 인간이 읽을 수 있는 설명이 포함된 그룹화/필터링 키.
• 측정값(Measures): 집계 대상.
• 지표(Metrics): 사전 정의된 집계 또는 파생 계산.
• 조인 그래프(Join Graph): 필요한 변환(예: TRIM)을 포함하여 모델 간의 연결을 정의하는 타입화된 엣지(edge).

에이전트는 SQL을 직접 작성하지 않습니다. 대신, 지표, 필터, 그리고 group-by 차원의 목록을 포함하는 압축된 JSON 중간 표현식인 **시맨틱 모델 쿼리(SMQ)**를 생성합니다.

• SMQ의 제한 사항: SMQ는 의도적으로 선택, 필터링, 그룹화, 선언된 조인과 같은 "공통 분석 핵심(common analytical core)"만을 다룹니다. 재귀적 CTE, 임의의 서브쿼리 또는 고급 윈도우 함수와 같은 복잡한 구조는 제외됩니다.
• 컴파일: 결정론적 엔진은 SMQ를 컴파일하여 추상적인 이름을 물리적 컬럼 표현식으로 해결하고 조인 조건(predicate)을 주입합니다.

에이전트 워크플로우: Think–Act 루프

에이전트는 엄격한 단일 도구 think–act 루프를 따릅니다:

1. 탐색(Exploration): 에이전트는 convertSmqToSql 도구를 사용하여 시맨틱 레이어를 탐색합니다. 이 도구는 SMQ를 컴파일하고 그 결과물인 SQL과 데이터 프리뷰를 반환합니다.
2. 그라운딩(Grounding): 에이전트는 컴파일러의 출력으로부터 검증된 물리적 테이블 이름과 컬럼 표현식을 추출합니다. 에이전트는 최종 쿼리에서 시맨틱 모델 이름을 물리적 테이블으로 참조하는 것이 엄격히 금지되며, 반드시 컴파일러로부터 리프팅(lifted)된 이름을 사용해야 합니다.
3. 구성(Composition): 충분한 "빌딩 블록(building blocks)"(검증된 파편들)을 수집한 후, 에이전트는 최종적인 복잡한 SQL 쿼리를 구성합니다. 이 단계는 에이전트가 SMQ 컴파일러가 처리할 수 없는 구조(예: 윈도우 함수, 재귀적 CTE)를 추가할 수 있게 합니다.
4. 실행(Execution): 에이전트는 최종 쿼리를 실행하기 위해 단일 터미널 execute 호출을 발행합니다.

3. 주요 기여

• 분리된 아키텍처: 스키마 그라운딩(시맨틱 레이어를 통해 처리됨)과 SQL 구성(에이전트에 의해 처리됨)을 분리하는 시스템 설계로, 두 가지 어려운 문제를 혼동하는 것을 방지합니다.
• 구조화된 중간 표현식(SMQ): 에이전트가 원시 스키마 덤프가 아닌 비즈니스 명칭의 요소들을 바탕으로 추론하도록 강제하는 압축되고 구조화된 쿼리 형식을 제공하며, 물리적 매핑을 위해 결정론적 엔진에 의존합니다.
• 제약된 에이전트 루프: SMQ 컴파일이 엄격히 탐색 및 검증을 위한 용도로만 사용되고 SQL 실행이 유일한 터미널 액션이 되는 단일 도구 패러다임입니다. 이는 오류 전파를 줄이고 에이전트의 궤적을 감사 가능하게 만듭니다.
• 멀티 백엔드 하네스: Spider2 프로토콜에 따라 SQLite, BigQuery, Snowflake 백엔드에 대해 쿼리를 라우팅하고 점수를 매길 수 있는 엔드 투 엔드 평가 시스템입니다.

4. 결과

시스템은 Snowflake를 대상으로 실행된 547개의 엔터프라이즈 NL2SQL 태스크 벤치마크인 Spider2-snow에서 평가되었습니다.

• 성능: 시스템은 94.15%의 실행 정확도(515/547 사례 정답)를 달성했습니다.
• 순위: 이 결과는 시스템을 공식 Spider2 리더보드에서 세 번째로 높은 순위에 올렸습니다.
• 비교: 결과는 스키마 전용 베이스라인을 크게 상회합니다. 참고로, GPT-4o를 사용한 DAIL-SQL의 정확도는 2.20%였으며, 다른 에이전트 기반 방식들(Spider-Agent, ReFoRCE)은 23%에서 31% 사이였습니다.
• 백엔드별 세부 분석: 대부분의 출처에서 정확도가 높았습니다(SQLite-origin 97.0%, GA4-origin 96.0%, BigQuery-origin 94.9%). 네이티브 Snowflake 클래스는 낮은 정확도(55.6%)를 보였는데, 이는 작은 샘플 크기(18개 인스턴스)와 높은 변동성, 그리고 방언 특유의 처리 난이도 때문인 것으로 분석되었습니다.

5. 의의 및 주장

본 논문은 정제된 시맨틱 레이어를 통해 LLM의 추론을 매개하는 것이 엔터프라이즈 NL2SQL의 결정적 요소라고 주장합니다. 컴파일된 SMQ-to-SQL 파편을 "검증된 빌딩 블록"으로 취급함으로써, 시스템은 물리적 식별자가 환각이 아닌 진실에 근거하도록 보장합니다.

저자들은 높은 성능이 단순히 LLM의 추론 능력 때문만이 아니라 시스템 아키텍처(시맨틱 레이어 + 에이전트)의 결과임을 강조합니다. 또한 중요한 긴장 관계를 인정합니다: 시맨틱 레이어가 그라운딩을 제공하는 동안, 평가 세트에 맞춰 이를 정제하는 것은 일반적인 스키마 지식이 아닌 특정 정답을 인코딩하도록 설명을 편향시키는 **과적합(Overfitting, 굿하트의 법칙)**의 위험을 초래할 수 있습니다. 논문은 향-후의 주요 과제가 시맨틱 레이어를 평가 세트에 맞추어 훼손하지 않으면서도 품질과 일반화 가능성을 유지하는 것임을 결론짓습니다.