기술 요약: 자연어 분석을 위한 스키마 우선 검색 (Schema-First Retrieval)

문제 정의

엔터프라이즈 텍계-to-SQL 시스템은 SQL 생성 단계가 아니라, 그 전 단계인 컨텍스트 선택 단계에서 빈번하게 실패합니다. 현대적인 데이터 웨어하우스에서 모델은 종종 축약된 컬럼명, 비공식적 비즈니스 지표, 숨겨진 조인 관례, 권한 경계와 같은 중요한 컨텍스트를 포착하지 못하는 원시 테이블 명칭만을 전달받습니다. 모델이 잘못된 스키마 컨텍스트(예: 잘못된 테이블, 조인 키 또는 비즈니스 정의)를 받게 되면, 구문론적으로는 유효하지만 분석적으로는 무용지물인 SQL을 생성하게 됩니다. Spider 2.0과 같은 기존 벤치마크는 현실적인 워크플로우가 압축된 학술적 스키마보다는 메타데이터 검색과 프로젝트 컨텍스트를 필요로 한다는 점을 강조합니다. 기존 방식들은 스키마 선택을 단순한 프롬프트 포매팅의 세부 사항으로 취급하거나, 이미 올바른 스키마가 제공되었다고 가정하는 생성 중심의 파이프라인에 의존하는 경향이 있습니다.

방법론: 스키마 우선 검색 (Schema-First Retrieval)

본 논문은 데이터 카탈로그(원시 웨어하우스 행이 아닌)를 주요 검색 대상으로 취급하는 검색 레이어인 **스키마 우선 검색(Schema-First Retrieval)**을 제안합니다. 이 시스템은 두 단계로 작동합니다.

1. 오프라인 인덱싱 (Offline Indexing)

시스템은 **5가지 유형의 카탈로그 객체 분류(taxonomy)**를 정의하며, 각 객체 유형을 임베딩하기 전에 특정 텍스트 템플릿으로 렌더링합니다.

• 테이블 (Tables): 도메인을 고정합니다 (이름, 스키마, 설명, 소유자).
• 컬럼 (Columns): 서술어(predicate)와 투영(projection)의 근거를 제공합니다 (데이터 타입, 샘플 값, 부모 컨텍스트).
• 지표 (Metrics): 비즈니스 언어와 물리적 스키마를 연결합니다 (공식, 소스 컬럼).
• 관계 (Relationships): 외래 키와 문서화된 경로를 인코딩하여 조인을 보호합니다.
• 쿼리 이력 (Query History): 워크로드 메모리를 포착합니다 (이전 질문 및 액세스된 객체).

이러한 객체들은 유형별 템플릿을 사용하여 별도의 벡터 컬렉션에 임베딩됩니다.

2. 온라인 검색 파이럽 (Online Retrieval Pipeline)

• 병렬 검색 (Parallel Search): 사용자 쿼리가 임베딩되면 bi-encoder(Amazon Titan Embeddings V2)를 사용하여 5개의 모든 카탈로그 컬렉션을 동시에 검색합니다.
• 리니지 확장 (Lineage Expansion): 관계가 필요한 경우, 시스템은 너비 우선 탐색(breadth-first search)을 통해 후보 테이블을 확장하여 쿼리에 명시적으로 언급되지 않은 브릿지 테이블과 조인 키를 포함합니다.
• 재순위화 (Reranking): cross-encoder(Cohere Rerank V3.5)가 풀링된 후보들을 재순위화합니다. 이는 짧거나 중복되거나 축약된 경우가 많은 컬럼 처리에 특히 중요합니다.
• 점수 퓨전 (Score Fusion): 최종 검색 점수는 의미적 유사성, cross-encoder 관련성, 그리고 (최신성에 따라 가중치가 부여된) 쿼리 이력 증거를 결합합니다.
• 결정론적 거버넌스 (Deterministic Governance): 액세스 제어는 LLM 외부에서 강제됩니다. 결정론적 필터가 컨텍스트 조립 전 ACL(Access Control Lists)을 기반으로 권한이 없는 카탈로그 객체를 제거합니다. 생성된 SQL은 또한 행 수준의 서술어를 강제하기 위해 검증 및 재작성됩니다.

3. 생성 (Generation)

SQL 생성기는 전체 웨어하우스가 아닌, 카탈로그에 의해 검증된 집중된 스키마 부분 집합(DDL, 지표 정의, 조인 경로)을 전달받습니다. 생성기는 교체 가능한 컴포넌트로 취급됩니다. 시스템은 의도 기반 라우팅(쿼리 복잡도 분류)과 토큰 예산 기반의 컨텍스트 조립에 의존하여 입력을 최적화합니다.

주요 기여 (Key Contributions)

1. 유형화된 카탈로그 객체 분류 (Typed Catalog Object Taxonomy): 본 논문은 테이블, 컬럼, 지표, 관계, 쿼리 이력을 위한 별도의 임베딩 템플릿을 정의하며, 이러한 객체들이 서로 다른 검색 질문에 답하고 일반적인 텍스트 덩어리로 평탄화되어서는 안 된다고 주장합니다.
2. 다중 신호 검색 파이프라인 (Multi-Signal Retrieval Pipeline): 병렬 벡터 검색, 리니지 확장, cross-encoder 재순위화, 워크로드 메모리를 통합하여 SQL 생성을 위한 단일화된 컨텍스트를 제공하는 시스템입니다.
3. 결정론적 거버넌스 (Deterministic Governance): 액세스 제어가 모델이 정책 지침을 기억하거나 따르도록 하는 것이 아니라, 카탈로그 필터링과 SQL 재작성을 통해 결정론적으로 처리되는 시스템 레벨의 접근 방식입니다.

실험 결과

시스템은 세 가지 벤치마크인 CRUSH4SQL (1,534개 질문), SEDE (857개 질문), BIRD (96개 질문)에서 평가되었습니다.

• 검색 품질 (CRUSH4SQL):

  • 의미적 검색(bi-encoder)은 Table Recall@5에서 BM25 베이스라인보다 +32.8 포인트 높은 성능을 보였습니다.
  • Cross-encoder 재순위화는 Column Recall@10에서 +11.1 포인트를 추가했습니다.
  • 전체 시스템은 96.4%의 Table Recall@20을 달성했습니다.
  • 절제 연구(Ablation studies)를 통해 5가지 객체 유형 중 하나라도 제거하면 성능이 저하됨을 확인하여, 분류 체계의 비중복성을 입증했습니다.

• 워크로드 메모리 (SEDE):

  • 쿼리 이력을 포함함으로써 Table Recall@5가 52.1%에서 92.3%로(+40.2 포인트) 상승하여, 과거 패턴이 관련 테이블의 순위를 높이는 데 크게 기여함을 보여주었습니다.

• 엔드 투 엔드 생성 (BIRD):

  • Schema-First Retrieval은 SQL 실행 오류를 15.6%에서 6.2%로 감소(2.5배 감소)시켰습니다.
  • 이 감소는 통계적으로 유의미했습니다 (McNemar's test, p=0.035).
  • 오류 분석 결과, 시스템이 올바른 표면 형태(surface forms)를 검색된 컨텍스트에 노출함으로써 어휘적 접지(lexical grounding)와 관련된 9개 오류 중 8개를 제거했음을 밝혀냈습니다 (예: 식별자 인용 및 잘못된 테이블 컬럼 참조).

• 효율성:

  • 검색 파이프라인은 쿼리당 약 1.28초를 추가합니다.
  • 전체 실험 비용은 모든 데이터셋에 대해 3달러 미만이었습니다 (~질문당 약 $0.006).

의의 및 주장

본 논문은 **카탈로그 선택이 단순한 프롬프트 포매팅의 세부 사항이 아니라, 일급 검색 문제(first-class retrieval problem)**라고 주장합니다. 검색 대상을 원시 스키마 스니펫에서 관리되고 유형화된 카탈로그로 전환함으로써, 시스템은 분석가의 언어(비즈니스 지표, 비공식 용어)와 물리적 스키마(축약된 컬럼, 운영상의 약어) 사이의 간극을 해결합니다.

저자들은 신뢰할 수 있는 자연어 분석을 위해서는 웨어하우스가 어떻게 문서화되고, 쿼리되며, 관리되는지에 특화된 검색 레이어가 필요하다고 주장합니다. 검색이 출처(provenance)를 지닌 카탈로그 슬라이스를 공급하고 생성이 그 슬라이스 위에서 작성되도록 책임을 분리함으로써, 시스템은 검색 지표와 실행 동작 모두를 개선할 수 있습니다. 또한, 액세스 제어를 모델 외부에서 결정론적으로 강제함으로써, 보안 정책을 준수하도록 LLM에 의존할 때 발생하는 문제들을 방지합니다.

결론적으로, 본 논문은 이 접근 방식이 어휘 및 접지 오류를 크게 줄여주지만, 데이터 의미론적 오류(예: NULL 비교 또는 집계 인수 위반)까지 해결하지는 못한다는 점을 명시하며, 검색이 더 이상 병목이 아닌 지점을 식별하였습니다.