AmbiSQL: Text-to-SQL 을 위한 상호작용적 모호성 탐지 및 해결 시스템

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반의 Text-to-SQL 시스템은 비전문가 사용자에게 자연어 질문을 SQL 쿼리로 변환하여 큰 가치를 제공하지만, 여전히 오류가 발생하기 쉽습니다. 특히 **질문의 모호성 (Query Ambiguity)**은 LLM 기반 시스템의 주요 오류 원인 중 하나입니다.

• 현상: 사용자의 실제 의도와 생성된 SQL 쿼리 간의 불일치를 초래합니다.
• 원인: 데이터베이스 스키마 요소 (테이블, 컬럼) 에 대한 참조가 불명확하거나, LLM 의 추론 과정에서 외부 지식이나 맥락이 부족할 때 발생합니다.
• 도전 과제: 완전 자동화 시스템은 모든 사용자의 질문이 정확하고 모호하지 않다고 가정할 수 없으며, 모호한 질문을 처리하지 못하면 문법적으로 유효하지만 의미적으로 부정확한 SQL 을 생성하게 됩니다. 이는 시스템 개발, 평가 (단일 정답 기준의 한계), 그리고 실제 배포 환경에서 심각한 장벽이 됩니다.

2. 방법론 (Methodology)

AmbiSQL 은 모호성을 자동으로 탐지하고, 사용자의 피드백을 통해 직관적인 다중 선택 질문 (Multiple-Choice Questions) 을 통해 의도를 명확히 하는 상호작용형 시스템입니다.

가. 세밀한 모호성 분류 체계 (Fine-grained Ambiguity Taxonomy)
시스템은 모호성을 두 가지 차원으로 분류하여 탐지합니다.

1. 데이터베이스 소스 모호성 (Database-sourced ambiguity):
   • AmbiSchema: 어떤 테이블이나 컬럼을 사용해야 하는지 불분명함 (예: "가장 오래된 사용자"가 나이인지 가입일인지).
   • AmbiValue: 데이터베이스에 저장된 실제 값과 다른 값을 참조함 (예: "NYC" 대신 "New York City"로 검색).
   • AmbiIntent: 원하는 SQL 연산 (정렬, 그룹화, 필터링 등) 이 명확하지 않음.
2. LLM 소스 모호성 (LLM-sourced ambiguity):
   • AmbiSource: 데이터베이스에서 가져올지 LLM 추론으로 유추할지 불분명함.
   • AmbiContext: LLM 추론을 위한 충분한 맥락 (예: 환율의 기준 통화 및 날짜) 이 부족함.
   • AmbiFallacy: 질문 내의 가정과 실제 사실이나 DB 내용이 상충함.
   • AmbiRef: 시간적/공간적 제약이 세분화 수준 (Granularity) 이 불명확함 (예: "베트남 전쟁 종료 후"의 정확한 날짜).

나. 시스템 아키텍처 (2 단계 파이프라인)

1. 모호성 탐지 및 식별 (Stage 1):
   • 사전 훈련된 LLM 과 In-context Learning을 활용하여 사용자 질문에서 모호한 구문을 탐지하고 분류 체계에 따라 유형을 분류합니다.
   • 탐지된 모호성에 대해 사용자의 의도를 명확히 할 수 있는 **타겟화된 명확화 질문 (Clarification Questions, CQs)**을 생성합니다. 이 질문들은 데이터베이스 스키마 조각이나 관련 설명과 함께 다중 선택 형태로 제공됩니다.
2. 반복적 정제 (Stage 2):
   • 사용자가 명확화 질문에 답변하거나 추가 제약 조건을 입력하면, 시스템은 이를 기반으로 질문을 다시 작성 (Rewrite) 합니다.
   • 선호도 업데이트 (Preference Update): 사용자의 선택을 계층적 트리 구조로 저장하여 최신 의도를 반영합니다.
   • 질문 정제 (Query Refinement): 원본 질문과 사용자 입력을 통합하여 모호성이 제거된 새로운 질문을 생성합니다. 이 과정은 새로운 모호성이 발생하지 않는지 다시 한번 탐지 모듈을 통해 검증됩니다.
   • 최종적으로 모호성이 해결된 질문은 Text-to-SQL 백엔드 (XiYan-SQL) 에 전달되어 정확한 SQL 을 생성합니다.

3. 주요 기여 (Key Contributions)

• 새로운 모호성 분류 체계: 기존 연구가 주로 스키마 링크링 오류에 집중했던 것과 달리, LLM 추론 오류와 외부 지식 관련 모호성을 포함한 포괄적이고 세분화된 분류 체계를 제안했습니다.
• 상호작용형 해결 프레임워크: 완전 자동화 방식의 한계를 극복하고, 사용자의 명시적 피드백을 통해 모호성을 해결하는 인간-루프 (Human-in-the-loop) 방식을 도입했습니다.
• 실용적인 데모 시스템 (AmbiSQL): 상용 Text-to-SQL 백엔드인 XiYan-SQL과 통합된 데모를 제공하며, BIRD 와 TAG 벤치마크에서 수집된 40 개의 실제 모호한 쿼리를 포함하여 다양한 시나리오를 체험할 수 있게 했습니다.
• 코드 및 리소스 공개: GitHub 및 데모 비디오를 통해 시스템의 재현성을 보장합니다.

4. 결과 및 평가 (Results & Demonstration)

• 데모 기능: SIGMOD'26 참석자는 40 개의 모호한 쿼리를 사용하여 모호성 해결이 SQL 생성 품질을 어떻게 향상시키는지 탐색할 수 있습니다.
• 인터페이스:
  • 사용자 입력 패널: 커스텀 쿼리 입력 또는 예제 선택.
  • 모호성 해결 패널: 다중 선택 질문을 통해 모호한 구문 (예: "베트남 전쟁 종료"의 구체적 날짜, "ranked 2"의 컬럼 매핑) 을 명확히 하고 추가 제약 조건을 입력할 수 있습니다.
  • SQL 생성 패널: 모호성 해결 전후의 SQL 생성 결과를 비교하여 보여줍니다.
• 성능: 모호성 해결을 통해 시스템이 사용자의 의도를 더 정확하게 반영하고, 잘못된 데이터베이스 요소 매핑이나 시점 오류를 수정하여 SQL 생성 정확도를 높이는 것을 확인했습니다. 특히 "Detected Differences" 서브 패널을 통해 명확화 전후의 구체적인 수정 사항 (예: 날짜 필터 변경, 컬럼 매핑 수정) 을 시각적으로 확인할 수 있습니다.

5. 의의 (Significance)

• Text-to-SQL 시스템의 신뢰성 향상: 모호성으로 인한 오류를 사전에 탐지하고 해결함으로써, LLM 기반 시스템의 실용성과 신뢰성을 크게 높입니다.
• 벤치마크 평가의 개선: 단일 정답 (Ground Truth) 에 의존하는 기존 평가의 한계를 보완하고, 모호한 질문을 처리하는 능력을 평가할 수 있는 새로운 관점을 제시합니다.
• 사용자 경험 개선: SQL 이나 데이터베이스 지식이 없는 사용자도 간단한 다중 선택을 통해 복잡한 쿼리를 정확하게 생성할 수 있도록 돕습니다.
• 미래 연구 방향: 모호성 해결을 위한 체계적인 접근 방식과 상호작용 메커니즘은 향후 Text-to-SQL 연구 및 관련 벤치마크의 견고성을 높이는 중요한 기반이 될 것입니다.