FD-NL2SQL: Feedback-Driven Clinical NL2SQL that Improves with Use

1. 문제 정의 (Problem)

• 배경: 종양학 임상 시험 데이터베이스 (예: ClinicalTrials.gov, 기관 내 레포지토리) 는 생체표지자, 종결점, 중재, 시간 등 다양한 제약 조건을 가진 복잡한 구조화된 데이터를 보유하고 있습니다.
• 핵심 과제: 임상 의사나 전이 연구자들은 이러한 데이터베이스를 탐색하기 위해 즉흥적이고 다중 제약 조건이 포함된 쿼리가 필요하지만, SQL 작성에 필요한 스키마 전문 지식이 부족합니다.
• 기존 기술의 한계:
  • 기존 키워드 기반 검색은 구조화된 다중 제약 조건 필터링에 실패합니다.
  • 기존 NL2SQL (Natural Language to SQL) 시스템은 일반적인 벤치마크에 최적화되어 있어, 종양학이라는 특수 도메인의 복잡한 스키마와 제약 조건을 반영하지 못합니다.
  • 단순한 LLM 프롬프팅은 도메인 지식 부족으로 인해 실행 불가능하거나 임상적으로 타당하지 않은 SQL 을 생성하는 경향이 있습니다.

2. 방법론 (Methodology)

FD-NL2SQL 은 피드백을 통해 지속적으로 진화하는 임상용 NL2SQL 어시스턴트입니다. 주요 아키텍처는 **분해 (Decomposition) - 검색 (Retrieval) - 합성 (Synthesis)**의 3 단계 파이프라인과 피드백 루프로 구성됩니다.

A. 시스템 워크플로우

1. 스키마 기반 분해 (Schema-grounded Decomposition):
   • 사용자의 자연어 질문을 LLM 이 분석하여 스키마에 정렬된 원자적 서브-질문 (predicate-level sub-questions) 으로 분해합니다.
   • 각 서브-질문은 하나의 필터링 가능한 조건 (열, 연산자, 값) 에 대응됩니다.
2. 의미 기반 검색 (Semantic Retrieval):
   • 분해된 각 서브-질문에 대해, Sentence-BERT 임베딩을 사용하여 전문가가 검증한 NL2SQL 예제 (exemplars) 에서 가장 유사한 토폴로지 (top-k) 를 검색합니다.
   • 검색된 예제는 생성 모델에게 구조적 템플릿과 도메인 컨텍스트를 제공합니다.
3. 검색 기반 SQL 합성 (Retrieval-guided Synthesis):
   • 두 번째 LLM 이 사용자 질문, 분해된 서브-질문, 검색된 예제를 입력받아 최종 SQL 을 생성합니다.
   • 생성된 SQL 은 스키마 유효성 검사, 읽기 전용 정책, 타임아웃 체크 등 경량화된 후처리 (post-processing) 를 거쳐 실행됩니다.

B. 피드백 및 자기 진화 (Feedback & Self-Evolution)

시스템은 사용과 함께 성능이 향상되도록 설계되었습니다.

1. 전문가 승인 (Expert Approval):
   • 사용자가 생성된 SQL 을 수정하거나 승인하면, 해당 (질문, 수정된 SQL) 쌍이 예제 은행 (Exemplar Bank) 에 추가됩니다.
2. 논리 기반 SQL 증강 (Logic-based SQL Augmentation):
   • 승인된 SQL 에 대해 **단일 원자적 변형 (single atomic mutation)**을 적용합니다 (예: 연산자 변경 = -> >=, 열 교체, 값 수정).
   • 변형된 SQL 이 데이터베이스에서 실행되어 비어 있지 않은 결과를 반환할 경우에만 유효한 변형으로 간주합니다.
   • 별도의 LLM 이 이 변형된 SQL 을 다시 자연어 질문과 서브-질문으로 역변환 (Back-translation) 하여 새로운 예제를 자동으로 생성하고 은행에 추가합니다. 이를 통해 추가 주석 없이 예제 은행을 확장합니다.

3. 주요 기여 (Key Contributions)

1. 스키마 인식 분해 전략: 복잡한 종양학 데이터베이스에서 NL2SQL 의 견고성을 높이기 위해, 질문을 스키마 정렬된 원자적 서브-질문으로 분해하는 전략을 제안했습니다.
2. 검색 기반 합성 파이프라인: LLM 생성을 전문가 검증 예제 (expert-verified exemplars) 에 기반하도록 하여, 신뢰할 수 있는 쿼리 구성을 가능하게 했습니다.
3. 피드백 주도 자기 진화 시스템: 임상 의사의 상호작용을 통해 지속적으로 개선되는 임상 시험 쿼리 어시스턴트를 구현했습니다. 승인된 쿼리와 자동 증강된 변형이 시스템의 지식 베이스를 확장합니다.

4. 실험 결과 (Results)

• 데이터셋: 메이요 클리닉 (Mayo Clinic) 종양학 과학자가 작성한 500 개의 시드 질문과 이를 기반으로 생성된 1,500 개의 증강된 NL2SQL 샘플을 사용했습니다.
• 비교 대상: Zero-shot, Few-shot, Chain-of-Thought (CoT) 프롬프팅 및 SQL-R1(파인튜닝 모델) 등 다양한 베이스라인과 비교했습니다.
• 성과:
  • FD-NL2SQL 은 모든 백본 모델 (Qwen3, Gemma3, gpt-5 등) 에서 실행 기반 정확도 (eEM, eF1) 와 구조적 충실도 (AST) 를 기존 프롬프팅 방식보다 일관되게 향상시켰습니다.
  • 특히 다중 제약 조건이 포함된 임상 질문에서 기존 방식이 예측을 누락하거나 잘못된 열을 선택하는 취약점을 보완했습니다.
  • 작은 모델조차 분해 및 예제 가이드와 결합 시 대형 모델 수준의 신뢰도에 도달할 수 있음을 보였습니다.

5. 의의 및 중요성 (Significance)

• 임상 워크플로우 혁신: 기술적 장벽을 낮추어 임상 의사들이 실시간으로 다중 제약 조건을 가진 임상 시험 데이터를 탐색하고 가설을 검증할 수 있게 합니다.
• 검증 가능성과 투명성: 시스템은 단순한 답변이 아닌, 분해 과정, 검색된 예제, 최종 SQL, 실행 결과를 모두 노출하여 의사가 쿼리를 검토하고 수정할 수 있는 '인터랙티브'한 환경을 제공합니다.
• 지속 가능한 개선: 수동 주석 없이도 논리 기반 변형과 역변환을 통해 예제 은행을 자동으로 확장함으로써, 변화하는 임상 시험 스키마와 도메인 지식에 적응하는 '살아있는 (Living)' 어시스턴트 역할을 수행합니다.
• 안전성: 읽기 전용 쿼리 강제, 스키마 검증, 실패 시 폐기 등 의료 도메인에서 필수적인 안전 장치를 내장하고 있습니다.

이 논문은 의료 분야 NL2SQL 의 실용성을 높이기 위해 도메인 특화 분해, 예제 기반 검색, 사용자 피드백 루프를 통합한 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.