BiomedSQL: 생물의학 지식 베이스에 대한 과학적 추론을 위한 텍스트 -SQL 벤치마크 기술 요약

본 논문은 BiomedSQL을 소개하며, 이는 생물의학 도메인에서 대규모 구조화된 데이터베이스를 기반으로 복잡한 과학적 추론을 수행하는 텍스트 -SQL(Text-to-SQL) 시스템의 성능을 평가하기 위해 고안된 최초의 벤치마크입니다. ICLR 2026 Gen2 워크숍에서 채택된 이 연구는 현재 LLM(대규모 언어 모델) 이 과학적 질문을 실행 가능한 SQL 쿼리로 변환하는 데 있어 심각한 한계가 있음을 지적하고, 이를 해결하기 위한 새로운 기반을 제시합니다.

1. 문제 정의 (Problem)

현대 생물의학 연구는 전자 건강 기록 (EHR), 고처리량 분석, 대규모 인구 집단 연구 등에서 생성되는 방대한 데이터베이스에 의존하고 있습니다. 자연어 인터페이스, 특히 텍스트 -SQL 시스템은 이러한 자원에 대한 접근성을 민주화할 잠재력을 가지고 있습니다. 그러나 기존 시스템은 대부분 질문의 구조를 SQL 구문으로 매핑하는 구문적 번역 (syntactic translation) 작업에 그치고 있습니다.

생물의학 도메인에서는 다음과 같은 암묵적인 도메인 추론 (implicit domain reasoning) 이 필수적이기 때문에 단순한 구문 번역만으로는 충분하지 않습니다:

• 통계적 임계값 적용: 전장 유전체 연관 분석 (GWAS) 의 경우 $p < 5 \times 10^{-8}$와 같은 유전체 전체 유의성 임계값을 자동으로 적용해야 함.
• 효과 방향성 및 필터링: 유전자 발현의 상향/하향 조절, 임상 시험 단계 (Phase) 필터링, 약물 승인 상태 등 도메인 지식이 필요한 조건부 로직.
• 다중 모달 추론: 오믹스 (omics) 데이터, 유전체 - 질병 연관성, 약물 승인 기록 등을 연결하는 복잡한 다단계 추론.

기존 벤치마크 (SPIDER, BIRD 등) 는 일반적인 도메인이나 환자 정보 검색에 초점을 맞추어 이러한 과학적 추론 능력을 평가하지 못했습니다.

2. 방법론 (Methodology)

2.1 BiomedSQL 데이터셋 구축

BiomedSQL 은 68,000 개의 질문/SQL 쿼리/답변 3 중체 (triples) 로 구성된 대규모 데이터셋입니다.

• 데이터 소스: Google BigQuery 에 호스팅된 통합 지식 베이스를 기반으로 하며, OpenTargets, ChEMBL, GWAS Catalog, omicsSynth 등 신뢰할 수 있는 생물의학 리소스를 통합했습니다.
• 스키마: 유전체 - 질병 연관성, 다중 오믹스 인과 추론 (SMR), 약물 승인 기록 등을 포함하는 10 개의 핵심 테이블 (최대 7200 만 행) 로 구성되었습니다.
• 생성 방식: 도메인 전문가가 작성한 40 개의 시드 질문을 기반으로 템플릿을 생성하고, 질병, 유전자, SNP(단일염기다형성) 엔티티를 치환하여 68,000 개의 쿼리를 자동 확장했습니다.
• 특징: 각 질문은 단순한 데이터 검색을 넘어 통계적 유의성 임계값, 임상 시험 단계, 효능 방향성 등 도메인 고유의 규칙을 추론하여 SQL 로 구현해야 합니다.

2.2 평가 프로세스

• 모델: 오픈소스 (LLaMA-3.1, Qwen-2.5-Coder) 와 폐쇄형 (GPT-4o/o3-mini/5.2, Gemini-2.0/3-Pro, Claude-3.7/4.5) 등 다양한 최신 LLM 을 평가했습니다.
• 프롬프트 전략: 베이스라인, Few-shot (1~40 샷), 도메인 지시사항 추가 (통계적 임계값 명시), 테이블 예시 행 추가 등을 실험했습니다.
• 상호작용 패러다임:
  • ReAct: 추론과 실행을 반복하는 에이전트 방식.
  • Schema Indexing: LlamaIndex 를 활용한 동적 스키마 검색.
  • DAIL-SQL: 관련 예제 쿼리를 검색하여 프롬프트에 주입.
  • BMSQL (Custom Agent): 저자들이 개발한 다단계 에이전트로, 초기 쿼리 생성, 실행 오류 수정, 통계적 임계값 적용, 최종 답변 생성의 단계를 거칩니다.
• 평가 지표:
  • 실행 정확도 (EX): 생성된 쿼리와 정답 쿼리의 실행 결과가 일치하는 비율.
  • Jaccard Index (JAC): 결과 집합의 유사도.
  • BioScore (RQR, SR): 자연어 답변의 사실성 (Response Quality Rate) 과 불확실한 경우 답변을 유보하는 능력 (Safety Rate) 을 평가하는 LLM-as-a-judge 지표.

3. 주요 기여 (Key Contributions)

1. BiomedSQL 벤치마크: 과학적 추론 능력을 평가하는 최초의 대규모 텍스트 -SQL 벤치마크 (68,000 개 샘플) 를 제시했습니다.
2. 인프라 공개: BigQuery 기반의 통합 데이터베이스, 전문가가 검증한 골드 쿼리, 실행 결과, 평가 및 에이전트 오케스트레이션 툴킷을 오픈소스로 공개했습니다.
3. 심층 평가: 다양한 모델, 프롬프트 전략, 상호작용 패러다임을 평가하여 현재 LLM 이 생물의학 데이터베이스에서 과학적 추론을 수행할 때 도메인 전문가 대비 20~30% 의 성능 격차가 있음을 입증했습니다.

4. 실험 결과 (Results)

4.1 성능 격차

• 최고 성능 모델: Gemini-3-Pro 가 실행 정확도 (EX) 58.1% 를 기록하여 폐쇄형 모델 중 가장 높았으나, 도메인 전문가의 기준 (90.0%) 에는 크게 미치지 못했습니다.
• 오픈소스 모델: Qwen-2.5-Coder-32B 가 40.8% 의 EX 를 기록하며 파라미터 수가 훨씬 큰 Llama-3.1-405B(38.1%) 보다 우수한 성능을 보였습니다.
• BMSQL 에이전트: 저자들이 개발한 다단계 에이전트 (BMSQL) 는 GPT-o3-mini 와 결합 시 62.6% 의 EX와 83.1% 의 RQR을 달성하여 모든 베이스라인을 상회했으나, 여전히 전문가 수준 (90%) 에는 도달하지 못했습니다.

4.2 주요 오류 분석

모델들이 주로 겪는 실수는 다음과 같습니다:

1. 잘못된 테이블 선택: 가장 흔한 오류로, 도메인 지식이 부족해 관련 테이블을 찾지 못함.
2. 임계값 누락 또는 오류: GWAS 유의성 ($p < 5e-8$) 이나 SMR 임계값을 적용하지 않거나 잘못 적용함.
3. 다중 필터링 및 조인 실패: 복잡한 논리 구조를 SQL 로 변환하는 데 어려움.

4.3 추론 시간 확장 (Inference-time Compute)

BMSQL 에이전트가 초기 쿼리 실행 결과를 바탕으로 2~3 번의 추가 피드백 루프를 거치는 실험에서, 실행 정확도 (EX) 는 크게 향상되지 않았으나 (62.6% → 61.7%), 답변의 질 (RQR) 은 소폭 향상되었습니다. 이는 대부분의 수정이 문법 오류 교정이나 유보 (abstention) 에 집중되어 있으며, 쿼리 로직의 근본적인 개선은 어렵다는 것을 시사합니다.

4.4 데이터베이스 크기 영향

테이블 수를 10 개에서 20 개로 늘렸을 때, 단일 턴 프롬프트 방식의 모델 성능은 710% 하락했으나, BMSQL 과 같은 다단계 에이전트는 24% 만 하락하여 더 강력한 견고성 (robustness) 을 보였습니다.

5. 의의 및 결론 (Significance)

BiomedSQL 은 텍스트 -SQL 기술이 단순한 데이터 검색을 넘어 과학적 발견을 지원하는 도구로 발전하기 위해 해결해야 할 과제를 명확히 보여줍니다.

• 과학적 추론의 중요성: 생물의학 도메인에서는 스키마 매핑 이상의 도메인 지식 (통계적 기준, 임상적 맥락) 이 필수적임을 입증했습니다.
• 현재 기술의 한계: 최첨단 LLM 이라도 도메인 전문가 수준의 추론 능력을 갖추지 못하며, 특히 통계적 임계값 적용과 다중 테이블 조인에서 취약점이 존재합니다.
• 미래 방향: 이 벤치마크는 신뢰할 수 있는 생물의학 텍스트 -SQL 시스템 개발을 위한 엄격한 테스트베드를 제공하며, 향후 연구가 도메인 특화 추론 에이전트 개발에 집중해야 함을 시사합니다.

결론적으로, BiomedSQL 은 생물의학 연구의 데이터 접근성을 높이고 과학적 발견을 가속화하기 위해, 단순한 구문 변환이 아닌 강력한 추론 능력을 갖춘 텍스트 -SQL 시스템의 필요성을 강조하는 중요한 이정표입니다.