기술 요약: Text2Cypher를 위한 생물 의학 벤치마크 및 모듈형 RAG 프레임워크

문제 정의

생물 의학 지식 그래프(bioKG)는 miRNA 상호작용 및 약물-타겟 관계와 같은 이질적인 데이터를 통합하는 데 필수적입니다. Neo4j와 같은 프로퍼티 그래프 데이터베이스는 Cypher 언어를 통해 효율적인 저장 및 쿼리를 제공하지만, Cypher 쿼리를 작성하는 데 필요한 기술적 전문 지식의 요구는 도메인 전문가의 접근성을 제한합니다. 대규모 언어 모델(LLM)이 자연어(NL) 질문을 Cypher로 변환하는 Text2Cypher 분야에서 유망한 가능성을 보여주고 있음에도 불구하고, 생물 의학 분야의 발전은 대표성 있는 벤치마크와 재현 가능한 평가 프레임워크의 부재로 인해 정체되어 있습니다. 기존 벤치마크들은 주로 템플릿 기반으로 생성되어 다양성이 부족하거나, 쿼리 복잡도가 낮으며, 견고한 학습 및 평가를 지원하기에 충분한 큐레이션된 데이터를 포함하지 못하는 경우가 많습니다. 또한, 현재의 Text2Cypher 접근 방식은 그래프 순회(traversal), 관계 방향, 그리고 Text2SQL이나 Text2SPARQL 작업과는 확연히 다른 복잡한 구조(예: 가변 길이 경로, 집계)를 추론해야 하는 프로퍼티 그래프의 특수한 과제를 해결하는 데 어려움을 겪고 있습니다.

방법론

bio2C 벤치마크

저자들은 2,500개의 수동으로 큐레이션된 NL-Cypher 쌍으로 구성된 FAIR 준수 생물 의학 벤치마크인 bio2C를 소개합니다. 양(quantity)보다 대표성과 주석(annotation)의 품질에 집중한 bio2C는 이전의 리소스들과 차별화됩니다.

• 소스 데이터: 이 벤치마크는 miRNA, 유전자, 질병, 표현형 및 Gene Ontology 주석을 포함하여 약 99,000개의 노드와 160만 개의 관계를 가진 대규모 bioKG인 RNA-KG의 뷰(view)를 기반으로 합니다.
• 구조: 2,500개의 쌍은 다섯 가지 복잡도 단계(각 500개 쌍)로 구성됩니다:
  1. Node: 논리적 조건을 포함한 단일 노드 검색.
  2. 1-hop: 노드 쌍 간의 관계에 대한 쿼리.
  3. 2-hop: 세 개의 노드와 두 개의 관계를 포함하는 순회.
  4. 3-hop: 네 개의 노드와 세 개의 관계를 포함하는 더 깊은 순회.
  5. Advanced: 복잡한 Cypher 구문(WITH, REDUCE, CASE, 집계, 랭킹)을 활용하는 쿼리.
• 큐레이션 과정: 각 인스턴스는 그래프 패턴을 식별하고, 문법적으로 정확하며 생물학적으로 유의미한 Cypher 쿼리를 구현한 후, 템플릿 생성 방식이 아닌 실제 생물 의학적 정보 요구를 반영하는 자연어 질문을 구성하는 방식으로 개발되었습니다. 모든 쿼리는 의미론적 정확성을 보장하기 위해 RNA-KG 뷰에 대해 검증되었습니다.

모듈형 RAG 프레임워크

검색 증강 전략을 체계적으로 평가하기 위해 저자들은 여섯 가지 프롬프트 구성으로 이루어진 모듈형 프레임워크를 설계했습니다. 이 파이프라인은 세 가지 출처의 문맥 정보를 점진적으로 결합합니다:

1. 그래프 스키마 ($G_S$): 프로퍼티 그래프 스키마 설명 (Enhanced Schema 패러다임 사용).
2. 검색된 예시 (Retrieved Examples): bio2C 벡터 데이터베이스에서 검색된 의미적으로 유사한 NL-Cypher 쌍 (RAG).
3. 실행 출력 (Execution Outputs): 검색된 Cypher 쿼리의 실행 결과 ($R(Q_C)$).

평가된 여섯 가지 파이프라인은 다음과 같습니다:

• Vanilla: 자연어 질문만 포함.
• Schema: 자연어 질문 + 스키마.
• RAG: 자연어 질문 + 검색된 예시.
• RAG+O: 자연어 질문 + 검색된 예시 + 실행 출력.
• S+RAG: 스키마 + 검색된 예시.
• S+RAG+O: 스키마 + 검색된 예시 + 실행 출력.

실험 설정

프레임워크는 자체 모델(GPT-4o, GPT-4o-mini)과 오픈 소스 모델(LLaMA-3.1-8B), 그리고 bio2C로 미세 조정(fine-tuned, FT)된 대응 모델들을 사용하여 평가되었습니다. 성능은 다음 지표를 사용하여 측정되었습니다:

• Jaro-Winkler (JW): 구문적 유사도.
• Jaccard (Jac): 실행 출력의 의미적 유사도.
• Coverage (Cov): 생성된 쿼리가 반환한 정답 결과의 비율 (실행 정확도).
• Pass: Coverage가 1인 경우를 나타내는 지표 함수 (완전한 의미적 커버리지).

주요 결과

RAG 파이프라인의 성능

• Retrieval vs. Schema: 모든 모델과 지표에서 대표적인 NL-Cypher 예시를 검색하는 것(RAG)이 스키마 전용 프롬프팅보다 일관되게 우수한 성능을 보였습니다.
• Fine-Tuning vs. Prompt Engineering: 미세 조정된 모델이 일반적으로 더 높은 정확도를 달로 달성했지만, 풍부한 프롬프트 엔지니어링 구성(특히 S+RAG+O)은 베이스 모델의 성능 격차를 크게 줄였습니다. 예를 들어, GPT-4o와 S+RAG+O 조합은 76.9%의 Coverage와 83.1%의 Pass를 달성하여, Vanilla 프롬프팅 하의 GPT-4oFT(76.1% 및 80.0%)보다 뛰어난 성능을 보였습니다.
• 최적의 구성: 전체에서 가장 성능이 좋은 구성은 GPT-4oFT와 RAG 조합으로, 89.3%의 Pass 점수를 기록했습니다. 주목할 점은, 미세 조정된 모델의 경우 RAG 파이프라인만으로도 스키마와 예시를 모두 결합한 것보다 높은 성능을 보이는 경우가 많았는데, 이는 미세 조정된 모델이 예시로부터 스키마 제약 조건을 직접 추론할 수 있음을 시사합니다.
• 실행 출력의 영향: 실행 출력을 포함하는 것(RAG+O, S+RAG+O)은 특히 베이스 모델에서 기대되는 결과에 대한 의미론적 가이드를 제공함으로써 추가적인 이득을 주었습니다.

일반화 및 강건성

• 블라인드 검증: 분자 생물학자가 독립적으로 작성한 50개의 질문으로 테스트했을 때, GPT-4oFT와 RAG 파이프라인은 73.4%의 Coverage와 70%의 Pass를 달성하여 실제 사용자 쿼리에 대한 일반화 능력을 입증했습니다.
• 교차 데이터셋 평가: 프레임워크는 MedT2C(Hetionet 기반 데이터셋)에서도 테스트되었습니다. MedT2C는 스키마가 덜 복잡하고 예시가 적음에도 불구하고, 검색된 예시를 포함하는 파이프라인이 Vanilla 및 스키마 전용 접근 방식보다 우수하다는 경향이 유지되었습니다. 최적의 구성인 GPT-4oFT와 S+RAG는 88.8%의 Coverage를 달성했습니다.
• 쿼리 카테로리별 영향: 성능은 쿼리 복잡도에 따라 차이를 보였습니다. Node와 3-hop 쿼리는 92%의 가장 높은 Pass 점수를 기록한 반면, 1-hop과 Advanced 쿼리는 더 낮았습니다. 분석 결과, RAG는 구조적으로 풍부한 멀티 홉 쿼리에 특히 효과적인데, 이는 검색된 예시가 타겟 쿼리와 하위 구조를 공유하는 경우가 많기 때문인 반면, 1-hop 쿼리는 부적합한 예시를 검색하는 경우가 빈번하여 성능 저하를 초래하는 것으로 나타났습니다.

오류 분석

가장 성능이 좋은 설정인 GPT-4oFT와 RAG는 모든 컴파일 타임 에러(Compile-time Errors, CE)를 제거했으며, Vanilla 프롬프팅 대비 로직 에러(Logic Errors, LE)를 91.4% 감소시켰습니다. 남은 오류들은 주로 Advanced 및 1-hop 카테고리에 집중되었으며, 주로 환각(hallucination)이나 복잡한 집계에 대한 오해로 인해 발생했습니다.

의의 및 기여

본 논문은 생물 의학 Text2Cypher 분야에 두 가지 주요 기여를 한다고 주장합니다:

1. bio2C 벤치마크: Text2Cypher를 위해 특별히 설계된 최초의 FAIR 준수 생물 의학 벤치마크로, 실제 bioKG 스키마와 점진적으로 복잡해지는 Cypher 구문을 체계적으로 다룹니다. 저자들은 자동 생성된 데이터셋에 비해 수동 큐레이션이 커버리지와 모델 성능을 크게 향상시켰다는 점에서, 데이터의 양보다 질과 다양성이 더 중요하다고 강조합니다.
2. 모듈형 RAG 프레임워크: 스키마 정보, 검색된 예시, 실행 출력의 기여도를 분리하여 평가할 수 있는 재현 가능한 평가 프레임워크입니다. 이 프레임워크는 미래 연구를 위한 강력한 베이스라인을 구축하며, 정교하게 큐레이션된 검색 예시가 스키마 기반 프롬프팅 전략을 종종 능가하며 bioKG에 대한 Cypher 생성을 실질적으로 개선한다는 것을 입증합니다.

결론적으로, 고품질의 큐레이션된 벤치마크와 대표성 있는 검색 예시는 신뢰할 수 있는 Text2Cypher 시스템을 개발하는 데 필수적이며, 이를 통해 도메인 전문가들이 깊은 기술적 전문 지식 없이도 복잡한 생물 의학 지식 그래프를 쿼리할 수 있게 합니다. 벤치마크, 소스 코드 및 평가된 파이프라인은 공개적으로 제공됩니다.