기술 요약: ClinQueryAgent

문제 제기

의료 기관은 방대한 양의 환자 데이터를 보유하고 있지만, 인구 건강 관리를 위한 특정 환자 코호트를 식별하기 위해 이 데이터를 조회하는 작업은 여전히 복잡하고 노동 집약적입니다. 임상 전문가는 일반적으로 자연어 질문을 정교한 데이터베이스 쿼리로 변환하는 데 전문 데이터 분석가에 의존합니다. 기존 텍스트 - 쿼리 시스템이 존재하지만, 의료 용어의 의미적 복잡성 (다의어, 동의어, 약어), 장기간의 다중 턴 대화와 관련된 '컨텍스트 부패 (context rot)', 그리고 강력한 클라우드 기반 대규모 언어 모델 (LLM) 을 활용할 때 환자 데이터 프라이버시를 유지해야 하는 필수 요구 사항 등으로 인해 어려움을 겪는 경우가 많습니다.

방법론

저자들은 자연어 인구 건강 질문을 실행 가능한 데이터베이스 쿼리로 변환하도록 설계된 작업 지향 대화형 에이전트인 ClinQueryAgent를 소개합니다. 이 시스템은 NHS 노팅엄 및 노팅엄셔에서 사용하는 eHealthScope 플랫폼 내에서 작동합니다.

아키텍처 및 프라이버시

이 시스템은 LLM 에이전트가 원시 환자 데이터 (실행 계층) 와 엄격하게 격리되는 구조적 프라이버시 설계를 채택합니다. 에이전트는 의료 개념과 쿼리 논리로 구성된 추론 계층에서 작동합니다. 실행 가능한 SQL 쿼리를 생성하는 특정 도구를 통해서만 데이터베이스와 상호작용하며, 생성된 쿼리는 호스트 시스템에서 실행됩니다. 이를 통해 클라우드에 배포된 최첨단 생성 모델을 활용하더라도 환자 데이터가 안전한 NHS 환경을 벗어나지 않도록 보장합니다.

다중 에이전트 위임

다중 턴 대화에서 정확도 저하와 컨텍스트 과부하 ('컨텍스트 부패') 를 해결하기 위해 저자들은 서브 에이전트 위임 메커니즘을 구현했습니다:

• 쿼리 에이전트: 사용자 의도를 이해하고, 논리적 쿼리 구조를 구성하며, 최종 SQL 을 생성하는 주요 에이전트.
• 검색 에이전트: 로컬 데이터베이스 및 외부 지식 베이스 내에서 특정 의료 개념을 검색하도록 필요 시 인스턴스화되는 하위 에이전트.
• 작업 흐름: 사용자가 개념 (예: "Ozempic") 을 요청하면 쿼리 에이전트가 검색을 검색 에이전트에 위임합니다. 검색 에이전트는 동의어 및 브랜드명을 해결하기 위해 로컬 데이터베이스와 통합 의료 언어 시스템 (UMLS) 을 검색합니다 (예: "Ozempic"을 "Semaglutide"로 매핑). 검색 에이전트는 설명과 함께 간결하고 관련성 있는 개념 단축 목록을 반환하여 쿼리 에이전트가 집중된 컨텍스트 창을 유지할 수 있도록 합니다.

도구 및 지식

이 시스템은 세 가지 주요 도구를 활용합니다:

1. 어휘 개념 검색: 로컬 NHS 데이터베이스에서 특정 문자열을 포함하는 개념을 가져옵니다.
2. 코호트 생성: 에이전트가 생성한 논리적 쿼리를 실행 가능한 SQL 로 변환하고 결과 환자 코호트를 캐시합니다.
3. URL 생성: 사용자가 eHealthScope UI 에서 결과를 볼 수 있도록 링크를 제공합니다.
   또한, 시스템은 브랜드명을 일반 의약품 이름으로 매핑하고 복잡한 의료 용어를 처리하는 데 도움이 되도록 UMLS 및 OHDSI 어휘를 통합합니다.

주요 기여

1. 실제 환경 평가: 이 시스템은 15 개 의료 기관의 128 명 직원이 사용하며 148,319 명의 환자를 포괄하는 실제 인구 건강 관리 플랫폼 (eHealthScope) 에서 평가되었습니다.
2. 프라이버시 보호 설계: 에이전트를 환자 데이터와 격리함으로써 민감한 의료 환경에 클라우드 기반 생성 모델을 안전하게 배포하는 방법을 시연했습니다.
3. 컨텍스트 관리: '컨텍스트 부패'를 완화하기 위한 서브 에이전트 위임 전략을 제안하고 검증하여, 정보 검색을 하위 에이전트로 위임함으로써 장기간 대화에서 정확도를 크게 향상시키고 토큰 소비를 줄임을 입증했습니다.
4. 지식 베이스 통합: 외부 의료 온톨로지 (UMLS) 에 대한 접근이 전문 용어 및 브랜드명 - 일반명 매핑과 관련된 쿼리의 정확도를 크게 향상시킨다는 것을 보여주었습니다.

결과

이 시스템은 EpiCoho-M 데이터셋 (Ziletti 및 D'Ambrosi, 2025 년에서 적응됨), 합성 UK Medicine Brands 데이터셋, 그리고 베타 테스트 사용자 요청에서 파생된 실제 세계 데이터셋의 세 가지 데이터셋에서 평가되었습니다.

• 다중 턴 대화에서의 정확도: 연쇄 (다중 턴) 질문 시나리오에서 단일 에이전트 구성은 정확도가 크게 저하되었습니다 (실제 세계 데이터셋에서 F1 점수가 0.66 에서 0.12 로 하락). 검색 에이전트의 포함은 성능을 회복시켜 F1 점수 0.73~0.75 를 달성했습니다.
• 효율성: 서브 에이전트 접근 방식은 연쇄 시나리오에서 토큰 소비를 약 93% 감소시켰습니다 (~855k 에서 ~56k 토큰).
• 지식 통합: UK Medicine Brands 데이터셋에서 검색 에이전트와 UMLS 를 함께 사용한 구성은 외부 지식 없이 단일 에이전트 기준선 (0.26) 에 비해 0.85의 F1 점수를 달성했습니다.
• 운영 성능: 이 시스템은 코호트 목록 작성, 통계적 요약, 분포 분석 등 다양한 워크플로우를 성공적으로 처리했습니다. 자동화된 쿼리 생성은 16,452 개의 개념이 포함된 데이터베이스의 경우 약 15 초가 소요되었습니다.

중요성 및 주장

이 논문은 ClinQueryAgent 가 데이터 보안이 최우선인 향후 AI 기반 텍스트 - 쿼리 시스템의 실현 가능한 모범 사례라고 주장합니다. "LLM 을 신뢰하는 것"에서 "요청의 논리적 구현을 검증하는 것" (예: "Diabetes II AND Semaglutide") 으로 검증 부담을 전환함으로써, 이 시스템은 프로그래밍 전문 지식 없이도 임상 전문가와 분석가가 쿼리를 공동 작성할 수 있도록 지원합니다. 저자들은 그들의 다중 에이전트 분해 및 논리적 쿼리 언어가 특정 eHealthScope 플랫폼을 넘어 다른 의료 컨텍스트에도 일반화될 수 있는 보편적 기능이라고 제시합니다. 이 연구는 이러한 시스템이 엄격한 프라이버시 제약을 준수하면서도 복잡한 임상 데이터와 실행 가능한 인구 건강 통찰력 사이의 간극을 효과적으로 메울 수 있다고 결론지었습니다.