HemOncAgent: an artificial intelligence system for retrieving structured and narrative oncology knowledge

복잡한 암 치료의 세계에서 의사들은 매우 다른 두 가지 종류의 정보를 탐색해야 합니다. 한 유형은 특정 약물이 어떤 조합에 속하는지, 혹은 특정 질병을 설명하는 의료 코드가 무엇인지 정확하게 나열하는 성분 목록처럼 경직되고 정밀합니다. 다른 유형은 전문의들의 서술된 기록에서 발견되는 유동적이고 묘사적인 정보로, 언제 새로운 치료를 시작할지 또는 재발 후 환자를 어떻게 관리할지 등 치료 과정을 시간에 따라 어떻게 배치할지를 설명합니다. 수십 년 동안 의사를 돕기 위해 설계된 컴퓨터 시스템들은 이 두 가지를 동시에 처리하는 데 어려움을 겪었습니다. 어떤 시스템은 정확한 사실을 찾는 데는 뛰어나지만 치료 계획의 '이야기'를 이해하는 데는 실패했고, 다른 시스템은 텍스트를 읽는 데는 능숙하지만 특정 약물 사이의 결정적인 연결 고리를 놓치기도 했습니다. 이러한 격차는 중요한데, 왜냐하면 암 케어에 대해 질문하는 의사는 한 순간에는 정밀한 약물 목록이 필요하고, 다음 순간에는 치료 경로에 대한 서술적 설명이 필요할 수 있기 때문입니다.

연구진은 이 간극을 메우기 위해 HemOncAgent라는 새로운 디지털 어시스턴트를 구축했습니다. 이 시스템은 단일한 방법으로 모든 일을 처리하도록 강요하는 대신, 구조화된 데이터베이스를 확인해야 할 때와 상세한 핸드북을 읽어야 할 때를 아는 사려 깊은 사서처럼 행동합니다. 연구진은 이 도구를 표준 컴퓨터 시스템들과 비교하여 수백 개의 종양학 지식 질문을 대상으로 테스트했습니다. 그 결과, 컴퓨터가 각 질문에 적합한 출처를 선택하게 함으로써, 이 새로운 시스템이 사실적 질의와 복잡한 치료 시나리오 모두에 높은 정확도로 답변할 수 있음을 발견했습니다. 이 결과는 하드 데이터와 인간의 경험이 결합된 의료 지식의 경우, 단 하나의 검색 유형에 의존하는 것보다 하이브리드 접근 방식이 훨씬 더 신뢰할 수 있다는 것을 시사합니다.

종양학의 과제는 지식이 두 가지 뚜렷한 형태로 존재한다는 점입니다. 한편에는 특정 요법에 어떤 약물이 포함되는지 또는 특정 상태에 적용되는 표준 의료 코드가 무엇인지와 같은 구조화된 사실을 저장하는 큐레이션된 데이터베이스가 있습니다. 이것들은 모든 요소가 정의된 자리를 가진 게임의 엄격한 규칙과 같습니다. 다른 한편에는 임상의들이 작성한 리소스가 있으며, 여기에는 질병의 단계별로 치료가 실제로 어떻게 사용되는지, 즉 치료 순서를 상세히 기술한 내용이 담겨 있습니다. 이러한 서술은 경직된 데이터베이스가 놓치기 쉬운 의사 결정의 미묘한 차이를 포착합니다. 거대 언어 모델(방대한 양의 텍스트로 학습된 컴퓨터 프로그램)은 질문에 답할 수 있지만, 이러한 특정 외부 소스에 접근할 수 없을 때는 종종 환각 현상을 일으키거나 추측을 합니다. 이를 해결하기 위해 연구진은 두 가지 유형의 리소스 모두에 접근하여, 사용자의 요청에 따라 가장 적절한 것을 선택할 수 있는 시스템을 개발했습니다.

연구진은 두 가지 특정 지식 소스를 연결하는 중앙 허브 역할을 하도록 HemOncAgent를 제작했습니다. 첫 번째는 126,000개 이상의 개념과 약물, 요법, 질병을 연결하는 424,000개의 관계를 가진 거대한 네트워크인 구조화된 지식 그래프입니다. 이 소스는 정확한 구성이나 규제 승인에 관한 질문에 답하는 데 탁월합니다. 두로 번째 소스는 전문가들이 작성한 수천 페이지의 텍스트를 포함하는 서술형 웹사이트로, 치료 경로와 케어 순서를 설명합니다. 질문이 던져지면, 에이전트는 요청을 분석하여 구조화된 그래프를 쿼리할지, 서술형 텍스트를 검색할지, 아니면 둘 다 사용할지를 결정합니다. 그런 다음 관련 정보를 검색하고 최종 답변을 합성합니다. 이 접근 방식이 효과적인지 확인하기 위해, 팀은 HemOncAgent를 세 가지 다른 시스템, 즉 외부 지식이 없는 표준 언어 모델, 서술형 텍ters만 검색하는 시스템, 그리고 구조화된 그래프만을 쿼리하는 시스템과 비교했습니다.

테스트는 두 그룹으로 나뉜 600개의 질문을 통해 진행되었습니다. 첫 번째 그룹은 요법에 포함된 약물을 식별하거나 특정 의료 코드를 찾는 것과 같은 구조화된 사실에 초점을 맞췄습니다. 두 번째 그룹은 특정 질병 환경에서 치료 순서를 결정하는 것과 같은 서술적 세부 사항에 초점을 맞췄습니다. 결과는 명확한 패턴을 보여주었습니다. 서술형 텍스트만 검색한 시스템은 치료 순서에 대해서는 잘 수행했지만, 정확한 코드나 약물 목록을 찾는 데는 처참하게 실패했습니다. 반대로, 구조화된 그래프만을 사용한 시스템은 사실 관계에는 뛰어났지만 텍스트에 기술된 적절한 치료 경로를 찾는 데는 어려움을 겪었습니다. 외부 도움 없이 작동한 표준 언어 모델은 두 분야 모두에서 낮은 성능을 보였습니다. 그러나 HemOncAgent는 가장 높은 종합 점수를 달 Achieve했습니다. 이 시스템은 사실적 질문에 대해서는 전문화된 그래프 시스템의 성능과 일치했으며, 서술적 질문에 대해서는 텍스트 전용 시스템보다 우수한 성능을 보이며 두 방식의 강점을 성공적으로 결과적으로 결합했습니다.

연구진이 구체적인 질문 유형을 자세히 살펴보았을 때, 하이브리드 시스템의 장점은 더욱 분명해졌습니다. 약물의 분류나 임상 시험 번호를 찾는 것과 같이 정확한 일치가 필요한 질문의 경우, 에이전트는 거의 전적으로 구조화된 데이터베이스에 의존하여 완벽에 가까운 정확도를 달성했습니다. 1차 요법이 실패한 후 어떤 일이 일어나는지와 같은 치료 환경에 관한 질문의 경우, 에이전트는 주로 서술형 페이지를 검색했습니다. 이 경우, 에이전트는 산문 속에 숨겨진 답을 찾지 못한 그래프 전용 시스템보다 훨씬 뛰어난 성능을 보였습니다. 또한 에이전트는 필요할 때 두 소스를 지능적으로 혼합하여, 전체 답변을 완성하기 위해 서술형 질문의 약 4분의 1 정도에 대해 그래프와 텍스트를 모두 사용하는 모습을 보였습니다. 이러한 유연성 덕분에 전체 범위의 종양학 지식에 걸쳐 높은 정확도를 유지할 수 있었습니다.

연구진은 또한 답변을 생성하는 기본 컴퓨터 모델을 변경하여 이러한 결과가 얼마나 견고한지 테스트했습니다. 연구진이 주 엔진을 다른 유형의 인공지능으로 교체했음에도 불구하고, 하이브리드 시스템은 단일 소스 대안들보다 계속해서 우수한 성능을 보였습니다. 절대적인 점수는 약간 변했지만, 패턴은 유지되었습니다. 즉, 구조화된 소스와 서술형 소스 모두에 접근하는 것이 일관된 이점을 제공한다는 것이었습니다. 연구진은 답변을 평가하는 데 사용된 자동 채점 시스템이 두 번째 독립적인 채점 시스템과 거의 94% 일치했다는 점을 언급하며, 결과가 특정 평가 방법의 우연한 결과가 아니라는 확신을 주었습니다.

이러한 성공에도 불구하고, 저자들은 연구 결과의 한계를 주의 깊게 명시했습니다. 테스트에 사용된 질문들은 시스템이 검색하는 것과 동일한 리소스에서 직접 생성되었으므로, 이 테스트는 시스템이 새로운 미지의 임상 시나리오에 대해 얼마나 잘 추론하는가가 아니라, 해당 특정 소스로부터 정보를 얼마나 잘 검색할 수 있는지를 측정한 것입니다. 이 연구는 이 시스템이 의사를 대체할 준비가 되었다거나 암 케어에 관한 모든 질문에 답할 수 있다고 주장하는 것이 아니며, 특히 의료 가이드라인은 빠르게 변하고 지식 베이스는 특정 시점의 스냅샷을 나타낸다는 점을 고려할 때 더욱 그러합니다. 그러나 결과는 임상 지식 리소스가 하드 데이터와 인간의 서술을 모두 아우르는 경우, 단일 검색 전략은 불충분하다는 것을 강력하게 시사합니다. 인공지능 에이전트가 작업에 적합한 도구를 선택할 수 있게 함으로써, 연구진은 의료 정보를 더욱 접근하기 쉽고 신뢰할 수 있게 만드는 실질적인 방법을 입증했습니다.