MyeGPT: an AI agent for Multiple Myeloma

MyeGPT 는 자연어 쿼리를 프로그래밍 기술 없이 자동화된 데이터 기반 분석으로 변환하여 다발성 골수종 연구자들이 복잡한 CoMMpass 데이터셋에서 가설을 검증하고 결과를 시각화할 수 있도록 지원하는 AI 기반 브라우저 애플리케이션입니다.

핵심

특정 유형의 혈액암인 다발성 골수종 (Multiple Myeloma) 에 대한 방대하고 놀라울 정도로 상세한 의료 기록 도서관을 상상해 보세요. 이 도서관은 CoMMpass 연구로 알려져 있으며, 1,143 명의 환자들에 대한 '생애 이야기'를 담고 있습니다. 여기에는 증상, 치료 이력, 유전적 구성, 그리고 생존 기간이 포함됩니다. 그러나 함정이 하나 있습니다. 이 도서관은 소수의 전문 사서 (생정보학자) 만이 읽을 수 있는 비밀 코드 (복잡한 컴퓨터 프로그래밍 언어) 로 작성되어 있습니다. 일반 의사나 연구자에게는 특정 답변을 찾는 것, 예를 들어 "특정 유전자 변이가 있는 환자가 더 오래 살까요?"와 같은 질문을 하는 것이, 눈가리개를 하고 장갑을 낀 채 건초더미에서 바늘을 찾는 것과 같습니다.

이제 MyeGPT가 등장합니다.

MyeGPT 란 무엇인가요?

MyeGPT 를 전체 CoMMpass 도서관을 암기해 둔 초지능적인 이중언어 사서라고 생각하세요. 이 사서와 대화하려면 비밀 코드를 알 필요가 없습니다. 인간에게 묻듯이 평범한 영어로 단순히 질문하면 됩니다. "첫 번째 치료 후 재발한 환자의 생존율을 보여주세요" 또는 *"특정 단백질의 수치가 높은 환자와 정상 수치를 가진 환자의 전반적인 건강 상태를 비교해 주세요"*라고 요청할 수 있습니다.

MyeGPT 는 단순히 답을 추측하지 않습니다. 그것은 다음과 같은 탐정처럼 행동합니다:

1. 질문을 이해합니다.
2. 데이터베이스를 파고들어 필요한 정확한 데이터 페이지를 찾습니다.
3. 계산을 수행하여 답을 도출합니다.
4. 결과를 보여주기 위해 그림 (차트 또는 그래프) 을 그립니다.

어떻게 작동하나요?

연구진들은 **에이전트 AI(Agentic AI)**라는 유형의 인공지능을 사용하여 이 '사서'를 구축했습니다. 단순히 대화만 하는 표준 챗봇과 달리, '에이전트'는 실제로 무언가를 수행할 수 있습니다.

• 두뇌 (LLM): 이는 사용자의 언어를 이해하고 문제 해결을 위한 단계를 계획하는 부분입니다.
• 도구: MyeGPT 는 일련의 디지털 도구를 갖추고 있습니다. 도서관 매뉴얼에서 올바른 정의를 찾기 위한 '검색 도구', 복잡한 쿼리를 실행하기 위한 '데이터베이스 도구', 그리고 그래프를 생성하기 위한 '그리기 도구'가 있습니다.
• 기억 (지식 베이스): 작동을 시작하기 전에, 팀은 데이터베이스의 각 열이 무엇을 의미하는지 정확히 설명하는 52 페이지 분량의 지침서를 MyeGPT 에게 입력했습니다. 이는 '치료 반응'이나 '복제 수 (copy number)'가 실제로 무엇을 지칭하는지 혼동하지 않도록 보장합니다.

효과가 있었나요? (테스트 드라이브)

연구진들은 단순히 이를 구축하는 데 그치지 않고, 안전하고 정확한지 확인하기 위해 엄격한 주행 테스트를 거쳤습니다.

1. 상식 퀴즈 테스트: 그들은 MyeGPT 에게 복잡한 수학 계산과 데이터 파헤치기가 필요한 20 개의 까다로운 질문을 던졌습니다. 그리고 그 답변을 인간 전문가가 만든 '골드 스탠다드'와 비교했습니다.

   • 결과: MyeGPT 의 최상위 버전은 100 점 만점에 79.4 점을 받았습니다. 완벽하지는 않았지만 유용할 만큼 좋았습니다. 흥미롭게도, 작고 저렴한 AI 모델이 거대하고 비싼 모델들과 거의同等한 성능을 보여 비용 효율적인 선택지가 되었습니다.

2. '재연' 테스트: 그들은 MyeGPT 에게 이미 인간에 의해 출판된 유명한 연구들을 재현하도록 요청했습니다.

   • 결과: MyeGPT 는 두 가지 주요 연구의 결과를 성공적으로 재현했습니다. 생존율과 유전자 발현 패턴을 계산한 결과, 원래 인간 연구자들의 작업과 거의 완벽하게 일치했습니다.

3. '인간 대 기계' 테스트: 그들은 MyeGPT 와 인간 전문가 모두에게 환자를 위험군 (고위험군 대 표준 위험군) 으로 분류하도록 요청했습니다.

   • 결과: AI 와 인간 간의 일치도는 놀라울 정도로 높았습니다 (96.5%). 이는 AI 가 이 데이터를 볼 때 인간 전문가와 매우 유사하게 '생각'한다는 것을 의미합니다.

현재 무엇을 할 수 있나요?

이 논문은 MyeGPT 가 세 가지 유형의 작업을 처리하는 모습을 보여줍니다:

• 간단한 것: "Drug X 를 복용한 환자는 몇 명인가요?" (한 번의 빠른 조회).
• 중간 난이도: "Gene Y 를 가진 환자가 Drug Z 에 더 잘 반응하나요?" (두 가지 다른 데이터 세트 비교).
• 복잡한 것: "1,143 명의 모든 환자의 전체 유전 코드를 스캔하여 치료 실패와 연관될 수 있는 유전자를 찾아보세요." (거대한 전장유전체 검색).

중요한 제한 사항 (소문자)

저자들은 MyeGPT 가 무엇이 아닌지에 대해 매우 명확합니다:

• 의사가 아닙니다. "이 특정 환자에게 이 특정 약을 처방해야 합니까?"라고 질문할 수 없습니다. 이 논문은 MyeGPT 가 연구 및 가설 생성만을 위한 것이라고 명시적으로 밝히고 있습니다. AI 는 실수를 할 수 있고 데이터가 관찰 연구 (통제된 임상 시험이 아님) 에서 비롯되었기 때문에, 그 조언은 환자에 대한 실제 의료 결정을 내리는 데 결코 사용되어서는 안 됩니다.
• 연구 환경이 필요합니다. 이는 과학자들이 노트북이나 심지어 스마트폰에서 데이터를 탐색하는 데 도움을 주기 위해 설계되었지만, 아직 병원을 위한 임상 도구는 아닙니다.

결론

MyeGPT 는 복잡하고 방대한 의료 데이터 세트와 이를 활용하려는 연구자들 사이의 간극을 메우는 개념 증명 도구입니다. 컴퓨터 과학 박사 학위가 있어야만 탐색할 수 있던 도서관을 대화형 채팅 인터페이스로 변환합니다. 의사를 대체할 준비가 된 것은 아니지만, 과학자들을 위한 강력한 '코파일럿' 역할을 하여, 다발성 골수종 데이터라는 광활한 바다에서 질문을 던지고 답변을 찾는 것을 이전보다 훨씬 빠르게 도와줍니다.

기술 요약

기술 요약: MyeGPT – 다발성 골수종을 위한 AI 에이전트

문제 제기
MMRF CoMMpass 연구는 다발성 골수종 연구의 이정표가 되는 자원으로, 1,143 명의 환자에 대한 포괄적인 임상 및 분자 데이터를 포함하고 있습니다. 그러나 763 개의 임상 필드와 멀티-오믹스 데이터 (WGS, WES, RNA-seq, FISH) 로 구성된 데이터셋의 복잡성은 연구자들에게 가파른 학습 곡선을 만들어냅니다. MMRF Virtual Lab 이나 R 라이브러리 (MMRFBiolinks, MMRFVariant) 와 같은 기존 도구들은 제한된 분석 범위를 제공하며, 교차 모달 가설 검증이나 사용자 정의 쿼리를 쉽게 수용하지 못합니다. furthermore, 범용 AI 에이전트는 이 분야에서 장벽에 직면합니다: CoMMpass 와 같은 제어 접근 데이터셋에 사전 구성된 접근 권한이 부족하여 사용자가 민감한 데이터를 업로드해야 하는 경우가 많으며, CoMMpass 스키마에 내재된 특정 필드 명명법과 의미적 관계를 처리하는 데 어려움을 겪습니다.

방법론
저자들은 다발성 골수종을 위한 "AI 생물정보학자"로 기능하도록 설계된 특수 에이전트 AI 시스템인 MyeGPT(Myeloma Generative Pretrained Transformer) 를 개발했습니다.

• 아키텍처: MyeGPT 는 ReAct(Reasoning and Acting) 패러다임을 활용합니다. 이는 대규모 언어 모델 (LLM) 이 사용자의 자연어 쿼리에 대해 추론하고, 계획을 수립하며, 특정 도구를 사용하여 행동을 실행하는 교차 사이클로 운영됩니다.
• 데이터 인프라: 이 시스템은 CoMMpass 릴리스 IA22(및 특정 전좌의 경우 IA16a) 에서 파생된 17 개의 상호 연결된 테이블을 포함하는 PostgreSQL 데이터베이스를 기반으로 합니다. 여기에는 임상 인구통계, 치료 반응, 생존 데이터, 엑솜 변이, 복제 수 변이, 그리고 크로모티프시스 호출 및 돌연변이 서명과 같은 파생 지표를 포함합니다.
• 지식 베이스: 자연어 쿼리와 데이터베이스 스키마 간의 격차를 해소하기 위해 저자들은 **검색 증강 생성 **(RAG) 시스템을 구현했습니다. CoMMpass 필드를 설명하는 52 페이지 분량의 문서 세트가 텍스트 임베딩 벡터 저장소로 색인화되었습니다. 에이전트는 SQL 쿼리를 생성하기 전에 쿼리 유사도에 따라 관련 문서 페이지를 검색합니다.
• 도구: MyeGPT 는 일련의 도구를 사용합니다:
  • 문서 검색: 벡터 유사도를 통해 관련 스키마 문서를 검색합니다.
  • LangChain SQL 쿼리: 디버깅 중 토큰 팽창을 방지하기 위해 LIMIT 절을 포함하여 SQL 쿼리를 생성하고 테스트합니다.
  • Python SQL 쿼리: 샌드박스화된 Python 환경에서 검증된 SQL 쿼리를 실행하여 전체 결과를 디스크에 저장합니다.
  • Python REPL: 통계 분석, 플롯ting 및 계산을 수행합니다.
• 벤치마킹: 저자들은 난이도 (단순, 중급, 복잡) 로 분류된 20 개의 수치 응답 질문으로 구성된 **CoMMpass 정량적 테스트 세트 **(CQTS) 를 구축했습니다. 평가 지표에는 방법론과 정답의 정확성 모두에 가중치를 둔 **추론 - 정확도 복합 **(RAC) 점수와 Net Promoter Score(NPS) 가 포함되었습니다. 또한 문서 검색 정확도를 위해 텍스트 임베딩 모델을 평가했습니다.

주요 기여

1. 특수 데이터셋 에이전트: MyeGPT 는 특정 복잡 생물의학 데이터셋에 대한 심층적이고 사전 구성된 지식을 갖춘 "데이터셋 큐레이터" 에이전트의 개념 증명 역할을 하며, 사용자가 데이터를 업로드하거나 필드 이름을 수동으로 매핑할 필요가 없게 합니다.
2. 비용 최적화 전략: 저자들은 에이전트 AI 의 비용을 줄이기 위한 상당한 엔지니어링 최적화 전략을 상세히 설명합니다. RAG 를 사용하여 필요한 문서 페이지만 검색하고 디버깅을 위한 LIMIT 후 전체 실행이라는 2 단계 SQL 프로세스를 강제함으로써, 벤치마크 실행당 비용을 약 10 달러에서 약 0.10 달러로 줄였습니다 (약 100 배 감소).
3. 평가 프레임워크: 이 논문은 최종 답변뿐만 아니라 논리적 추론 단계를 보상하는 엄격한 벤치마킹 프로토콜 (CQTS) 과 점수 기준을 도입하여, 재귀 한계로 실패한 모델과 지식 부족으로 실패한 모델을 구분할 수 있게 합니다.

결과

• 벤치마크 성능: 수치 응답 벤치마크에서 Anthropic 의 Claude Opus 4.5는 0.794의 최고 추론 - 정확도 복합 (mRAC) 점수와 +11 의 NPS 를 기록했으며, 점수가 0 인 응답은 없었습니다. OpenAI 모델 중에서는 비용 효율적인 GPT-5 mini가 경쟁력 있는 성능 (mRAC 0.681, NPS +6) 을 보이며 성능과 비용의 유리한 균형을 제공했습니다.
• 임베딩 모델: 문서 검색의 경우 Google 의 gemini-embedding-001과 OpenAI 의 text-embedding-003-large(3072 차원) 가 저차원 모델에 비해 우수한 성능 (첫 시도 정확도 약 67-68%) 을 입증했습니다.
• 기존 발견의 재현:
  • 기능적 고위험 (FHR) 분류: 표준 위험 (SR), 유전체 고위험 (GHR), FHR 범주로 환자를 분류하도록 지시받았을 때, MyeGPT(다양한 LLM 사용) 는 인간 전문가와 높은 판독자 간 신뢰도를 보였습니다. 가장 높은 일치도는 **Claude Sonnet 4.5 와 인간 판독자 사이 **(Cohen's κ = 0.965) 에서 나타났습니다.
  • PR 아형 분석: MyeGPT 는 Skerget 등 (2024) 의 CoMMpass IA22 출판물에서 생존 분석 및 차등 유전자 발현 결과를 성공적으로 재현했습니다. 약간의 불일치가 존재했음 (배치 보정 방법과 중도 절단 날짜 처리로 인한) 효과 크기와 p-값은 원래 연구와 밀접하게 일치했습니다.
• 새로운 시나리오: 이 시스템은 치료 중단 이유의 분포와 같은 단순한 단변량 쿼리부터 FHR 환자 대 SR 환자에서 풍부하게 나타나는 돌연변이를 식별하고 유전자별 Cox 회귀를 수행하는 것과 같은 복잡한 전장 유전체 스크리닝에 이르기까지 다양한 작업을 성공적으로 실행했습니다.

의의 및 주장
이 논문은 MyeGPT 를 임상 의사결정 지원 도구가 아닌 연구 가속 엔진으로 위치시킵니다. 저자들은 LLM 의 비결정적 성격과 CoMMpass 연구의 관찰적 설계로 인해 이 도구가 탐색적 데이터 분석 및 가설 생성으로만 제한된다고 명시적으로 밝힙니다.

주요한 의의로 주장되는 것은 다발성 골수종 연구자들의 기술적 장벽을 낮추어 프로그래밍 기술 없이 스마트폰 브라우저로 "이동 중" 분석을 가능하게 한다는 점입니다. MyeGPT 는 특수 에이전트 AI 가 복잡하고 다중 모달인 생물의학 데이터셋을 효과적으로 탐색하여 자연어 쿼리를 재현 가능한 통계 분석 및 시각화로 변환할 수 있음을 보여줍니다. 저자들은 대규모 생물의학 데이터에 대한 접근을 민주화하기 위해 TCGA 와 같은 다른 데이터셋에 대한 유사한 특수 에이전트 생성을 장려합니다.