A ReAct Agentic AI System for Natural Language Querying and Statistical Analysis of The Cancer Genome Atlas Clinical Data

병원과 연구 센터는 환자의 병력부터 종양의 구체적인 유전적 구성에 이르기까지 환자에 대한 방대한 양의 정보를 생성합니다. 이 데이터 중 가장 중요한 컬렉션 중 하나는 암 게놈 아틀라스(The Cancer Genome Atlas)로, 이는 33가지 다른 유형의 암에 걸린 11,000명 이상의 환자에 대한 임상 기록을 보유한 거대한 디지털 라이브러리입니다. 수십 년 동안 과학자들은 더 나은 치료법으로 이어질 수 있는 패턴을 찾기 위해 이 자원에 의존해 왔지만, 정보에 접근하는 것은 어려운 과제였습니다. 데이터는 복잡한 파일 구조로 저장되어 있고 다양한 형식으로 흩어져 있어, 연구자들은 단순한 질문을 던지기 위해서도 특화된 컴퓨터 코드를 작성해야 했습니다. 이러한 장벽은 가치 있는 통찰력이 기술적인 숙련도가 높은 사람들에게만 접근 가능하게 만들어, 데이터를 즉시 활용할 수 있는 의사와 임상의들이 직접적으로 질의할 수 있는 방법을 차단함으로써 귀중한 통찰력이 잠겨 있는 상태로 남게 만들었습니다.

이 문제를 해결하기 위해, 연구자들은 자연어를 이해하고 이 의료 데이터에 대해 통계 분석을 수행하도록 설계된 새로운 유형의 컴퓨터 시스템을 개발했습니다. 인간이 복잡한 프로그래밍 언어를 배우도록 강요하는 대신, 이 시스템은 사용자가 특정 치료법을 받은 환자의 생존율을 묻는 것과 같이 평이한 영어로 질문할 수 있게 해줍니다. 이 시스템은 문제를 단계별로 생각할 수 있는 디지털 비서인 자율 에이전트 역할을 합니다. 질문이 들어오면, 에이전트는 답을 추측하는 것이 아니라, 진실을 찾기 위해 어떤 도구가 필요한지 추론하기 위해 대규모 언어 모델을 사용합니다. 에이전트는 특정 데이터 포인트를 추출하거나, 평균을 계산하거나, 집단 간의 차이가 통계적으로 유의미한지 비교하는 함수를 포함하여 8가지의 서로 다른 계산 도구 세트 중에서 도구를 선택합니다.

과정은 에이전트가 복잡한 질문을 작은 단계들로 나누는 방식으로 작동합니다. 만약 사용자가 특정 종양을 가진 환자의 생존 시간에 대해 묻는다면, 에이선트는 먼저 관련 환자 기록을 검색한 다음, 그들이 얼마나 오래 살았는지 계산하고, 마지막으로 그 결과가 신뢰할 수 있는지 확인하기 위해 통계 테스트를 실행할 수 있습니다. 결정적으로, 시스템은 자신의 작업을 스스로 점검합니다. 에이전트는 초기 시도가 실패하거나 데이터가 불완전해 보일 경우, 정확성을 보장하기 위해 '임상 데이터 리소스(Clinical Data Resource)'라고 알려진 큐레이션된 신뢰할 수 있는 버전의 데이터와 자신의 결과물을 비교합니다. 만약 초기 시도가 실패하거나 데이터가 불완전해 보이면, 에이전트는 올바르고 임상적으로 의미 있는 답에 도달할 때까지 다른 도구를 사용하거나 숫자를 바라보는 다른 방식을 시도하며 접근 방식을 조정합니다. 이러한 추론, 실행, 검증의 순환은 표준 컴퓨터 프로그램이나 단순한 챗봇이 해결하지 못할 어려운 질문들을 처리할 수 있게 합니다.

이 시스템이 얼마나 잘 작동하는지 테스트하기 위해, 연구자들은 TCGA-Agent-Bench라는 엄격한 평가를 만들었습니다. 이 테스트에는 단일 환자의 기록을 찾는 간단한 조회부터 대규모 집단 간의 복잡한 비교에 이르기까지 440개의 다양한 질문이 포함되었습니다. 질문들은 5단계의 난이도로 분류되었으며, 답변은 숫자가 맞는지와 의료적 맥락이 완전한지를 확인하기 위해 신뢰할 수 있는 임상 데이터 리소스와 대조되었습니다. 결과에 따르면 에이전트 시스템은 매우 효과적이었으며, 질문의 93.4%를 정확하게 답변했습니다. 시스템은 단순 조회에서는 완벽한 성능을 보였고, 환자 집단에 관한 질문에서는 99.1%의 성공률을 달enc성했습니다. 규칙 기반의 고정된 세트나 도구를 사용하지 않는 표준 언어 모델과 같은 다른 방법들과 비교했을 때, 이 새로운 시스템은 현저히 더 정확했습니다. 단계를 거쳐 추론하지 않고 단순히 데이터를 읽기만 하는 표준 모델은 81.8%의 정확도만을 기록했으며, 구조화된 추론 루프 없이 정보를 검색하려고 시도하는 시스템은 66.9%로 떨어졌습니다.

또한 이 연구는 시스템이 가장 큰 가치를 더하는 부분이 어디인지 밝혀냈습니다. 신뢰할 수 있는 임상 데이터 리소스만으로도 대부분의 질문에 답할 수 있었지만, 약물 치료, 특정 종양 측정치, 생물학적 표지자와 같은 세부 사항에서는 한계가 있었습니다. 연구자들이 이러한 누락된 세부 사항이 필요한 26개의 질문에 대해 테스트했을 때, 전체 에이전트 시스템은 100%를 정확하게 답변한 반면, 신뢰할 수 있는 리소스에만 의존했을 경우 정답률은 3.8%에 불과했습니다. 이는 원시적이고 복잡한 파일로부터 데이터를 끌어오는 시스템의 능력이 완전한 그림을 그리는 데 필수적임을 보여줍니다. 추가 분석에 따르면, 에이전트가 다음 단계를 생각하고 자신의 작업을 점검하는 부분인 '추론 루프'가 가장 중요한 요소였으며, 이는 정확도를 9.1% 높이고 답변의 완전성을 22퍼센트 포인트 개선했습니다.

이러한 발견은 이 시스템의 힘이 컴퓨터 모델 자체의 크기가 아니라, 도구를 사용하고 자신의 결과를 검증하도록 구축된 방식에서 나온다는 것을 시사합니다. 인간의 언어를 이해하는 능력과 통계 소프트웨어의 정밀함, 그리고 자기 점검의 규율을 결합함으로써, 이 시스템은 방대하고 사용하기 어려운 의료 데이터베이스를 질문을 던질 수 있는 누구에게나 접근 가능한 것으로 만듭니다. 이는 정확하고 감사 가능하며 명확한 출처를 가진 답변을 얻는 방법을 제공하며, 복잡한 파일의 라이브러리를 의료적 발견을 위한 대화형 파트너로 탈바꿈시킵니다. 이 접근 방식은 임상 데이터를 분석하는 미래의 길을 제시하며, 올바른 아키텍처가 어떻게 기술적 복잡성이라는 벽 뒤에 숨겨져 있던 통찰력을 끌어낼 수 있는지를 증명합니다.