기술 요약: 에이전트 임상 추론을 위한 다중 모달 증거 탐색 자동화

1. 문제 제기

현재 대규모 언어 모델 (LLM) 과 에이전트 프레임워크 기반의 임상 의사결정 지원 시스템은 대부분 '선별된 증거 (curated evidence)' 패러다임에 크게 의존하고 있습니다. 기존 벤치마크와 워크플로우에서는 관련 환자 데이터 (예: 특정 EHR 테이블, 선택된 방사선 보고서, 또는 요약된 임상 사례) 가 추론 전에 미리 선정되어 모델에 전달됩니다. 이는 실제 임상 현장과 괴리가 있는데, 실제 임상에서는 의료진이 원시 전자 건강 기록 (EHR), 의료 영상, 외부 의학 지식 등 이질적인 출처에서 증거를 능동적으로 탐색, 계획, 그리고 종합해야 합니다.

핵심적인 과제는 주어진 증거에 대한 추론을 넘어, 어디서 증거를 검색할지, 무엇을 검색할지, 그리고 이러한 이질적인 신호들을 어떻게 통합하여 근거 기반의 의사결정을 내릴지 결정하는 데 있습니다. 기존 에이전트 기반 EHR 시스템은 종종 텍스트와 이미지를 포함한 다중 모달 데이터를 처리할 수 있는 범위가 부족하거나, 임상 문의의 특정 요구 사항에 적응하지 못하는 고정된 도구 사용 패턴에 의존합니다.

2. 방법론: ClinSeekAgent

저자들은 임상 추론을 수동적인 증거 소비에서 능동적인 증거 획득으로 전환하도록 설계된 자동화된 에이전트 프레임워크인 ClinSeekAgent를 소개합니다.

2.1 프레임워크 아키텍처

ClinSeekAgent 는 에이전트가 통합된 도구 공간과 상호작용하며 증거를 반복적으로 수집하는 동적 파이프라인으로 작동합니다. 임상 문의 ($q$), 환자 식별자 ($p$), 참조 타임스탬프 ($t$) 가 주어지면 에이전트는 다음을 수행합니다:

1. 이질적 출처 접근: 원시 EHR 데이터베이스, 의료 영상 저장소, 외부 지식 베이스를 쿼리합니다.
2. 반복적 계획: 에이전트는 작업과 이전 상호작용 기록 ($h_{k-1}$) 을 관찰하여 다음 행동 ($a_k$) 을 결정합니다. 이는 도구 호출이거나 최종 예측일 수 있습니다.
3. 종합: 검색된 증거를 통합하여 가설을 정제하고 근거 기반의 임상 의사결정을 생성합니다.

2.2 도구 공간

프레임워크는 세 가지 상호 보완적인 도메인에 걸쳐 20 개의 도구를 노출합니다:

• EHR 검색 (11 개 도구): 스키마 검사, 시계열 검색, SQL 기반 쿼리 (ehr.run_sql_query), 그리고 후보 용어 정렬을 포함합니다. 이를 통해 에이전트는 EHR 을 정적 텍스트 블록이 아닌 프로그래밍 가능한 데이터베이스로 다룰 수 있습니다.
• 웹 검색 (3 개 도구): 외부 의학 지식 (예: 약물 적응증, 분류 체계) 을 획득하기 위한 브라우저 도구입니다.
• 의료 영상 (6 개 도구): DICOM 전처리, 흉부 X 선 (CXR) 분류, 보고서 생성, 구문 정렬, 그리고 해부학적 분할을 위한 도구입니다.

2.3 평가 벤치마크

프레임워크를 검증하기 위해 저자들은 ClinSeek-Bench를 구축했는데, 이는 동일한 작업에 대해 기존 벤치마크를 두 가지 설정으로 짝지은 것입니다:

• 선별된 입력 (Curated Input): 모델이 사전에 선정된 작업 관련 증거를 수신합니다 (기존 연구를 모방).
• 자동화된 증거 탐색: 모델은 환자 ID 와 ClinSeekAgent 도구 공간에 대한 접근 권한만 부여받으며, 필요한 증거를 자율적으로 검색해야 합니다.

이 벤치마크는 다음을 포함합니다:

• 텍스트 전용 EHR 작업: EHR-Bench 에서 파생된 것으로, 의사결정 및 위험 예측에 대한 45 개의 하위 작업입니다.
• 다중 모달 작업: EHRXQA 와 MedMod 에서 적응된 것으로, CXR 과 EHR 통합을 포함하는 6 개의 작업 그룹입니다.

2.4 학습 파이프라인

추론 시간 평가를 넘어, 저자들은 ClinSeekAgent 를 학습 파이프라인으로 활용합니다. 강력한 교사 모델 (Claude Opus 4.6) 을 사용하여 고품질 증거 탐색 궤적 (도구 호출 및 관찰) 을 생성합니다. 이러한 궤적은 감독 미세 조정 (SFT) 을 통해 오픈소스 모델 (Qwen3.5-35B-A3B) 을 미세 조정하는 데 사용되며, 그 결과 ClinSeek-35B-A3B가 도출됩니다.

3. 주요 결과

3.1 추론 시간 성능

유능한 에이전트 모델과 결합될 때 ClinSeekAgent 는 특히 희소하거나 종단적인 증거가 필요한 작업에서 선별된 입력 (Curated Input) 기준선보다 훨씬 뛰어난 성능을 보입니다.

• 텍스트 전용 EHR: Claude Opus 4.6 은 전체 F1 점수가 60.0 에서 63.2로 향상되었습니다. MiniMax M2.5 는 43.1 에서 47.3으로 향상되었습니다.
• 위험 예측: 위험 예측에서 개선이 가장 두드러졌습니다 (9 개 모델 중 7 개가 긍정적인 향상을 보임). 예를 들어, Claude Opus 4.6 은 위험 예측 작업에서 +9.7포인트의 향상을 보였습니다.
• 다중 모달 작업: 프레임워크는 평가된 모든 모델에서 상당한 개선을 보였습니다. Claude Opus 4.6 은 47.5 에서 62.6으로 (+15.1 포인트) 향상되었습니다. 평가된 6 개 모델 모두 CXR 관련 작업에서 개선되었으며, 이는 에이전트가 시각적 증거 (CXR 분류기/보고서) 를 구조화된 EHR 데이터 및 외부 지식과 결합할 수 있는 능력에 기인합니다.

3.2 학습 시간 성능

추출된 모델인 ClinSeek-35B-A3B는 오픈소스 모델 중 AgentEHR-Bench 에서 최첨단 성능을 달성했습니다.

• 기본 Qwen3.5-35B-A3B 모델의 평균 F1 을 22.1 에서 34.0으로 (+11.9 포인트) 향상시켰습니다.
• 다른 오픈소스 기준선 (예: Kimi K2.5, MiniMax-M2.5) 을 능가했으며, 교사 모델인 Claude Opus 4.6 의 성능에 근접했습니다 (34.0 대 36.0).
• 도구 사용 분석에 따르면, 추출된 모델은 더 다양하고 유연한 검색 정책을 학습했으며, 특히 SQL 쿼리 (ehr.run_sql_query) 사용을 도구 호출의 2.0% 에서 12.5% 로 증가시켜 고정된 템플릿에 의존하는 대신 EHR 을 데이터베이스로 취급하도록 했습니다.

3.3 관찰된 한계

이 논문은 프레임워크가 위험 예측에 비해 의사결정 작업에서는 덜 효과적이라고 지적합니다. 일부 의사결정 하위 작업에서 에이전트는 검색된 노이즈 속에서 중요한 신호를 식별하는 데 어려움을 겪어, 때로는 선별된 입력 기준선보다 더 낮은 성능을 보였습니다. 이는 능동적 검색이 위험을 위한 희소 증거를 찾는 데는 탁월하지만, 복잡한 의사결정 시나리오에서는 과도한 관련 없는 정보를 검색할 수 있음을 시사합니다.

4. 중요성 및 주장

이 논문은 ClinSeekAgent 가 수동적인 증거 소비에서 능동적인 증거 획득으로의 패러다임 전환을 나타낸다고 주장합니다. 그 중요성은 세 가지 영역에 있습니다:

1. 현실성: 증거가 미리 포장된 것이 아니라 원시 이질적 출처에서 능동적으로 탐색되어야 하는 실제 임상 워크플로우와 AI 평가를 정렬합니다.
2. 다중 모달 통합: 에이전트 시스템이 구조화된 EHR 데이터, 비구조화된 의료 영상, 외부 지식 간의 간극을 효과적으로 연결하여 고정된 컨텍스트가 놓치는 임상 신호를 복원할 수 있음을 보여줍니다.
3. 확장성: 고품질 에이전트 궤적이 컴팩트한 오픈소스 모델로 추출될 수 있음을 검증하여, 추론 시 독점적 대규모 모델이 필요하지 않고도 더 작은 모델이 복잡하고 장기적인 임상 증거 탐색을 수행할 수 있게 합니다.

저자들은 증거 탐색 프로세스를 자동화하는 것이 더 유연하고, 근거 기반이며, 유능한 임상 AI 에이전트를 구축하기 위한 유망한 방향이라고 결론지으며, 향후 연구를 촉진하기 위해 모델, 데이터, 코드를 공개할 것을 약속합니다.