🤖 AI

DoctorAgents: an agentic framework to iteratively refine AutoML pipeline for small clinical temporal data

DoctorAgents는 추론 기반의 업데이트와 자연어 피드백을 통해 임상 머신러닝 파이프라인을 반복적으로 정교화하는 특화된 대규모 언어 모델을 활용함으로써, 소규모의 이질적인 시계열 데이터에 대해 기존의 AutoML 시스템보다 뛰어난 성능을 발휘하는 에이전트형 AI 프레임워크입니다.

원저자: Ruilin Wang, Bo-Hong Wang, Elizabeth Kourbatski, Jun Bai, Hegang Chen, Ziyang Song, Gilles Boire, Marie Hudson, Yue Li

게시일 2026-08-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruilin Wang, Bo-Hong Wang, Elizabeth Kourbatski, Jun Bai, Hegang Chen, Ziyang Song, Gilles Boire, Marie Hudson, Yue Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터에게 의사가 되는 법을 가르치려 한다고 상상해 보십시오. 당신은 환자의 기록 더미를 건네주며, 이를 통해 누가 병에 걸릴지 또는 특정 치료가 필요한지를 예측할 수 있는 패턴을 찾아내길 기대합니다. 이것이 바로 **임상 머신러닝(Clinical Machine Learning)**의 세계입니다. 하지만 여기에는 함정이 있습니다. 실제 환자 기록은 지저집니다. 모든 행이 완벽한 시점의 스냅샷인 깔끔한 스프레드시트가 아닙니다. 대신, 환자가 일 년에 한 번 방문했다가, 어떤 때는 일주일에 세 번 방문하고, 또 어떤 때는 몇 달 동안 사라지기도 하는 혼란스러운 일기와 같습니다. 어떤 기록은 누락되어 있고, 어떤 기록은 모호하며, 측정값 자체만큼이나 그 측정의 타이밍이 중요할 때도 있습니다.

이러한 혼돈을 이해하기 위해, 과학자들은 보통 **머신러닝 파이프라인(Machine Learning Pipelines)**을 구축합니다. 파이프라인을 맞춤 제작된 공장의 조립 라인이라고 생각하십시오. 한 부분은 데이터를 정제하고, 다른 부분은 지저집적한 메모를 컴퓨터가 이해할 수 있는 형식으로 정리하며, 마지막 부분은 예측 모델을 구축합니다. 전통적으로 이러한 공장을 만드는 것은 통계학자(수학적 검증), 컴퓨터 과학자(코드 작성), 그리고 논리가 의학적으로 타당한지 확인하는 의사(논리 검증)와 같은 전문가 팀이 필요한 느리고 수동적인 작업이었습니다. 최근에는 **인공지능(AI)**이 이를 자동화하려고 시도해 왔습니다. AutoML이라 불리는 일부 시스템은 세상의 모든 레시피를 하나씩 다 시도해 보며 어떤 것이 가장 맛있는지 찾아내려는 분주한 요리사와 같습니다. 그들은 수천 가지의 조합을 문제에 던져 넣으며, 그중 하나가 딱 들어맞기를 바랍니다. 하지만 작고 지저분한 의료 데이터셋의 경우, 이러한 "무차별 대입(brute force)" 방식은 시간을 낭비하고, 미묘한 단서를 놓치며, 이해하기 어려운 결과를 만들어내곤 합니다.

여기, 맥길 대학교와 퀘벡 AI 연구소의 연구진이 발표한 논문에서 설명하는 새로운 접근 방식인 DoctorAgents가 등장합니다. 재료를 벽에 던지는 분주한 요리사 대신, 연구진은 협력적인 의료 위원회처럼 함께 일하는 전문화된 AI "의사" 팀을 제안합니다. DoctorAgents라고 불리는 이 시스템은 단순히 추측하는 것이 아니라 추론합니다. 이 시스템은 대규모 언어 모델(LLum) 에이전트—즉, 전문화된 AI 비서들—를 사용하여 데이터를 분석하고, 파이프라인을 구축하고, 테스트한 다음, 왜 실패했는지에 대해 생각한 뒤 아주 작고 정밀한 수정 작업을 수행합니다.

핵심 아이디어는 **반복적 에이전트 정교화(Iterative Agentic Refinement)**입니다. 여러분이 복잡한 퍼즐을 풀고 있다고 상상해 보십시오. 전통적인 컴퓨터는 퍼즐 조각이 맞지 않을 때마다 퍼즐 판 전체를 교체하려고 할 것입니다. 그러나 DoctorAgents는 탐정처럼 행동합니다. 만약 조각이 맞지 않는다면, "왜?"라고 묻고, 전체 프로그램을 다시 쓰는 대신 그 조각 하나를 살짝 조정하거나 판의 각도를 약간 바꾸는 식으로 부드럽게 수정합니다. 이 시스템은 **텍스트 기반 경사 하강법(Textual Gradient Descent)**이라는 기술을 사용하는데, 이는 의사의 자연어 피드백("이 특징은 너무 노이즈가 심하다")을 프로그램 전체를 다시 작성하지 않고도 정밀한 코드 업데이트로 변환하는 것과 같습니다.

연구진은 실제 환자 데이터를 사용하여 네 가지 서로 다른 임상 과제에 대해 이 시스템을 테스트했습니다. 여기에는 중환자실(ICU) 사망 예측, 일주일 내 재입원 여부, 입원 기간 예측, 그리고 류마티스 관절염 환자가 특정 약물 치료에 반응할지 여부가 포함되었습니다. 데이터는 AI의 관점에서 볼 때 "작은" 규모였으며(종종 수백 명에서 수천 명의 환자), 모든 측정의 타이밍이 매우 중요하고 불규칙적인 "시계열적(temporal)" 데이터였습니다.

결과는 DoctorAgents가 강력한 경쟁자임을 시사합니다. 실험에서 이 AI 팀은 현재의 최첨단 무차별 대입 방식 및 다른 AI 에이전트들을 포함한 다른 자동화 시스템들을 지속적으로 능가했습니다. 예를 들어, ICU 사망 예측에서 DoctorAgents-DS(이 시스템의 특화 버전)는 0.520의 점수를 기록하여, 그다음으로 높은 점수인 0.476을 기록한 방법을 앞질렀습니다. 류마티스 관절염 치료 반응 예측에서는 0.577에 도달하여 기존 최고점인 0.564를 넘어섰습니다.

하지만 이 논문은 단순히 더 높은 점수보다 더 중요한 것을 시사합니다. 바로 **해석 가능성(interpretability)**입니다. AI 에이전트들이 단계별로 추론하고 무엇이 작동했고 무엇이 작동하지 않았는지에 대한 "기억 로그"를 유지하기 때문에, 그들이 생성한 특징(feature)들은 인간에게 의미 있게 다가옵니다. 관절염 예측의 경우, 시스템은 단순히 무작위 숫자를 찾아낸 것이 아니라, 1년간 환자의 피로도 변화나 처방된 특정 약물 유형과 같이 인간 의사가 인지할 수 있는 의미 있는 특징들을 구성해 냈습니다. 시스템은 파이프라인 전체를 처음부터 다시 생성하는 것이 최선이라는 생각을 명시적으로 부정했으며, 대신 목표 지향적이고 기억을 활용한 정교화가 더 안정적이고 신뢰할 수 있는 결과를 이끌어낸다는 것을 발견했습니다.

저자들은 이 시스템이 견고하고 효율적이긴 하지만, 마법의 지팡이는 아니라는 점을 주의 깊게 언급했습니다. 류마티스 관절염 과제의 경우 모든 방법론에서 성과가 완만했는데, 이는 데이터 자체가 강력한 예측 신호를 결여하고 있을 수 있음을 시사하며, 이는 AI가 마법처럼 극복할 수 없는 한계입니다. 그러나 이 연구는 작고 지저집한 시계열 의료 데이터에 있어서, 단순히 모든 것을 시도하고 운 좋게 걸리길 바라는 시스템보다 실수를 통해 배우는 추론형 AI 에이전트 팀이 더 효과적인 전략임을 강력하게 시사합니다. 이는 의료 예측 모델을 구축하는 과정을 단순한 운 게임에서, 기계와 데이터 사이의 사려 깊고 반복적인 대화로 변화시킵니다.

기술 요약: DoctorAgents

문제 정의

임상 머신러닝(ML)은 희귀 질환 레지스트리나 단일 센터 연구에서 발견되는 것과 같이 작고 이질적이며 시간적으로 복잡한 데이터셋에 적용될 때 상당한 난관에 봉착합니다. 표준 정형 데이터 벤치마크와 달리, 임상 기록은 종종 비동기적이고 불완전하며 불규칙하게 샘플링되는데, 이는 기저의 질병 과정과 임상 관찰 과정을 모두 반영합니다. 사전 정의된 공간(예: 베이지안 최적화, 진화 전략)에 대해 무차별 대입 탐색(brute-force search)에 의존하는 기존의 자동 머신러닝(AutoML) 시스템은 이 영역에서 어려움을 겪습니다. 이러한 시스템은 상당한 계산 자원을 요구하며, 데이터 특성(예: 누수 위험 또는 시간적 유효성)에 대한 명시적인 추론 능력이 부족하고, 해석 가능한 작업 특화 환자 표현을 제공하지 못합니다. 또한, 기존의 대규모 언레인지 모델(LLM) 기반 AutoML 에이전트들은 제한된 지속성 메모리를 가진 시행착오 방식(trial-and-error regime)으로 작동하여, 소규모 임상 데이터셋에 대한 파이프라인을 정교화할 때 불안정한 최적화, 반복적인 오류, 그리고 비효식적인 컴퓨팅 자원 사용을 초래합니다.

방법론: DoctorAgents

저자들은 DoctorAgents를 제안하며, 이는 소규모 임상 시계열 데이터에 대한 AutoML을 무차별 탐색에서 **추론 기반의 정교화(reasoning-driven refinement)**로 재정의하는 에이전트 AI 프레임워크입니다. 이 시스템은 전문화된 LLM 에이전트들이 협력하여 엔드투엔드(end-to-end) ML 파이프라인을 구축, 검증 및 반복적으로 최적화하는 멀티 에이전트 아키텍처를 채택합니다.

핵심 에이전트 아키텍처

프레임워크는 각각 고유한 역할을 가진 전문 에이전트 팀을 활용합니다:

컨설턴트 ( $A_c$ ): 고수준의 분석 전문가로서, 원시 데이터셋 메타데이터와 사용자 입력을 도메인 지식이 포함된 구조화된 작업 명세로 변환하여 다운스트림 합성을 가이드합니다.
제너레이터 ( $A_g$ ): 작업 명세를 데이터 로딩, 전처리, 모델 선택, 훈련 및 평가를 포함하는 초기 실행 가능한 ML 파이프라인 코드로 변환합니다.
리페어러 ( $A_r$ ): 원래의 알고리즘 의도를 변경하지 않으면서 코드를 최소한으로 수정하여 실행 실패를 처리하고 실행 가능성을 복구합니다.
로거 ( $A_l$ ): 반복 간의 변화, 성능 결과, 그리고 파이프라인 버전 간의 유의미한 차이에 대한 구조화된 장기 메모리 로그를 유지합니다. 컨텍스트 길이를 관리하고 "노트 폭발(note explosion)"을 방지하기 위해 요약 전략(SUMMA)을 사용합니다.
에발루에이터 ( $A_e$ ): 성능 지표와 이력 로그를 바탕으로 자연어 피드백을 사용하여 파이프라인의 품질, 정확성 및 잠재적 결함(예: 과적합, 데이터 누수)을 평가합니다.
옵티마이저 ( $A_o$ ): 에발루에이터의 자연어 피드백을 **텍스추얼 그래디언트 디센트(Textual Gradient Descent, TGD)**를 사용하여 구체적인 코드 수정 사항으로 변환합니다. 이를 통해 전체 코드베이스를 다시 생성하지 않고도 파이프라인에 대한 타겟팅된 국소 업데이트가 가능합니다.

워크플로우

시스템은 폐쇄 루프 반복 프로세스로 작동합니다:

초기화: 컨설턴트가 메타데이터를 분석하여 작업을 정의하고, 제너레이터가 초기 파이프라인을 합성합니다.
실행 및 검증: 파이프라인이 실행됩니다. 실패할 경우, 리페어러가 이를 수정합니다.
메모리 구성: 로거는 변화와 결과를 기록하며, 컨텍스트 효율성을 유지하기 위해 체크포인트마다 이력을 요약합니다.
정교화: 에발루에이터가 파이프라인을 비평하면, 옵티마이저가 TGD를 적용하여 이 피드백을 바탕으로 코드를 업데이트합니다.
반복: 중단 기준이 충족될 때까지 이 사이클이 반복됩니다.

도메인 특화 설계 (DoctorAgents-DS)

불규칙한 임상 시계열 데이터의 고유한 과제를 해결하기 위해, 저자들은 전문화된 에이전트에 의해 관리되는 두 개의 전용 서브태스크로 최적화를 분해하는 특화 변형 모델인 DoctorAgents-DS를 도입합니다.

데이터 전처리 (DP) 에이전트: 불규칙한 시계열 데이터를 위한 특성 공학(feature engineering), 시간적 집계(temporal aggregation) 및 결측치 처리에만 집중합니다.
모델 개발 (MD) 에이전트: 모델 선택, 하이퍼파라미터 튜닝 및 훈련 전략에 집중합니다.
이러한 분리는 명시적이고 편집 가능한 코드를 유지하면서, 작업 특화된 시간적 표현에 대한 심층적인 탐색을 가능하게 합니다.

주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

추론 기반 에이전트형 AutoML: 데이터셋 추론, 실행 검증, 지속성 메모리 및 반복적 정교화를 결합하여 소규모 임상 시계열 데이터셋에 특별히 설계된 프레임워크입니다.
메모리 인식 최적화: 반복적인 실패를 방지하고 안정적인 정교화를 보장하기 위해 반복 간의 장기 학습을 가능하게 하는 메커니즘입니다.
도메인 특화 설계: 불규칙하게 관찰되는 시계열 임상 데이터를 위해 설계된 분해 전략(DP 및 MD 에이전트)을 통해 더 풍부하고 작업 특화된 환자 표현을 가능하게 합니다.
자동 임상 특성 구성: 고정된 전처리 템플릿을 넘어, 원시 시계열 데이터로부터 임상적으로 의미 있는 변수를 자동으로 구성하는 능력입니다.
경험적 검증: 기존 방법론보다 우수한 견고성, 효율성 및 해석성을 입증하는 광범위한 실험입니다.

실험 결과

저자들은 네 가지 시계열 임상 예측 작업에 대해 DoctorAgents를 평가했습니다:

데이터셋: 공개 MIMIC-IV 데이터베이스의 세 가지 작업(ICU 사망률, ICU 재입원, ICU 입원 기간 예측)과 내부 EUPA(Early Undifferentiated PolyArthritis) 코호트의 한 가지 작업(류마티스 관절염의 anti-TNF 치료 반응 예측)입니다.
베이스라인: 전통적인 ML(TabPFN), 범용 LLM(GPT-5, GPT-oss, Llama-8B) 및 기존의 에이전트형 AutoML 시스템(AutoML-Agent, ERA)을 비교 대상으로 포함했습니다.
성능:
- DoctorAgents-DS는 모든 벤치마크에서 가장 강력한 평균 성능을 달리며, AUROC 및 AUPRC 측면에서 모든 베이스라인을 능가했습니다.
- 표준 DoctorAgents 프레임워크 또한 확립된 AutoML 및 에이전트 베이스라인을 일관되게 앞질렀습니다.
- 어블레이션 연구(Ablation studies)를 통해 컨설턴트(초기화 개선)와 메모리(정교화 안정화) 모듈이 모두 성능에 결정적임을 확인했으며, 전체 시스템은 이 구성 요소들이 결여된 변형 모델들보다 현저히 높은 검증 점수를 달성했습니다.
해석 가능성:
- 시스템은 베이스라인과 비교했을 때 기술적으로 더 유효하고 임상 맥락과 의미론적으로 일치하는 특성을 생성했습니다.
- GPT-5.4를 판사로 사용한 독립적인 평가 결과, DoctorAgents-DS는 베이스라인 대비 "잘 정당화된(Well Justified)" 및 "임상적으로 합리적인(Clinically Reasonable)" 특성의 비율이 유의미하게 높았습니다(평균 약 7~8% 개선).
- 생성된 특성들은 일반적인 집계에 의존하기보다 임상적 직관(예: 생리학적 불안정성, 모니터링 강도, 치료 궤적 포착)과 일치했습니다.

의의 및 주장

본 논문은 DoctorAgents가 임상 ML 자동화의 패러다임 전환을 나타낸다고 상정합니다. 무차별 탐색을 상태 유지형(stateful) 추론 기반 프로세스로 대체함으로써, 이 프레임워크는 소규모의 불규칙한 임상 데이터셋의 특수한 제약 조건을 해결합니다. 저자들은 이 시스템이 예측 성능을 향상시킬 뿐만 아니라, 특성 의미론과 임상적 엄밀성에 근거한 해석 가능하고 작업 특화된 표현을 생성한다고 주장합니다.

그 의의는 데이터 과학자와 임상의의 부담을 줄이면서도 결과 모델의 품질과 해석 가능성을 높일 수 있는, 도메인 전문 지식 기반의 파이프라인 구축 없이도 비동기적 관찰, 결측 패턴, 생리학적 변화와 모니터링 아티팩트의 구분과 같은 복잡한 시계열 임상 데이터를 자율적으로 처리할 수 있는 능력에 있습니다. 결과는 지속성 메모리와 도메인 특화 추론 능력을 갖춘 에이전트 AI가 신뢰할 수 있는 임상 예측 모델을 개발하기 위한 강력한 도구 역할을 할 수 있음을 시사합니다.