CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare

1. 문제 정의 (Problem)

의료 소프트웨어 생태계 (DICOM 뷰어, EHR/EMR 시스템, 실험실 정보 시스템, 의료 이미지 주석 도구 등) 는 복잡하고 이질적이며, 데이터 무결성과 엄격한 규정 준수가 요구됩니다. 의료 전문가들은 하루에 수십 개의 상호 의존적인 단계로 이루어진 긴 작업 흐름 (Long-horizon workflows) 을 수행합니다.

현재의 대규모 멀티모달 모델 (VLM/LLM) 은 일반적인 데스크톱이나 웹 환경의 단거리 작업에는 어느 정도 성공했지만, 의료 분야와 같은 도메인 특화 환경에서 긴 시간 범위의 (Long-horizon) 자동화에는 심각한 한계가 있습니다. 주요 문제는 다음과 같습니다:

• 긴 작업 흐름의 추론 부재: 수십 단계에 걸친 복잡한 작업에서 단계별 오류가 누적되어 전체 작업 실패로 이어짐.
• 도메인 특화 인터페이스의 부재: 의료 소프트웨어는 UI 가 자주 변경되고 정책 제약이 강해, 기존 벤치마크 (웹/모바일 중심) 로는 평가가 불가능함.
• 맥락 및 기억 부족: 현재 스크린샷뿐만 아니라 과거의 작업 상태와 도메인 지식을 통합하여 다음 행동을 예측하는 메커니즘이 부족함.

2. 제안된 방법론 (Methodology)

이 논문은 두 가지 핵심 요소를 제안합니다: CareFlow (벤치마크) 와 CarePilot (프레임워크).

A. CareFlow: 의료 특화 장기 작업 벤치마크

• 구성: DICOM 뷰어 (Orthanc, Weasis), 의료 이미지 분석 도구 (3D Slicer), EHR 시스템 (OpenEMR), 실험실 정보 시스템 (OpenHospital) 등 4 가지 주요 의료 소프트웨어 플랫폼을 포함합니다.
• 데이터: 의료 전문가와 협력하여 실제 임상 워크플로우를 기반으로 1,100 개의 작업을 수집했습니다. 각 작업은 자연어 지시문과 8~24 개의 연속된 GUI 스크린샷 및 행동 (CLICK, SCROLL, ZOOM, TEXT, SEGMENT, COMPLETE) 으로 구성됩니다.
• 특징: 인터페이스 불변의 의미적 행동 (Semantic Actions) 을 레이블링하여, 특정 UI 위치가 아닌 작업의 논리적 흐름에 초점을 맞춥니다.

B. CarePilot: Actor-Critic 기반 멀티 에이전트 프레임워크

CarePilot 은 의료 소프트웨어의 긴 작업 흐름을 처리하기 위해 설계된 액터 - 크리틱 (Actor-Critic) 아키텍처를 기반으로 합니다.

1. 도구 그라운딩 (Tool Grounding):

   • VLM 이 스크린샷을 정확히 해석할 수 있도록 4 가지 경량화 도구를 통합합니다: UI 객체 감지, 줌/크롭, OCR(광학 문자 인식), 템플릿/아이콘 매칭.
   • 이를 통해 모델은 작은 컨트롤이나 텍스트 레이블을 정확히 식별할 수 있습니다.

2. 이중 기억 메커니즘 (Dual-Memory Mechanism):

   • 단기 기억 (Short-Term Memory): 직전 스텝의 행동, 관찰 결과, 크리틱의 피드백을 요약하여 즉각적인 맥락을 제공합니다.
   • 장기 기억 (Long-Term Memory): 전체 작업 흐름의 핵심 상태, 행동, 결과를 압축하여 장기적인 일관성을 유지하고 오류 누적을 방지합니다.

3. Actor-Critic 구조:

   • Actor (행동 에이전트): 현재 스크린샷, 지시문, 도구 신호, 기억 정보를 바탕으로 다음 의미적 행동을 예측합니다.
   • Critic (평가 에이전트): Actor 의 예측을 평가하고, 계층적 반성 (Hierarchical Reflection) 을 수행합니다.
     • 행동 반성: 로컬 그라운딩 오류 확인.
     • 궤적 반성: 진행 상황 정체 또는 전제 조건 위반 진단.
     • 전역 반성: 전체 목표 달성 여부 및 작업 완료 확인.
   • 학습 전략: 훈련 단계에서는 Critic 의 피드백을 통해 Actor 를 미세 조정 (Distillation) 하여, 추론 단계에서는 Critic 없이도 Actor 만으로 고품질의 추론이 가능하도록 합니다.

3. 주요 기여 (Key Contributions)

1. CareFlow 벤치마크: 의료 소프트웨어의 긴 작업 흐름을 평가하기 위한 최초의 공개적이고 인간이 주석한 대규모 벤치마크를 구축했습니다.
2. CarePilot 프레임워크: 도구 그라운딩과 이중 기억 메커니즘을 결합한 Actor-Critic 기반의 멀티 에이전트 시스템을 제안하여, 복잡한 의료 GUI 자동화 문제를 해결했습니다.
3. 성능 향상: 기존 모델 대비 긴 작업 흐름에서의 추론 능력과 인터페이스 일반화 능력을 획기적으로 개선했음을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

CareFlow 벤치마크와 분포 외 (OOD) 데이터셋 (OpenHospital) 에서 다양한 오픈소스 및 클로즈드소스 모델 (GPT-4o, GPT-5, Gemini, Llama 4, Qwen 등) 과 비교 평가했습니다.

• 성능: CarePilot 은 모든 도메인에서 State-of-the-Art (SOTA) 성능을 달성했습니다.
  • 작업 정확도 (Task Accuracy): CarePilot (Qwen 3 VL 기반) 은 기존 강력한 베이스라인 (GPT-5 등) 보다 약 15.26% 높은 성능을 보였습니다.
  • 단계별 정확도 (Step-Wise Accuracy): 약 3.38% 향상되었습니다.
• 구성 요소 분석 (Ablation Study):
  • 도구 그라운딩 (Tool Grounding): 가장 중요한 요소로, 이를 제거할 경우 작업 정확도가 급격히 하락했습니다.
  • 기억 메커니즘: 장기 기억 (LTM) 이 단기 기억 (STM) 보다 긴 작업 흐름에서 더 큰 영향을 미쳤습니다.
  • Critic 에이전트: Critic 없이 Actor 만 사용하는 경우 성능이 크게 저하되어, 계층적 반성 메커니즘이 핵심임을 입증했습니다.
• 작업 길이별 성능: 작업 단계가 길어질수록 (20 단계 이상) 기존 모델의 성능은 급격히 떨어지지만, CarePilot 은 상대적으로 안정적인 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

이 연구는 의료 AI 분야에서 단순한 진단이나 보고서 생성을 넘어, 실제 임상 소프트웨어 환경에서의 상호작용 및 자동화를 가능하게 하는 중요한 이정표입니다.

• 실용성: CarePilot 은 의료 전문가의 업무 부담을 줄이고, 데이터 입력 오류를 방지하며, 복잡한 의료 워크플로우의 효율성을 높일 수 있습니다.
• 신뢰성: 도구 기반의 정확한 인식과 기억 기반의 추론을 통해 의료 환경에서 요구되는 안전성과 정확성을 확보했습니다.
• 미래 방향: 이 프레임워크는 의료뿐만 아니라 다른 복잡한 도메인 (금융, 법률 등) 의 GUI 자동화에도 적용 가능한 범용적인 아키텍처를 제시합니다.

결론적으로, CarePilot 은 장기적인 작업 흐름을 가진 복잡한 의료 소프트웨어를 자동화하기 위한 최고 수준의 멀티모달 에이전트 솔루션을 제시하며, CareFlow 벤치마크를 통해 해당 분야의 연구 발전을 위한 표준 평가 체계를 마련했습니다.