기술 요약: MARC v1 – 임상 AI 추론 및 조율을 위한 오픈 소스 멀티 에이전트 프레임워크

문제 정의

보고서 생성, 임상 질의응답, 영상 해석과 같은 과업을 위해 대규모 언어 모델(LLM)이 의료 분야에 빠르게 도입되고 있음에도 불구하고, 현재 배포된 시스템들은 대부분 **단일 프롬프팅 전략(monolithic single-prompting strategies)**에 의존하고 있다. 이러한 시스템에서는 단일 LLM 인스턴스가 정보 추출, 추론, 검증 및 행동 생성을 동시에 수행하도록 과업이 부여된다. 저자들은 이러한 통합 방식이 모델의 잠재력을 충분히 활용하지 못하며, 해석 가능성을 제한하고, 오류의 근원을 불분명하게 만든다고 주장한다. 임상 시스템이 실패할 경우, 그 오류가 정보 추출의 누락에서 비롯된 것인지, 결함이 있는 추론 때문인지, 지시 이행의 미흡함 때문인지, 혹은 포맷팅 문제 때문인지 파악하기 어렵다. 이는 단일 단계의 생성 과정 내에서 이러한 실패 모드들이 하나의 불투명한 응답 속에 숨겨져 있기 때문이다. 더욱이, 임상적 의사결정은 종종 순차적인 추론, 이질적인 정보원의 통합, 그리고 여러 차례의 검증 과정을 필요로 하는데, 단일 단계 생성 방식은 이를 효과적으로 재현하는 데 한계가 있다.

방법론

본 논문은 Python의 LangChain 라이브러리를 사용하여 구현된, 도메인에 구애받지 않는 오픈 소스 프레임워크인 **MARC(Multi-Agent Reasoning and Coordination)**를 제시한다.

핵심 아키텍처

• 순차적 모듈형 파이프라인: MARC는 전문화된 에이전트들이 명확한 핸드오프(handoff)와 함께 정해진 순서에 따라 과업을 수행하는 "레벨 2 자율성" 워크플로우를 채택한다. 정보는 명시적인 컨텍스트 전달를 통해 파이프라인을 통해 흐르며, 이를 통해 후속 에이전트가 원본 입력값과 이전 에이전트의 구조화된 출력값을 모두 받을 수 있도록 보장한다.
• 역할 특화 에이전트: 프레임워크는 아키텍처적 차별화가 아닌 역할 기반 프롬프팅을 통한 이질적 에이전트 특성화를 활용한다. 기본 세 가지 에이전트 구성은 다음과 같다:
  1. 추출기(Extractor): 가공되지 않은 임상 입력을 받아 질문에 답하려 하지 않고, 과업 관련 증거(엔티티, 소견, 제약 조건)를 2~5개의 간결한 불렛 포인트로 추출한다.
  2. 추론기(Reasoner): 원본 입력과 추출기의 증거를 받는다. 구조화된 다단계 추론을 수행하고, 가설을 평가하며, 모호성을 처리한 뒤, 최종 결정을 인코딩하는 표준화된 "판결 라인(verdict line)"으로 종료한다.
  3. 답변 에이전트(Answer Agent): 추론기의 출력을 받아 표준화된 판결 라인을 찾고, 해당 값만을 깨끗하고 파싱 가능한 최종 답변으로 반환한다.
• 결정론적 실행: 모든 에이전트는 완전한 결정론적이고 재현 가능한 출력을 보장하기 위해 온도(temperature)를 0으로 설정하여 제로샷(zero-shot)으로 작동한다. 중간 출력물은 각 단계별로 기록되어 사후 실패 원인 규명을 가능하게 한다.

주요 모듈

• YAML 기반 구성: 고정된 파이프라인 방식과 달리, MARC는 선언적인 YAML 구성 파일을 통해 에이전트 시퀀스, 모델 할당 및 지식 증강을 정의한다. 이를 통해 사용자는(비개발자 포함) 코드를 변경하지 않고도 워크플로우를 수정하거나, 파운데이션 모델을 교체하거나, 도메인 전문 지식을 주입할 수 있다.
• 분해(Decomposer) 모듈: 수동 프롬프트 엔지니어링을 제거하기 위해, MARC는 Decomposer 모듈을 도입했다. 평이한 언어로 된 과업 설명을 입력받으면, Decomposer(MedGemma 4B 기반)가 과업을 해석하고, 이를 하위 과업으로 분해하며, 새로운 에이전트 파이프라인을 위한 역할별 프롬프트 템플릿을 자동으로 생성한다. 이 프롬프트들은 변수 바인딩, 판결 포맷팅 등의 구조적 제약 조건을 기준으로 검증된 후 파이프라인에 로드된다.

배포

MARC는 기관의 데이터 프라이버시 및 인프라 제약 조건을 해결하기 위해 두 가지 배포 모드를 지원한다:

1. API 기반: Google AI Studio를 통해 Google의 Gemini 모델 제품군을 사용한다.
2. 로컬 CPU 호환: 추론을 위해 Ollama를 사용하여 외부 API 의존성이 없는 환경에서도 배포가 가능하다(MedGemma 4B로 테스트됨).

주요 기여

1. 구성 가능한 멀티 에이전트 오케스트레이션: MARC는 오케스트레이션을 고정된 구현이 아닌 구성 가능한 레이어로 취급하는 프레임워크를 제공하여, 임상 연구자들이 고급 프로그래밍 기술 없이도 추론 파이프라인을 구축하고 수정할 수 있게 한다.
2. 자동 파이프라인 생성: Decomposer 모듈의 도입을 통해 평이한 언어 설명으로부터 멀티 에이전트 파이프라인을 자동 생성할 수 있으며, 이를 통해 기본 방사선 설정 외의 다양한 임상 과업으로 프레임워크를 일반화한다.
3. 단계별 실패 원인 규명: 인지 단계를 별도의 에이전트로 분리하고 중간 출력을 기록함으로써, MARC는 오류가 어디에서 발생하는지(예: 추출 vs 추론) 정확하게 식별할 수 있게 하여 투명성을 높인다.
4. 모델 및 배포 불가지론(Agnosticism): 프레임워크는 에이전트 수준에서 모델을 교체하는 것을 지원하며, API 및 로컬 CPU 배포 옵션을 모두 제공하여 비용-성능 최적화와 데이터 프라이버시 규정 준수를 용이하게 한다.

결과 및 유즈케이스

본 논문은 다양한 데이터셋에 대해 단일 프롬프트 베이스라인과 MARC를 비교하는 종합적인 경험적 벤치마크를 제시하지 않는다. 대신, 세 가지 대표적인 유즈케이스를 통해 프레임워크의 유연성과 기능성을 입증한다:

• 생물 의학 질의응답: PubMedQA 및 MedQA USMLE와 같은 과업에 적용된 세 가지 에이전트 파이프라인(추출기 → 추론기 → 답변)을 통해 표준 벤치마크에 직접 대응함을 보여준다.
• 방사선 보고서 생성: 추출, 병리 분류, 구조화된 소견 생성, 추적 관찰 권고, 평가를 포함하며, 조건부 라우팅(정상 보고서의 경우 분류 단계를 건너뜀)이 포함된 확장된 파이프라인을 보여준다.
• 과업 적응형 파이프라인 구축: 흉부 CT 병리 분류와 같이 기본 구성 이외의 과업에 대해, 평이한 언어 설명으로부터 전체 에이전트 파이프라인을 생성하는 Decomposer의 능력을 입증한다.

의의 및 주장

저자들은 MARC를 안전하고 확장 가능한 임상 AI 배포를 향한 실질적인 단계로 규정한다. 본 논문은 단일 프롬프팅에서 벗어나 투명하고 구성 가능하며 검사 가능한 단계로 전환함으로써, MARC가 현재의 '블랙박스'형 임상 LLM 문제를 해결한다고 주장한다.

이 연구의 의의는 접근성과 적응성에 있다:

• 접근성: 임상 도메인 전문가가 Python 프로그래밍 기술 없이도 AI 워크플로우를 구축하고 검증할 수 있도록 진입 장벽을 낮춘다.
• 기관 통제권: 로컬 CPU 추론을 지원함으로써, 보호된 건강 정보(PHI)를 외부 API로 전송해야 하는 핵심적인 의료계의 우려 사항을 해결한다.
• 미래 대비: 모델 불가지론적 설계는 임상 팀이 코드를 다시 작성하지 않고도 새로운 파운데이션 모델에 적응하고 지연 시간, 비용 또는 프라이버시에 최적화할 수 있도록 한다.

저자들은 현재의 기본 구현이 순차적 실행을 강조하며 병렬 에이전트나 동적 라우팅을 아직 지원하지 않을 수 있다는 한계를 인정한다. 또한 향-연구로서 다양한 임상 과업에 대한 종합적인 경험적 평가를 수행하여, 언제 멀티 에이전트 오케스트레이션이 단일 프롬프트 베이스라인에 비해 성능, 신뢰성 및 견고성 측면에서 실질적인 개선을 제공하는지 결정해야 한다고 밝히고 있다.