🤖 AI

MDIA: A Multi-Agent Diagnostic Intelligence Pipeline on HealthBench Professional

본 논문은 비파인튜닝 LLM 상에 7 노드 전문 경로 그래프를 활용한 다중 에이전트 진단 시스템인 MDIA를 소개하며, 이는 HealthBench Professional 벤치마크에서 표준 임상 채팅봇을 크게 능가하는 성능을 보여주고, 에이전트 임상 성능의 주요 동인이 아키텍처 설계와 엔진 수준의 기능임을 입증하면서도 서로 다른 평가 등급 모델이 도입하는 변이성을 강조한다.

원저자: Roberto Cruz, David Rey-Blanco

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roberto Cruz, David Rey-Blanco

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 의학적 미스터리를 해결하려 한다고 상상해 보세요. 당신은 한 명의 매우 똑똑한 의사를 불러 사건을 살펴보고 답을 얻어낼 수도 있습니다. 또는, 서로 대화하고 사실을 확인하며 최종 보고서를 당신에게 건네기 전에 다시 한번 점검하는 전문가들로 구성된 슈퍼팀을 구축할 수도 있습니다.

이 논문은 MDIA라는 이름의 그 슈퍼팀의 제작 과정과, HealthBench Professional이라는 매우 까다로운 테스트에서 어떻게 수행되었는지를 설명합니다.

다음은 그들이 한 일을 간단한 비유로 정리한 내용입니다:

1. 핵심 아이디어: 한 명의 천재보다 팀워크가 낫다

대부분의 사람들은 의료 질문에 답하는 똑똑한 AI 를 얻는 최선의 방법은 AI 를 더 똑똑하게 만드는 것 (더 많이 학습시키는 것) 이라고 생각했습니다. 하지만 저자들은 팀을 어떻게 조직하느냐가 단순히 똑똑한 개인을 갖는 것보다 더 중요하다는 사실을 발견했습니다.

옛날 방식: 한 명의 AI 가 혼자 모든 일을 시도합니다. 이는 한 명의 일반의에게 외과 의사, 신경과 의사, 그리고 약사의 역할을 모두 동시에 수행하라고 요구하는 것과 같습니다.
MDIA 방식: 그들은 7 단계 조립 라인(그래프)을 구축했습니다.
1. 접수: 접수원이 환자의 모든 병력을 수집하고 약물 안전성을 점검합니다.
2. 라우터: 매니저가 문제를 살펴보고 "이건 위장 문제니 소화기 팀으로 보내라"거나 "이건 뇌 문제니 신경과 팀으로 보내라"고 지시합니다.
3. 전문가: 소화기, 안과, 신경과 세 명의 특정 전문가와 한 명의 일반의가 중추적인 역할을 수행합니다.
4. 종합자: 작성자가 전문가들의 노트를 환자를 위한 명확한 답변으로 변환합니다.
5. 검증자: 안전 점검관이 최종 답변이 안전하고 너무 길지 않은지 확인합니다.

2. 비결: 전체 이야기를 듣는 것

저자들은 이러한 테스트가 보통 어떻게 수행되는지에 대한 거대한 '버그'를 발견했습니다.

문제: 환자가 "배가 아파요"라고 말한 후, 다음 메시지에서 "아, 그리고 이 특정 알약을 먹었어요"라고 말한다고 상상해 보세요.
실수: 대부분의 테스트 시스템은 마지막 메시지 ("이 알약을 먹었어요") 만 읽고 첫 번째 메시지 ("배가 아파요") 는 잊어버립니다. 이는 형사가 범죄 현장에는 무관심한 채 용의자의 알리바이만 살펴보는 것과 같습니다.
해결책: MDIA 는 대화 전체를 기억하도록 설계되었습니다. 그들이 테스트를 전체 이야기를 포함하도록 수정했을 때, 점수가 엄청난 폭 (약 6 점) 으로 뛰어올랐습니다. 이는 AI 가 더 똑똑해져서가 아니라, 테스트가 마침내 AI 가 이미 가지고 있던 정보를 사용할 수 있게 했기 때문입니다.

3. 결과: '골드 스탠더드'를 능가하다

저자들은 그들의 시스템을 현재의 '챔피언'(OpenAI 의 임상가용 ChatGPT) 과 인간 의사 팀과 비교하여 테스트했습니다.

점수: MDIA 는 0.6272점을 받았습니다.
비교:
- 인간 의사 (기준선): 약 0.44
- OpenAI 의 최상위 시스템: 0.59
- MDIA: 0.63
주의점: 이 논문은 이 승리가 '방향성'이 있다고 인정합니다. 즉, 승리이지만 그 차이가 작아 운이나 채점 방식에 기인할 수도 있다는 뜻입니다. 이는 1 초의 극히 일부 차이로 경기를 이긴 것과 같습니다; 이겼지만 매우 근접했습니다.

4. '심판' 문제

여기 반전이 있습니다: 이 논문은 두 가지 다른 '심판'(답안을 채점하는 AI 모델) 을 사용하여 시스템을 테스트했습니다.

심판 A (GPT-5.4): MDIA 에게 0.6272점을 주었습니다.
심판 B (Gemini 2.5 Pro): MDIA 에게 0.6585점을 주었습니다.
교훈: 점수는 누가 채점하느냐에 따라 달라집니다. 한 심판은 길고 상세한 답변을 좋아했고, 다른 심판은 더 짧은 답변을 선호했습니다. 저자들은 AI 가 진정으로 좋은지 알기 위해서는 단순히 한 명이 아닌 여러 명의 심판이 필요하다고 주장합니다.

5. 엔지니어링 '배관'이 중요하다

많은 개선 사항은 새로운 수학으로 AI 를 '더 똑똑하게' 만드는 데서 나온 것이 아니라 배관을 고치는 데서 나왔습니다:

안전 게이트: AI 가 위험한 약물 조합 (예: 해열제와 특정 위장약 혼합) 을 제안하지 못하도록 규칙을 추가했습니다.
길이 제어: 테스트는 너무 긴 답변에 대해 패널티를 부과합니다. 저자들은 AI 에게 중요한 의학적 사실을 생략하지 않으면서 불필요한 말은 줄이도록 가르쳤습니다. 이로 인해 '말이 많은' 탓에 손실되던 점수가 제거되었습니다.
신뢰성: 시스템이 때때로 충돌하거나 빈 답변을 반환하던 버그를 수정했습니다. 이러한 '결함'을 고침으로써 약 3~4 점의 성능을 회복했습니다.

요약

이 논문은 아키텍처(팀을 어떻게 구축하느냐)와 엔지니어링(도구와 규칙을 고치느냐) 이 뇌 (AI 모델) 자체만큼이나 중요하다고 주장합니다.

그들은 대화의 전체적인 맥락을 부여받고 공정하게 채점받을 때, 특정 엄격한 테스트에서 인간 의사와 현재 시장 리더를 능가할 수 있는 전문 의료 팀을 구축했습니다. 그러나 그들은 결과가 테스트가 어떻게 수행되느냐와 누가 채점하느냐에 민감하므로, 이를 최종적이고 완벽한 해결책으로 여기지 말아야 한다고 경고합니다. 이는 의료 AI 의 미래가 단순히 한 개의 거대한 뇌가 아니라 전문가 팀에 있음을 보여주는 강력한 프로토타입입니다.

기술 요약: MDIA - HealthBench Professional 기반 다중 에이전트 진단 지능 파이프라인

문제 정의

본 논문은 OpenAI 의 HealthBench Professional 벤치마크를 활용하여 임상 환경에서 대규모 언어 모델 (LLM) 을 평가하는 과제를 다룹니다. 이 벤치마크는 실제 임상가 대화에서 파생된 525 개의 평가 기준 (rubric) 점수화 사례로 구성되었으며, 적대적이고 다회차 (multi-turn) 대화 구조를 갖도록 설계되었습니다.

저자들은 현재 문헌에서 두 가지 주요 격차를 식별했습니다:

아키텍처 vs 프롬프트 엔지니어링: 많은 에이전트형 LLM 벤치마크에서의 성능 향상이 프롬프트 엔지니어링에 기인한다고 보고되지만, 저자들은 아키텍처 및 엔진 수준의 설계를 통해 상당한 개선을 달성할 수 있다고 가설을 세웠습니다.
평가 방법론: 기존 연구는 벤치마크의 다회차 대화 구조가 표준 평가 하네스 (evaluation harness) 설계와 어떻게 상호작용하는지 충분히 검토하지 못했습니다. 구체적으로, "simple-evals" 기본 전략은 종종 대화를 마지막 사용자 메시지로 평탄화하여, 후속 회차 (벤치마크 사례의 22% 를 차지함) 의 맥락을 조용히 폐기합니다.

방법론: MDIA 아키텍처

저자들은 TietAI Hydra 플랫폼에서 실행되는 조정된 7 노드 방향성 비순환 그래프 (DAG) 인 MDIA(다중 에이전트 진단 지능 에이전트) 를 제시합니다. 이 시스템은 비-파인튜닝 일반 목적 LLM(Gemini 3.1 Pro, 추론용) 에서 실행되며 14 가지 의료 도구 세트를 활용합니다.

그래프 구조는 다음과 같은 노드로 구성됩니다:

Intake Orchestrator(수신 오케스트레이터): PubMed, DailyMed, UMLS, ICD-10, 사이트 필터링 웹 검색 등의 도구를 사용하여 구조화된 임상 dossiers 를 수집하는 도구 호출 연구 에이전트입니다. 대화 이력을 보존하는 다회차 인식 기능을 갖춥니다.
Router(전문의 분류기): dossiers 를 분석하여 작업을 세 가지 전문 분야 추론 에이전트 (소화기내과, 안과, 신경과) 또는 일반의 경로 중 하나로 분기합니다.
Specialty Reasoners(전문 추론 에이전트): 글래스고 - 블래치포드 (Glasgow-Blatchford), NIHSS, 도쿄 가이드라인 (Tokyo Guidelines) 과 같은 선별된 앵커 지식을 갖춘 세 가지 전문 에이전트 (소화기, 안과, 신경) 입니다.
Generalist Reasoner(일반 추론 에이전트): 세 명의 전문가가 다루지 않는 전문 분야의 '롱 테일'을 처리합니다.
Output Synthesizer(출력 종합기): 추론 에이전트의 개요를 길이 제약이 있는 사용자용 응답으로 변환합니다 (목표 2000~3000 자, 하드 캡 4000 자).
Verifier(검증기): 최종 안전성 및 형식 검사를 수행합니다.
Drug-State Safety Gate(약물 - 상태 안전 게이트): 위험한 약물 - 환자 상태 조합 (예: 발열 시 로페라미드) 에 대해 거부하거나 경고하는 반면, 교육적 맥락은 제외하여 과도한 거부를 방지하는 콘텐츠 생성 전 필수 검사입니다.

주요 엔지니어링 개입:

다회차 처리: 평가 하네스를 마지막 사용자 메시지 (last_user) 가 아닌 전체 대화 이력 (multiturn) 을 전달하도록 수정했습니다.
엔진 신뢰성: JSON 코드 펜스 제거, 빈 출력 재시도, 모델별 위치 재정의 등을 포함하여 안정적인 실행을 보장하는 수정 사항이 포함되었습니다.
검색 위생: PubMed, NICE, UpToDate 와 같은 고권위 의료 출처에 대한 사이트 필터링 쿼리를 구현하여 노이즈를 줄였습니다.
길이 안내: 벤치마크의 길이 패널티를 해결하면서 임상 앵커를 유지하지 않고 verbosity 를 줄이기 위한 명시적 제약이 적용되었습니다.

주요 결과

본 논문은 OpenAI 의 GPT-5.4-2026-03-05 와 Google 의 Gemini 2.5 Pro 라는 두 가지 다른 채점자를 사용하여 전체 HealthBench Professional 데이터셋 ( $n=525$ ) 에 대한 결과를 보고합니다.

GPT-5.4 채점자 하의 성능:

MDIA v1.0.53: 0.6272 점 달성.
비교:
- OpenAI 의 "ChatGPT for Clinicians"(0.590) 보다 +3.72 pp 높음. 저자들은 이 마진 부트스트랩 표준 편차 ( $\sigma \approx 0.023$ ) 내에 있으며 결정적이라기보다는 방향성 있는 것으로 간주되어야 한다고 지적합니다.
- GPT-5.4 단일 에이전트 기준 (0.481) 보다 +14.62 pp 높음.
- 의사 작성 응답 (0.437) 보다 +19.02 pp 높음.

Gemini 2.5 Pro 채점자 하의 성능:

MDIA v1.0.53: 0.6585 점 달성 (v1.0.50 은 0.6771).
관찰: 채점자 선택은 상당한 변이성을 초래합니다. 예를 들어, 길이 안내 개입 (v1.0.53) 은 GPT-5.4 점수를 향상시켰지만 Gemini 점수는 약간 하락시켜, 서로 다른 채점자가 간결성과 상세함을 다르게 평가함을 시사합니다.

특정 개입의 영향:

다회차 맥락: last_user 에서 multiturn 평탄화로 전환하면 Pro 채점 기준 +5.0 pp, GPT-5.4 채점 기준 +6.3 pp 점수가 증가했습니다. 이 상승분은 전적으로 후속 회차가 있는 22% 의 사례에서 비롯되었습니다.
엔진 신뢰성: 실행 엔진 수정으로 빈 응답률을 3.8% 에서 0.2% 로 줄여, 인프라 불안정으로 인해 이전에 손실되었던 약 3~4 pp 를 회복했습니다.
전문 분야 라우팅: GI, Ophtho, Neuro 와 같은 특정 추론 에이전트로 분기하는 것은 일반의 전용 접근 방식보다 +3.1 pp 의 상승을 제공했습니다.

중요성과 주장

본 논문은 네 가지 주요 기여를 제시합니다:

아키텍처 우월성: 일반 목적 비-파인튜닝 LLM 의 다중 에이전트 파이프라인이 동일한 채점자 하에서 독점적 도메인 특화 모델 (ChatGPT for Clinicians) 을 능가할 수 있음을 입증합니다. 저자들은 이를 모델 파인튜닝이 아닌 시스템 아키텍처 (전문 분야 라우팅, 안전 게이트, 다회차 맥락) 에 귀속시킵니다.
평가 결함 식별: 본 논문은 평가 하네스의 표준 "마지막 사용자 메시지" 평탄화 전략이 맥락 인식 에이전트의 성능을 약 6 퍼센트 포인트 과소평가한다고 강조합니다. 향후 모든 HealthBench Professional 보고는 평탄화 전략을 공개해야 한다고 주장합니다.
엔지니어링 견고성: 실행 엔진 수준의 신뢰성 (빈 출력 처리, JSON 파싱, 위치 재정의) 은 종종 간과되지만 3~4 pp 의 성능 변이를 설명할 수 있는 중요한 요소임을 문서화합니다.
채점자 변이성: LLM-as-a-judge 평가는 채점자 선택에 민감함을 재확인합니다. 저자들은 공정성을 보장하고 편향을 줄이기 위해 견고한 평가가 여러 독립 채점자 모델을 통한 평가가 필요하다고 주장합니다.

한계 및 주의사항:

저자들은 ChatGPT for Clinicians 대비 3.72 pp 마진이 통계적 노이즈 내에 있으며, OpenAI 가 자신의 시스템에 대한 신뢰 구간을 공개하지 않았다고 명시합니다.
OpenAI 의 자체 평가 하네스 (특히 다회차 맥락 사용 여부) 에 대한 문서화가 부족하여 비교가 복잡해집니다.
결과는 벤치마크 발행자 (OpenAI) 가 또한 모델 벤더임을 인정하면서, 확정적인 임상 검증을 위한 것이 아니라 시스템 능력에 대한 기술적 지표로 제시됩니다.

본 논문은 에이전트형 임상 벤치마크 성능은 기초 모델과 오케스트레이션 아키텍처 모두에 의해 형성되며, 향후 벤치마크는 평가 하네스의 투명성과 다중 채점자 검증을 우선시해야 한다고 결론지었습니다.