EyeAgent: An Agentic AI System for Multimodal Clinical Decision Support in Ophthalmology

이 논문은 23 가지 영상 모달리티에 걸친 53 개의 검증된 도구를 동적으로 조율하는 대형 언어 모델을 기반으로 하여, 안과 진단 정확도와 보고서 품질을 획기적으로 향상시키고 전문가 수준의 해석 가능성을 제공하는 최초의 다중 모드 임상 의사결정 지원 에이전트 AI 시스템인 'EyeAgent'를 제시합니다.

핵심

눈의 AI 비서 'EyeAgent': 안과 의사의 똑똑한 파트너

이 논문은 안과 의학 분야에서 획기적인 새로운 인공지능 시스템을 소개합니다. 바로 **'EyeAgent(아이에이전트)'**입니다.

기존의 AI들은 주로 "이 사진은 당뇨망막병증입니다"라고 딱 잘라 말만 했다면, EyeAgent 는 **스스로 생각하고, 필요한 도구를 꺼내 쓰고, 의사와 함께 대화하며 진단을 내리는 '똑똑한 비서'**와 같습니다.

이 복잡한 기술을 일반인도 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. EyeAgent 는 어떤 존재인가요? (마치 '만능 공구함'을 가진 마법사)

기존의 안과 AI 프로그램들은 각각의 역할이 고정되어 있었습니다.

• A 프로그램은 '사진이 흐린지 아닌지'만 봅니다.
• B 프로그램은 '혈관이 터진 곳'만 찾습니다.
• C 프로그램은 '질병 이름'만 추측합니다.

하지만 EyeAgent는 이 모든 것을 하나로 묶은 초능력을 가진 지휘자입니다.

• 중앙 두뇌 (LLM): 환자의 질문을 듣고 "어떤 문제가 있을지" 추측합니다.
• 53 개의 전문 도구 (EyeTools): 추측한 대로 필요한 도구를 스스로 꺼냅니다.
  • "혈관을 자세히 보자!" → 혈관 분석 도구 사용
  • "이 병변의 크기를 재자!" → 측정 도구 사용
  • "이게 정말 맞는지 확인하자!" → 다른 각도에서 다시 찍어보는 도구 사용
  • "환자에게 설명할 그림을 그려보자!" → 3D 모델 생성 도구 사용

이처럼 EyeAgent 는 **단순한 계산기가 아니라, 상황에 맞춰 53 가지의 다양한 전문 도구 (분류, 측정, 3D 재구성 등) 를 능숙하게 다루는 '안과 전문 공구함'**과 같습니다.

2. 어떻게 작동하나요? (수석 의사의 '사고 과정'을 따라가는 비서)

EyeAgent 는 단순히 답을 외우는 게 아니라, 의사가 진단할 때 거치는 '사고 과정'을 그대로 모방합니다.

1. 질문 듣기: "이 환자는 시력이 왜 떨어졌을까요?"라고 의사가 묻습니다.
2. 계획 세우기: EyeAgent 는 "일단 안저 사진을 보고, OCT(단층 촬영) 도 확인하고, 혈관도 측정해봐야겠다"라고 계획을 짭니다.
3. 도구 사용: 계획대로 53 개의 도구 중 필요한 것들을 순서대로 작동시킵니다.
4. 검증하기: "어? 혈관 분석 결과와 OCT 결과가 조금 다르네? 그럼 다시 한번 FFA(혈관 조영술) 도구를 써서 확인해보자"라고 스스로 의심하고 다시 확인합니다.
5. 보고서 작성: 모든 증거를 모아서 "환자님, 당뇨망막병증이 의심됩니다. 혈관 누수가 보이고, 치료는 이렇게 해야 합니다"라고 이유와 함께 설명합니다.

이 과정은 마치 수석 의사가 젊은 의사를 가르치며 함께 진단하는 모습과 같습니다.

3. 왜 이것이 중요한가요? (기존 AI 의 한계를 넘어서다)

기존 AI 는 두 가지 큰 문제가 있었습니다.

• 할루시네이션 (환각): "없는데 있는 것처럼" 거짓말을 할 수 있습니다. (예: 병이 없는 데 있다고 말함)
• 블랙박스: "왜 그렇게 판단했는지" 이유를 설명하지 못합니다.

EyeAgent 는 책 (의학 교과서) 을 참고하고, 검증된 도구들을 사용하기 때문에 거짓말을 거의 하지 않습니다. 또한, "왜 이 병을 의심했는지" 그 과정 (어떤 도구를 썼고, 어떤 수치가 나왔는지) 을 하나하나 보여주기 때문에 의사가 신뢰할 수 있습니다.

4. 실제 효과는 어땠나요? (의사들의 '새로운 동료'가 되다)

연구진은 27 명의 안과 의사 (초급 의사부터 베테랑까지) 를 모아 실험을 했습니다.

• 초급 의사들의 대변신: EyeAgent 를 도와주지 않았을 때보다, EyeAgent 와 함께 일했을 때 초급 의사의 진단 정확도가 18% 이상이나 급상승했습니다. 마치 현미경을 들고 있는 초보자가, 모든 정보를 알려주는 고도의 현미경을 손에 넣은 것과 같은 효과였습니다.
• 베테랑 의사의 파트너: 경험 많은 의사들도 EyeAgent 와 함께 일하면 진단 시간을 줄이고, 보고서의 완성도를 높일 수 있었습니다.
• 의사 vs AI: EyeAgent 단독으로도 베테랑 의사 못지않은 정확도를 보였으며, GPT-4 같은 일반 AI 와는 비교도 안 될 정도로 정확한 진단을 내렸습니다.

5. 결론: 안과 의학의 새로운 시대

이 연구는 **"AI 가 의사를 대체하는 것이 아니라, 의사의 능력을 100% 발휘하도록 돕는 '최고의 파트너'가 될 수 있다"**는 것을 보여줍니다.

• EyeAgent는 53 개의 전문 도구를 가진 만능 공구함입니다.
• 의사는 그 공구함을 다룰 줄 아는 숙련된 장인입니다.
• 둘이 손잡으면 더 빠르고, 더 정확하며, 더 안전한 진료가 가능해집니다.

이 기술이 실제 병원에 도입된다면, 환자들은 더 정확한 진단을 받고, 의사들은 더 많은 환자를 돌볼 수 있는 눈 건강의 새로운 시대가 열릴 것입니다.

기술 요약

EyeAgent: 안과를 위한 멀티모달 임상 의사결정 지원을 위한 에이전트형 AI 시스템

1. 문제 정의 (Problem)

기존 의료 AI 시스템, 특히 안과 분야에서는 다음과 같은 한계점이 존재합니다:

• 유연성 및 적응성 부족: 다양한 영상 모드 (안저 촬영, OCT, FFA 등) 와 복잡한 임상 시나리오를 유연하게 처리하지 못함.
• 해석 가능성 (Interpretability) 부재: 대부분의 시스템이 '블랙박스' 방식으로 작동하여 임상적 근거와 추론 과정을 투명하게 제공하지 못함.
• 할루시네이션 (Hallucination): 대규모 언어 모델 (LLM) 이 의료 사실과 무관한 정보를 생성할 위험이 높음.
• 단편화된 기능: 특정 작업 (분류, 분할 등) 에만 특화된 모델들은 통합된 임상 워크플로우에 직접 적용하기 어려움.

안과는 다양한 영상 모달리티의 통합, 반복적인 가설 검증, 그리고 다학제적 접근이 필요한 분야로, 이러한 한계를 극복할 수 있는 새로운 AI 패러다임이 요구되었습니다.

2. 방법론 (Methodology)

EyeAgent는 LLM 을 중앙 추론 엔진으로 활용하고, 검증된 전문 도구를 동적으로 조율하는 에이전트형 AI 프레임워크입니다.

• 시스템 아키텍처:

  • 추론 엔진: DeepSeek-V3(대규모 언어 모델) 을 사용하여 사용자 질의 해석, 도구 계획 수립, 실행 모니터링, 결과 통합 및 응답 생성의 5 단계 워크플로우를 수행합니다.
  • EyeTools (도구 세트): 23 가지 영상 모달리티와 260 가지 안과 질환을 다루는 53 개의 검증된 AI 도구로 구성됩니다.
    • 분류 및 검출: 이미지 품질, 좌우 구분, 260 가지 질환 스크리닝, DR/AMD/녹내장 등 전문 진단.
    • 분할 및 정량화: 병변, 혈관, 해부학적 구조의 분할 및 측정 (예: 시신경 유두, 망막 두께).
    • 회귀 모델: 망막 나이, 심혈관 위험도 등 전신 건강 지표 예측.
    • 생성 모델: 텍스트 (보고서), 2D/3D 이미지 합성 (예: CFP 에서 FFA 생성), 교육용 시각화.
  • 지식 베이스 (RAG): 14 권의 권위 있는 안과 교과서를 기반으로 한 검색 증강 생성 (RAG) 을 통해 할루시네이션을 줄이고 근거 기반 답변을 제공합니다.
  • 워크플로우: 계층적 의사결정 지원, 정량적 영상 분석, 의료 교육, 의사결정 충돌 해결, 전신 건강 분석 등 5 가지 대표 임상 시나리오를 지원합니다.

• 평가 설계:

  • 모듈 수준: 862,490 개의 샘플 (정적 이미지 및 종단적 임상 사례) 을 사용하여 도구별 성능 (분류, 분할, 보고서 생성) 및 도구 조합에 따른 성능 변화 (Ablation Study) 를 평가.
  • 시스템 수준:
    1. GPT-4o 및 인간 전문가와의 비교.
    2. 200 건의 실제 임상 사례에 대한 전문가 평가 (정확도, 완전성, 안전성, 추론, 해석 가능성).
    3. 11 개 센터의 27 명 안과 의사 (시니어 9 명, 주니어 18 명) 가 참여한 인간-AI 협업 리더 연구.

3. 주요 기여 (Key Contributions)

• 최초의 안과 전용 에이전트 시스템: 단일 모델이 아닌, 53 개의 전문 도구를 통합하여 복잡한 임상 작업을 자율적으로 수행하는 최초의 멀티모달 에이전트.
• 해석 가능성과 신뢰성 강화: 각 추론 단계가 검증된 도구와 교과서 지식을 기반으로 하여 '블랙박스' 문제를 해결하고, 임상적 투명성을 확보.
• 모듈식 확장성: 새로운 알고리즘이나 가이드라인이 추가될 때 전체 모델을 재학습하지 않고도 도구를 플러그 앤 플레이 방식으로 통합 가능.
• 다양한 임상 시나리오 지원: 단순 진단을 넘어 정량적 분석, 환자 교육, 전신 질환 스크리닝까지 포괄하는 통합 솔루션 제시.

4. 주요 결과 (Results)

• Ablation Study (도구 기여도 분석):
  • 기본 도구 (5 개) 만 사용할 때 정확도: 69.71%
  • 전체 도구 (53 개) 통합 시 정확도: 80.79% (점진적 개선 확인)
  • 질환 특이적 분류 및 분할 도구가 성능 향상의 주된 요인 (전체 향상분의 82% 기여).
• 전문가 평가 (200 건 사례):
  • 도구 선택 정확도: 93.7%
  • 전문가 평점 (정확도, 완전성, 안전성, 추론, 해석 가능성): 모두 88% 이상의 '양호 (Good)' 또는 '허용 가능 (Acceptable)' 등급 획득.
• 인간-AI 협업 리더 연구:
  • 단독 성능: EyeAgent 단독 (93.33%) 은 지원 없는 의사 (75.56%) 보다 정확도가 높았으며, 시니어 의사 (84.4%) 와 유사한 수준을 보임.
  • 협업 효과: AI 를 보조 도구로 사용할 때, 주니어 의사의 진단 정확도가 18.51% (71.1% → 94.1%) 상승하고 보고서 품질 점수도 19% 향상됨. 시니어 의사도 유의미한 개선 (진단 +8.9%, 보고서 +0.12 점) 을 보임.
  • 효율성: 작업 시간 단축 (주니어: 245초 → 108초) 및 진단 자신감 향상.
  • 사용자 만족도: 참여 의사의 88.9% 가 만족도, 해석 가능성, 향후 사용 의사를 긍정적으로 평가.

5. 의의 및 결론 (Significance)

• 임상 실용성 입증: EyeAgent 는 단순한 진단 도구를 넘어, 실제 임상 워크플로우에 통합되어 의사 (특히 주니어) 의 역량을 강화하고 진단의 정확성과 일관성을 높이는 '신뢰할 수 있는 AI 파트너'로 입증되었습니다.
• 할루시네이션 해결: 검증된 도구와 지식 베이스를 기반으로 한 에이전트 방식이 의료 AI 의 가장 큰 걸림돌인 '할루시네이션'을 효과적으로 완화함을 보여줌.
• 미래 지향적 프레임워크: 모듈식 아키텍처를 통해 안과뿐만 아니라 다른 의료 분야로 확장 가능한 '차세대 AI 시스템'의 청사진을 제시합니다.
• 전신 건강 연계: 안과 영상을 통해 심혈관 및 대사 질환 위험을 예측하는 등 안과와 전신 건강을 연결하는 교량 역할을 수행할 잠재력을 가짐.

결론적으로, EyeAgent 는 안과 AI 의 새로운 패러다임을 제시하며, 해석 가능하고 확장 가능한 에이전트형 AI 가 의료 현장에 안전하게 통합될 수 있음을 입증한 획기적인 연구입니다.