End-to-End PET/CT Interpretation and Quantification with an LLM-Orchestrated AI Agent: A Real-World Pilot Study

본 연구는 170 명의 폐암 환자 데이터를 통해 LLM 이 조정하는 자율 에이전트가 원시 DICOM 데이터에서 정량적 구조화 보고서 생성까지의 전체 PET/CT 해석 워크플로우를 성공적으로 자동화할 수 있음을 입증했으나, 원발성 종양 탐지는 높은 정확도를 보인 반면 림프절 전이 및 원격 전이 평가에서는 체계적인 한계가 있어 전문가의 감독이 여전히 필요함을 밝혔습니다.

핵심

🏥 비유: "초고급 AI 비서"가 병원을 방문하다

상상해 보세요. 병원에 **초고급 AI 비서 (이 연구의 '에이전트')**가 새로 입사했습니다. 이 비서는 단순히 문서를 정리하는 게 아니라, 의사 (핵의학과 전문의) 가 하는 모든 일을 대신할 수 있도록 훈련받았습니다.

1. 이 AI 비서는 무엇을 할까요? (연구의 목적)

기존의 AI 들은 "이 종양을 찾아라"나 "이 장기의 크기를 재라"처럼 **단순한 일 (작업)**만 잘했습니다. 하지만 실제 진료실에서는 의사가 다음과 같은 복잡한 과정을 거칩니다.

• "어, 이 환자 데이터 중 어떤 게 PET 스캔이고 어떤 게 CT 스캔이지?" (데이터 찾기)
• "두 이미지를 딱 맞게 겹쳐야 해." (이미지 정렬)
• "환자의 체중과 주사량을 보고 수치 (SUV) 를 계산해야지." (수치 계산)
• "이게 암인지, 염증인지, 아니면 그냥 생리적인 반응인지 판단해야 해." (진단)
• "이 모든 걸 정리해서 보고서 써야지." (보고서 작성)

이 연구는 **"이 모든 복잡한 과정을 한 번에 알아서 처리하는 AI 비서"**를 만들었습니다. 마치 현장 지휘관처럼, 필요한 도구를 불러오고, 순서를 정하고, 최종 보고서를 만들어내는 것입니다.

2. 어떻게 작동할까요? (시스템 구조)

이 AI 비서는 세 가지 층위로 이루어진 **'지능형 지휘관'**입니다.

• 두뇌 (LLM - 언어 모델): "자, 이 환자 데이터가 뭐야? 어떤 도구를 써야 하지?"라고 생각하며 전체 과정을 기획합니다.
• 손과 발 (도구들): 지휘관의 명령에 따라 실제로 일을 합니다.
  • AutoPET: 종양을 찾아서 테두리를 그립니다.
  • TotalSegmentator: 간, 폐 같은 장기를 구분합니다.
  • Vision-LLM: 이미지를 보고 "이건 의심스럽네"라고 말합니다.
• 작업대 (실행 층): DICOM(의료 이미지 파일) 을 읽고, 수치를 계산하고, 이미지를 합칩니다.

예시 상황:
의사가 "이 환자 PET 스캔을 보고 이상한 게 있는지 보고서 써줘"라고 말하면, AI 비서는:

1. 환자 데이터에서 PET/CT 이미지를 찾아냅니다.
2. 자동으로 이미지를 정렬하고 수치를 계산합니다.
3. 종양이 있다면 찾아내고 크기를 재며, "이건 간에 있는 종양이야, 크기는 이렇고"라고 분석합니다.
4. 마지막으로 의사가 읽을 수 있는 형식의 진단 보고서 초안을 작성합니다.

3. 결과는 어땠나요? (성공과 한계)

이 연구팀은 실제 폐암 환자 170 명의 데이터를 가지고 이 AI 비서를 시험해 보았습니다.

• ✅ 대성공 (주요 종양 찾기):

  • 폐에 있는 **주요 암 (원발성 종양) 을 찾는 능력은 100%**였습니다.
  • 비유하자면, "집에 큰 불이 났으면 100% 찾아낸다"는 뜻입니다. 아주 확실한 큰 문제는 AI 가 완벽하게 찾아냈습니다.

• ⚠️ 아쉬운 점 (작은 문제와 오해):

  • 림프절 (N 단계): 85% 는 잘 찾았지만, **잘못된 경보 (거짓 양성)**가 꽤 많았습니다.
    • 비유: "실제 도둑 (암) 은 잘 잡는데, 고양이 소리나 바람 소리 (염증이나 생리적 반응) 를 듣고 '도둑이다!'라고 큰 소리를 칩니다."
  • 다른 장기로의 전이 (M 단계): 70% 정도만 찾았습니다.
    • 비유: "작은 도둑 (작은 전이) 이나, 이상한 곳에 숨은 도둑은 놓치는 경우가 있습니다. 반면, 장난감 (생리적 변화) 을 보고 '도둑이다!'라고 오해하기도 합니다."

4. 결론: AI 가 의사를 대체할까요?

아닙니다. 이 연구의 결론은 매우 명확합니다.

"이 AI 는 **의사를 대체하는 '완벽한 의사'가 아니라, 의사를 도와주는 '초고급 조수'**입니다."

• 의미: 반복적인 데이터 정리, 수치 계산, 초안 작성은 AI 가 대신해 줌으로써 의사는 더 중요한 판단에 집중할 수 있게 됩니다.
• 한계: AI 는 아직 '경계선'에 있는 복잡한 경우 (작은 전이나 염증과의 구별) 에서 실수를 할 수 있으므로, 최종 결정은 반드시 전문의가 확인해야 합니다.

💡 한 줄 요약

이 논문은 **"복잡한 의료 데이터를 받아서 분석하고 보고서를 쓰는 모든 과정을 AI 가 혼자서 해내는 시스템을 만들었다"**는 것을 증명했지만, **"의사의 최종 확인이 여전히 필요하다"**는 현실적인 결론을 내렸습니다. 마치 최고급 자율주행 자동차가 길은 잘 찾지만, 복잡한 상황에서는 운전자가 핸들을 잡아야 안전하듯 말입니다.

기술 요약

논문 요약: LLM 오케스트레이션 기반 AI 에이전트를 통한 종단간 (End-to-End) PET/CT 해석 및 정량화

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 최근 딥러닝 모델은 PET 분석의 개별 단계 (장기 분할, 병변 측정 등) 를 자동화하는 데 성공했으나, 실제 임상 환경에서의 종단간 (End-to-End) 자동화는 여전히 제한적입니다.
• 문제점:
  • 실제 임상 워크플로는 단순한 분할을 넘어, 원시 DICOM 데이터에서 적절한 시리즈 선택, 이미지 정합 (Registration), SUV 변환, 병변 분할, 정량화, 그리고 구조화된 보고서 생성까지 이어지는 복잡한 다단계 프로세스를 요구합니다.
  • 실제 임상 데이터는 스캐너, 획득 프로토콜, 재구성 설정, 메타데이터의 불일치 등으로 인해 매우 이질적 (Heterogeneous) 이며, 기존 모델들은 이러한 워크플로 수준의 과제를 해결하지 못합니다.
  • 대부분의 기존 AI 는 정제된 (Curated) 데이터셋에서 개발되어 실제 임상 환경의 불확실성과 변수에 대처하지 못합니다.

2. 방법론 (Methodology)

이 연구는 **대형 언어 모델 (LLM) 이 조정하는 다중 도구 에이전트 (Multi-tool Agent)**를 개발하여 FDG PET/CT 해석을 자동화하는 것을 목표로 했습니다.

• 시스템 아키텍처 (3 계층 구조):

  1. 인지 제어 계층 (Cognitive Control Layer): 텍스트 기반 LLM (Gemini-3-flash-preview) 을 사용하여 워크플로우를 오케스트레이션합니다. 사용자의 프롬프트를 기반으로 도구 선택, 중간 출력 모니터링, 오류 처리 및 보고서를 생성합니다. 'Thought-Action-Observation' 반복 추론 프레임워크를 사용합니다.
  2. 도구 추상화 계층 (Tool Abstraction Layer): 고수준 요청을 실행 가능한 함수로 변환합니다.
  3. 실행 계층 (Execution Layer): Python 기반 모듈로 DICOM 처리, 이미지 정합, SUV 계산, 심층 학습 기반 분할 및 검출을 수행합니다.

• 주요 도구 및 워크플로우:

  • 데이터 전처리: 원시 DICOM 시리즈를 파싱하여 감쇠 보정 (Attenuation-corrected) PET 및 CT 시리즈를 자동 선택하고, 정합 및 재샘플링을 수행합니다.
  • 정량화 및 분할:
    • AutoPET (nnU-Net 기반): 전신 PET 병변 분할을 수행하여 SUVmax, 대사 종양 부피 (MTV), 총 병변 당화 (TLG) 등을 계산합니다.
    • TotalSegmentator: CT 기반 장기 분할을 수행하여 배경 SUV 등을 측정합니다.
  • 시각적 해석: 생성된 시각화 자료 (최대 강도 투영도 MIP, 융합 이미지 등) 를 **비전 기반 LLM (Vision-LLM)**에 입력하여 병변의 위치, 섭취 강도, 의심 진단 (원발성, 림프절 전이, 원격 전이, 생리적) 을 요약합니다.
  • 보고서 생성: 모든 정량적 데이터와 비전 LLM 의 해석을 종합하여 구조화된 임상 보고서를 초안 작성합니다.

• 연구 설계:

  • 대상: 2018 년 폐암 진단/병기 결정 위해 FDG PET/CT를 시행한 170 명의 환자 (단일 기관, 후향적 연구).
  • 참조 표준 (Reference Standard): 전문의가 작성한 임상 PET/CT 보고서.
  • 평가 지표: 워크플로우 완료율, 원발성 종양/림프절/원격 전이 탐지 민감도 및 특이도.

3. 주요 기여 (Key Contributions)

• 워크플로우 수준의 자동화: 개별 작업 (분할 등) 의 성능 최적화가 아닌, 원시 DICOM 입력부터 구조화된 보고서 출력까지의 전체 임상 워크플로우를 자동화하는 AI 에이전트 아키텍처를 처음 제안하고 검증했습니다.
• 실제 임상 환경 대응: 이질적인 DICOM 메타데이터와 다양한 스캐너 환경에서도 작동 가능한 견고한 (Robust) 시스템을 시연했습니다.
• 오류 처리 및 대체 전략: 분할 실패 시 Vision-LLM 기반의 질적 해석으로 전환하는 등, 시스템이 실패 시에도 임상적으로 유의미한 보고서를 생성할 수 있는 폴백 (Fallback) 전략을 구현했습니다.
• 협업적 역할 정의: AI 가 전문의를 대체하는 것이 아니라, 반복적 전처리 및 정량화 작업을 지원하여 전문의의 감독 하에 협업하는 '워크플로우 어시스턴트'로서의 역할을 명확히 했습니다.

4. 연구 결과 (Results)

• 워크플로우 실행: 170 건의 검사 중 **100% (170/170)**에서 인간 개입 없이 원시 DICOM 에서 구조화된 초안 보고서 생성까지의 전체 파이프라인이 성공적으로 완료되었습니다. (단, 1 건은 메타데이터 불일치로 예외 처리됨)
• 진단 성능 (전문가 보고서 대비):
  • 원발성 종양 탐지: 민감도 100% (170/170). 매우 높은 정확도를 보였습니다.
  • 림프절 전이 (N 병기): 민감도 84.8%, 특이도 39.4%.
    • 오류 원인: 낮은 강도의 FDG 섭취를 가진 반응성/생리적 림프절을 병변으로 오인 (False Positive) 하는 경향이 있었습니다.
  • 원격 전이 (M 병기): 민감도 70.2%, 특이도 65.0%.
    • 오류 원인: 생리적 장/골반 섭취나 양성 골 변화로 인한 오진 (False Positive) 과, 작거나 해부학적으로 비정형적인 전이 (미세 골 전이, 흉막 seeding 등) 를 놓치는 경우 (False Negative) 가 있었습니다.
• 오류 패턴: 오류는 무작위가 아니라 체계적 (Systematic) 으로 발생하며, 이는 PET/CT 분할 및 해석의 본질적 한계를 반영합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: 이 연구는 LLM 이 단순한 텍스트 생성기를 넘어, 이미지 처리 도구, 정량화 모듈, 비전 모델 등을 지능적으로 조율하여 복잡한 의료 영상 워크플로우를 실행할 수 있음을 입증했습니다.
• 임상적 함의:
  • AI 에이전트는 원발성 종양 탐지에서는 전문의 수준에 근접하는 성능을 보였으나, 림프절 및 원격 전이 평가에서는 여전히 전문의의 감독이 필수적입니다.
  • 특히 반복적이고 시간 소모적인 전처리 및 정량화 작업을 자동화하여 전문의의 업무 효율성을 높이고, 대규모 이질적 데이터 코호트 분석을 가능하게 합니다.
• 향후 과제: 더 정확한 진단을 위해서는 비전 기반 LLM 의 성능 향상 (Med-Gemma 등 전문 의료 모델 통합) 이 필요하며, 다양한 기관, 추적자 (Tracer), 질병에 대한 검증과 표준화된 벤치마킹이 요구됩니다.

결론적으로, 본 연구는 LLM 오케스트레이션 기반 AI 에이전트가 실제 임상 환경에서 PET/CT 해석 워크플로우의 자동화를 가능하게 하는 유망한 솔루션임을 보여주었으며, 이는 전문의의 판단을 보완하는 강력한 도구로 자리 잡을 수 있음을 시사합니다.