AENEAS Project: First real-time intraoperative application of machine vision-based anatomical guidance in neurosurgery

이 논문은 YOLOv8, TensorRT 및 NVIDIA Holoscan SDK 를 활용하여 엔도스코픽 경비강 수술 중 실시간으로 해부학적 구조를 자동 식별하는 머신 비전 시스템인 'AENEAS' 프로젝트를 최초로 임상 적용하여, 47.81ms 의 낮은 지연 시간과 0.56 의 평균 정밀도를 달성함으로써 신경외과 수술 중 실시간 AI 기반 안내의 실현 가능성을 입증했습니다.

핵심

AENEAS 프로젝트: 뇌수술을 위한 '실시간 AI 조력자'의 첫 등극

이 논문은 마치 뇌수술실 안에 '초능력을 가진 디지털 안내자'를 처음 태워 넣은 역사적인 순간을 기록하고 있습니다.

1. 왜 이 연구가 중요할까요? (배경)

기존에 인공지능 (AI) 은 수술 영상을 분석하는 데 꽤 뛰어났지만, 마치 영화를 찍은 뒤에 편집하는 것처럼 수술이 끝난 뒤의 영상만 분석할 수 있었습니다. 하지만 이번 연구는 수술이 진행되는 '생생한 현장'에서 AI 가 실시간으로 눈과 뇌를 대신해 주는 것을 처음으로 성공시켰습니다.

2. 어떻게 작동할까요? (방법)

연구팀은 다음과 같은 과정을 거쳤습니다:

• 스마트한 눈 (YOLOv8): AI 가 뇌 안의 복잡한 구조를 알아볼 수 있도록 훈련시켰습니다.
• 초고속 엔진 (TensorRT & Holoscan): 이 AI 를 단순히 컴퓨터에서 돌리는 게 아니라, F1 레이싱카의 엔진처럼 매우 가볍고 빠르게 최적화했습니다.
• 현장 투입: 이 시스템을 수술실로 가져가, 내시경 카메라가 비추는 영상을 실시간으로 분석하게 했습니다.

3. 결과는 어땠나요? (성과)

• 정확도: AI 가 수술 중 중요한 해부학적 구조물 (비강을 통과하는 통로 등) 을 찾아내는 정확도는 **약 56%**였습니다. 이는 아직 완벽하지는 않지만, 어둠 속에서 길을 찾는 등대로서 충분히 신뢰할 만한 수준입니다.
• 속도: 카메라가 영상을 찍고 AI 가 분석해서 화면에 표시하기까지 걸린 시간은 **약 0.05 초 (47ms)**였습니다. 이는 사람이 눈을 깜빡이는 시간보다 훨씬 빠르며, 수술 중 지체 없이 즉시 반응할 수 있는 속도입니다.

4. 이 기술이 가져올 변화 (결론)

이 연구는 **"수술실에도 이제 AI 조수 시대가 열렸다"**는 것을 증명합니다.

• 나침반 역할: 복잡한 뇌 수술 중에도 AI 가 "여기가 중요해요", "이건 혈관이에요"라고 실시간으로 알려주어 의사의 **방향 감각 (Orientation)**을 도와줍니다.
• 뇌의 여유: 의사가 모든 구조를 기억하고 찾아내는 데 쓰는 **정신적 에너지 (인지 부하)**를 줄여줍니다.
• 교육의 혁신: 수술을 배우는 젊은 의사들에게 AI 가 실시간 코치가 되어주는 훌륭한 교육 도구가 될 것입니다.

한 줄 요약:
이 논문은 수술 중 AI 가 실시간으로 "눈"과 "나침반" 역할을 하며, 의사가 더 안전하고 정확하게 수술할 수 있게 돕는 첫걸음을 내디뎠음을 알리는 소식입니다.

기술 요약

AENEAS 프로젝트: 신경외과 수술 중 실시간 머신 비전 기반 해부학적 안내의 첫 적용에 대한 기술 요약

이 논문은 신경외과, 특히 경내시경 경비강 수술 (endoscopic endonasal surgery) 중 실시간으로 해부학적 구조를 자동으로 식별하는 머신 비전 시스템의 첫 번째 임상 배포를 보고합니다. 아래는 문제 정의, 방법론, 주요 기여, 결과 및 의의에 대한 상세 기술 요약입니다.

1. 문제 정의 (Problem)

기존의 인공지능 기반 해부학적 인식 시스템은 오프라인 (수술 후 데이터 분석) 환경에서 유망한 성능을 보여주어 왔습니다. 그러나 실제 수술 중 (live operations) 에 실시간으로 작동하여 수술가를 안내하는 시스템은 아직 구현된 바가 없습니다. 수술 중에는 즉각적인 피드백이 필수적이므로, 오프라인 분석을 넘어선 실시간 처리 기술의 부재가 주요한 과제로 대두되었습니다.

2. 방법론 (Methodology)

연구팀은 실시간 해부학 감지 모델을 개발하고 임상 환경에 배포하기 위해 다음과 같은 기술 스택을 구축했습니다:

• 모델 아키텍처: YOLOv8 (Ultralytics) 아키텍처를 사용하여 해부학적 구조 감지 모델을 학습시켰습니다.
• 학습 환경: PyTorch 환경에서 모델 학습을 완료했습니다.
• 최적화 및 변환: 학습된 모델을 ONNX 포맷으로 내보낸 후, NVIDIA TensorRT 엔진을 사용하여 추론 속도와 효율성을 최적화했습니다.
• 배포 플랫폼:
  • 하드웨어: NVIDIA Clara AGX 개발 키트 사용.
  • 소프트웨어: NVIDIA Holoscan SDK 를 활용하여 실시간 데이터 처리 파이프라인을 구축했습니다.
• 평가 지표:
  • 정확도: 교차 합집합 (IoU) 임계값 0.5 기준 평균 정밀도 (AP50) 를 사용하여 모델 성능을 정량화했습니다.
  • 지연 시간: 프레임 획득부터 주석 처리된 출력 화면 표시까지의 **종단 간 지연 (End-to-end latency)**을 측정하여 실시간성을 검증했습니다.
• 참조 데이터: 실제 수술 중 촬영된 비디오를 수동으로 라벨링한 데이터를 기준 (Ground Truth) 으로 비교 분석했습니다.

3. 주요 기여 (Key Contributions)

• 최초의 실시간 임상 적용: 신경외과 수술 중 실시간 머신 비전 시스템이 임상 환경에 배포된 첫 사례를 제시했습니다.
• 엔드 - 투 - 엔드 (End-to-End) 실시간 파이프라인 구축: PyTorch 학습부터 TensorRT 최적화, Holoscan 기반 실시간 배포에 이르는 전체 기술 스택을 성공적으로 통합했습니다.
• 수술 중 자동 안내 시스템: 수술 중 지속적으로 해부학적 구조를 식별하고 안내할 수 있는 자동화 도구의 가능성을 입증했습니다.

4. 결과 (Results)

• 정확도: 평균 AP50 값은 0.56을 기록했습니다. 이는 경비강 통로 (transsphenoidal corridor) 내 가장 중요한 해부학적 랜드마크들을 신뢰할 수 있게 감지했음을 의미합니다.
• 실시간 성능 (지연 시간): 모델의 평균 종단 간 지연 시간은 47.81ms(중앙값 46.57ms)로 측정되었습니다. 이는 수술 중 실시간 피드백에 필요한 매우 낮은 지연 시간으로, 수술 흐름을 방해하지 않는 수준입니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 임상 등급 (clinical-grade) 의 실시간 머신 비전 지원이 신경외과 수술에서 실현 가능함을 처음으로 증명했습니다.

• 수술 지원: 수술 중 방향 감각을 향상시키고, 수술가의 인지 부하 (cognitive load) 를 줄여줍니다.
• 교육적 가치: 수술 훈련을 위한 강력한 도구로 활용될 수 있습니다.
• 미래 전망: 이 결과는 실시간 AI 지원이 일상적인 신경외과 수술 워크플로우에 통합되는 중요한 첫걸음으로, 향후 더 정교한 수술 보조 시스템 개발의 기초를 마련했습니다.