A Comparative Study in Surgical AI: Datasets, Foundation Models, and Barriers to Med-AGI

2026 년 기준 최신 AI 모델을 활용한 신경외과 수술 도구 탐지 연구에서, 모델 규모와 학습 데이터의 단순 확대만으로는 성능 향상에 한계가 있음을 규명하고 의료용 범용 인공지능 (Med-AGI) 의 실현을 가로막는 근본적인 장벽과 해결 방안을 논의합니다.

핵심

1. 비유: "만능 천재 학생 vs 전문 도배 장인"

이 연구는 두 가지 종류의 AI 를 수술실 상황에 대입해 비교했습니다.

• 거대한 Vision-Language Model (VLM, 예: Qwen, Gemma 등):

  • 비유: "만능 천재 학생"입니다. 이 학생은 수만 권의 책을 읽고, 그림도 보고, 논리도 잘 풀어서 일반 지식 퀴즈 (MMBench 같은 벤치마크) 에서는 90 점 이상을 맞습니다. 하지만 수술실이라는 특수한 상황에 들어오면, "이게 뭐야?"라고 물어보면 엉뚱한 대답을 하거나, 아예 못 찾습니다."
  • 현실: 이 논문은 2023 년부터 2026 년까지 나온 19 개의 최신 거대 AI 모델들을 테스트했습니다. 결과는 충격적이었습니다. 수술 기구 (드릴, 흡입기 등) 가 있는지 없는지조차 13% 정도밖에 맞추지 못했습니다. 이는 아무것도 모르고 "가장 많이 나오는 도구 (흡입기) 가 있다"고 찍어맞추는 것 (무작위 추측) 과도 비슷했습니다.

• 작은 전문 모델 (YOLOv12):

  • 비유: "도배 장인"입니다. 이 장인은 천재적인 지식은 없지만, 오직 '벽지 붙이는 법'만 10 년 동안 연습했습니다.
  • 현실: 파라미터 (머릿수) 가 거대 모델의 1,000 분의 1에 불과한 아주 작은 모델인데, 수술 기구 찾기에서는 54% 이상의 정확도를 보여 거대 모델을 압도했습니다.

👉 교훈: 수술실처럼 매우 구체적이고 전문적인 일에서는, "모든 것을 아는 거인"보다 "한 가지 일만 잘하는 전문가"가 훨씬 낫습니다.

---

2. 비유: "공부만 많이 한 학생 vs 실제 현장 경험"

연구팀은 "그럼 거대 AI 를 수술 데이터로 더 많이 학습시키면 (Fine-tuning) 해결되지 않을까?"라고 생각했습니다.

• 시나리오: 거대 AI 학생에게 수술 비디오를 수천 시간 보여주고 "이건 드릴, 이건 흡입기야"라고 가르쳤습니다.
• 결과:
  • 학습 데이터 (시험지) 에서는: 98% 이상을 맞췄습니다. "아, 이거 외우면 되네!"라고 외운 것입니다.
  • 새로운 환자 (실전) 에서는: 40% 미만으로 떨어졌습니다.
• 왜?
  • 비유: 학생이 "A 병원의 수술실"에서만 연습했는데, "B 병원의 수술실"로 가면 도구의 배치나 빛의 반사가 달라서 당황하는 것과 같습니다.
  • AI 는 데이터의 분포가 조금만 달라져도 (Distribution Shift) 완전히 무너집니다. 컴퓨터 성능을 더 올리고 모델을 더 키운다고 해서 이 문제가 해결되지 않았습니다. **"머리만 키우는 것 (Scaling) 은 한계가 있다"**는 것이 증명된 셈입니다.

---

3. 비유: "왜 AI 는 수술을 못 할까? (데이터의 문제)"

그렇다면 왜 AI 는 수술 기구를 못 찾을까요? 논문은 그 이유를 **"데이터 부족"**과 **"현장의 숨겨진 지식"**에서 찾습니다.

• 데이터의 부재:

  • 인터넷에는 고양이 사진이 수억 장 있지만, 수술실의 고해상도 비디오는 매우 드뭅니다. 게다가 수술 기구 하나하나를 정확하게 표시하는 (레이블링) 작업은 의사나 전문가의 도움이 필수인데, 이 과정이 너무 비싸고 어렵습니다.
  • 비유: 거대한 도서관 (데이터) 이 있는데, 정작 우리가 찾고 싶은 '수술실 책'은 책장에 꽂혀 있지 않거나, 책장이 비어있는 것과 같습니다.

• 묵시적 지식 (Polanyi's Paradox):

  • 논문은 "의사들은 책으로 배운 것보다 손으로 익힌 경험이 더 중요하다"고 말합니다.
  • 비유: 요리책에 "소금 1 티스푼"이라고 적혀 있어도, 실제 요리는 "눈대중으로 조금" 넣어야 맛있는 경우가 많습니다. AI 는 책 (데이터) 에는 없지만, 실제 수술실의 분위기, 빛, 손의 떨림 같은 살아있는 맥락을 이해하지 못합니다.

---

📝 결론: 앞으로의 길은?

이 논문은 "AI 가 수술을 대체한다"는 낙관론에 찬물을 끼얹지만, 동시에 새로운 방향을 제시합니다.

1. 거대 모델 하나만 믿지 마세요: "무조건 크고 강력한 AI"를 만드는 것보다, 작지만 전문적인 AI를 여러 개 만들어 조합하는 것이 더 효율적입니다.
2. 데이터가 왕이다: AI 의 성능을 높이는 핵심은 컴퓨터 파워가 아니라, 수술실 데이터를 모으고 정리하는 것입니다. 병원들이 서로 협력하여 데이터를 공유해야 합니다.
3. 협업 도구로 접근: AI 가 의사를 완전히 대체하는 '초지능 (AGI)'은 아직 멀었습니다. 대신 AI 는 의사의 도구가 되어, "이제 드릴이 필요할 때"라고 알려주는 보조 역할을 하는 것이 현실적입니다.

한 줄 요약:

"수술실이라는 특수한 현장에서는, 모든 것을 아는 거인 AI보다 한 가지 일만 잘하는 작은 전문가 AI가 훨씬 잘합니다. 그리고 AI 를 잘 만들려면 컴퓨터 성능이 아니라 수술실 데이터를 더 많이 모아야 합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

최근 인공지능 (AI) 모델은 다양한 생물의학 벤치마크에서 인간 전문가의 성능을 능가하거나 동등한 수준에 도달했습니다. 그러나 수술 영상 분석, 특히 수술 중 도구 (Instrument) 감지 및 인식과 같은 구체적인 작업에서는 여전히 큰 격차가 존재합니다.

• 핵심 문제: 수술은 다중 모달 데이터 통합, 인간과의 상호작용, 물리적 효과 등을 통합해야 하므로 범용 AI(General-purpose AI) 가 협력 도구로 유망할 수 있습니다. 하지만 현재 대규모 언어 및 비전 모델 (VLM) 들이 실제 수술 환경 (특히 신경외과) 에서의 단순한 도구 감지 작업조차 제대로 수행하지 못하고 있습니다.
• 가설 검증: "스케일링 가설 (Scaling Hypothesis)"에 따라 모델 크기와 학습 데이터를 늘리면 성능이 비례하여 향상될 것이라는 기대와 달리, 수술 도메인에서는 데이터의 전문성과 분포 편차 (Distribution Shift) 가 주요 병목 현상일 수 있다는 의문이 제기되었습니다.

2. 연구 방법론 (Methodology)

이 연구는 SDSC-EEA (Surgical Data Science Collective - Endoscopic Endonasal Approach) 데이터셋을 기반으로 5 가지 실험을 수행했습니다.

• 데이터셋: 10 개 기관의 66 건의 신경외과 수술 영상에서 추출된 67,634 개의 프레임으로 구성되며, 31 가지 수술 도구 클래스에 대한 다중 레이블 어노테이션이 포함되어 있습니다. 학습/검증 세트는 수술 절차 (Procedure) 단위로 분할되어 데이터 누출을 방지했습니다.
• 실험 설계:
  1. Zero-shot 평가 (2023~2026 년 모델): Qwen3, Gemma 3, Llama 3.2 등 19 개의 오픈 가중치 Vision-Language Models (VLMs) 를 대상으로 사전 학습된 상태 (Zero-shot) 에서 도구 감지 성능을 평가했습니다.
  2. LoRA 파인튜닝 (JSON 생성): Gemma 3 27B 모델을 LoRA (Low-Rank Adaptation) 로 파인튜닝하여 구조화된 JSON 형식으로 도구 목록을 생성하도록 학습시켰습니다.
  3. LoRA 파인튜닝 (분류 헤드): JSON 생성 대신 이진 분류 헤드 (Classification Head) 를 사용하여 각 도구 클래스의 존재 여부를 직접 예측하도록 변경했습니다.
  4. 스케일링 실험 (Rank Sweep): LoRA 랭크를 2 에서 1024 까지 증가시켜 학습 가능한 파라미터를 약 3 차수 (4.7M → 2.4B) 늘리며 일반화 성능을 측정했습니다.
  5. 전문화된 모델 비교: 26M 파라미터의 객체 감지 모델인 YOLOv12-m을 훈련시켜 VLM 기반 방법론과 비교했습니다.
  6. 외부 검증: CholecT50 (담낭 절제술) 데이터셋을 사용하여 결과의 일반화 가능성을 확인했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. Zero-shot VLM 의 실패

• 2023 년부터 2026 년까지 출시된 19 개의 대규모 VLM(최대 235B 파라미터) 은 모두 **다수 클래스 기저선 (Majority Class Baseline, 정확도 13.4%)**을 의미 있게 넘지 못했습니다.
• 모델의 규모나 MMBench 와 같은 일반 멀티모달 벤치마크 점수가 높아도 수술 도구 감지 성능에는 전이가 일어나지 않았습니다. 심지어 의학 특화 모델 (MedGemma) 이 일반 모델보다 더 낮은 성능을 보이기도 했습니다.

나. 파인튜닝의 한계와 일반화 문제

• LoRA 파인튜닝 (JSON): Gemma 3 27B 를 파인튜닝한 결과, 검증 세트 정확도가 47.63% 로 상승했으나 여전히 인간 수준의 정확도에는 미치지 못했습니다.
• 분류 헤드 개선: JSON 생성 대신 분류 헤드를 사용한 접근법이 51.08% 의 정확도로 VLM 기반 방법 중 가장 높은 성능을 보였습니다.
• 스케일링의 한계: LoRA 랭크를 1024 까지 늘려 학습 가능 파라미터를 24 억 개까지 증가시켰으나, 학습 정확도는 98.6% 에 달했으나 검증 정확도는 40% 미만으로 정체되었습니다. 이는 모델 용량 부족이 아니라 **프로세스 수준의 분포 편차 (Distribution Shift)**가 해결되지 않았음을 시사합니다.

다. 전문화된 소형 모델의 우위

• **YOLOv12-m (26M 파라미터)**은 VLM 기반 방법론보다 1,000 배 적은 파라미터로 54.73% 의 정확도를 기록하며 모든 VLM 기반 방법을 압도했습니다.
• 이는 수술 도구 감지와 같은 좁은 시각적 작업에서는 거대한 범용 모델보다 작고 전문화된 모델이 데이터 효율성과 성능 면에서 훨씬 우수함을 보여줍니다.

라. 외부 데이터셋 (CholecT50) 검증

• 담낭 절제술 데이터셋에서도 동일한 패턴이 관찰되었습니다. Zero-shot 성능은 낮았으나, 파인튜닝 시 소형 모델이 VLM 을 능가하거나 유사한 성능을 보였습니다.

4. 논의 및 시사점 (Significance)

1. Med-AGI 의 병목은 '모델 규모'가 아닌 '데이터':

   • 수술 AI 의 발전은 모델 크기나 컴퓨팅 파워를 늘리는 것 (Scaling) 만으로는 해결되지 않습니다. 오히려 도메인 특화 데이터의 부족, 특히 다양한 수술 절차와 기관을 아우르는 고품질 레이블 데이터의 부재가 핵심 장애물입니다.
   • 현재 VLM 들은 수술실의 암묵적 지식 (Tacit Knowledge) 과 실제 환경의 분포 편차를 학습하지 못해 실패하고 있습니다.

2. 하이브리드 아키텍처의 필요성:

   • 범용 VLM 을 수술의 '오케스트레이터 (Orchestrator)'로 활용하되, 구체적인 시각적 인식 작업 (도구 감지 등) 은 전문화된 소형 모델에 위임하는 계층적 (Hierarchical) 구조가 가장 유망한 접근법으로 제안됩니다.

3. 커뮤니티 기반 데이터 구축의 중요성:

   • SDSC(Surgical Data Science Collective) 와 같은 기관이 주도하는 대규모 데이터 공유, 표준화, 오픈 소스 레이블링 노력이 Med-AGI 실현을 위한 필수 전제 조건임을 강조합니다.

5. 결론

이 논문은 2026 년 시점의 최신 AI 기술이 수술 도구 감지와 같은 구체적인 임상 작업에서 여전히 한계를 겪고 있음을 실증적으로 증명했습니다. "더 큰 모델"이 정답이 아니며, 고품질의 도메인 특화 데이터 확보와 전문적 시각 모델과 범용 모델의 효율적 결합이 수술 AI 의 미래를 위한 핵심 열쇠임을 시사합니다. 이는 의료 AI 연구 패러다임을 단순한 스케일링에서 데이터 중심의 전문화 및 협업으로 전환해야 함을 강력하게 주장합니다.