AI-Based Pipeline for Vascularization Detection in Histological Images; low-cost solution Using Moderate Computing Resources

기술 요약: 조직학적 이미지 내 혈관화 검출을 위한 AI 기반 파이프라인

문제 정의
조직학적 표본에서 혈관화를 수동으로 평가하는 것은 상처 치유 및 조직 반응의 중요한 지표이지만, 상당한 전문가의 노력을 필요로 하는 시간이 많이 소요되는 과정입니다. 인공지능(AI)은 잠재적인 해결책을 제공하지만, 라이선스 비용, 전문 AI 인력의 필요성, 강력한 컴퓨팅 인프라(예: 전용 GPU 서버) 요구 사항과 관련된 높은 비용으로 인해 실제 도입이 저해되는 경우가 많습니다. 또한, 전통적인 딥러닝 방식은 비용이 많이 드는 완전하게 주석이 달린 대규모 학습 데이터셋을 요구하는 경우가 많습니다. 저자들은 최소한의 수동 레이블링과 적절한 하드웨어 요구 사항만으로 면역조직화학 염색된 조직 내 혈관 구조를 검출할 수 있는 저비용, 사용자 친화적, 계산 효율적인 시스템의 필요성을 다룹니다.

방법론
제안된 파이프라인은 전용 GPU 하드웨어 없이 표준 워크스테이션에서 작동하도록 설계된 검색 증강형(retrieval-augmented), 인간 참여형(human-in-the-loop) 시스템입니다. 이는 네 가지 논리적 단계로 구성됩니다:

1. 이미지 전처리 및 후보 마스크 생성:

   • 시스템은 매끄러운 근육 액틴(SMA) 양성 구조를 분리하기 위해 고전적인 이미지 프로세싱을 사용합니다. 여기에는 색상 채널 분리(헤마토실린을 억제하고 DAB 염색을 강조하기 위해 블루 채널을 격리)와 형태학적 필터링이 포함됩니다.
   • 두 가지 별도의 방법을 사용하여 후보 관심 영역(ROI)을 생성합니다:
     • 릿지 검출(Ridge Detection): Steger 알고리즘에 기반한 Fiji/ImageJ 플러그인을 통해 구현되며, 이 방법은 혈관벽의 특징인 가늘고 긴 곡선형 구조를 강화합니다.
     • Segment Anything Model (SAM2): 작업 특화된 재학습 없이 다양한 영역 제안을 생성하기 위해 Meta AI의 제로샷(zero-shot), 학습 불필요(training-free) 세그멘테이션 모델인 SAM2를 사용합니다.
   • 이 방법들은 특징 추출을 위한 입력값으로 사용될 이진 마스크 또는 후보 영역을 생성합니다.

2. 영역 임베딩(Region Embedding):

   • 각 후보 ROI는 크롭(crop)되고 정규화된 후, 동결된 자기지도 학습 시각 백본인 DINOv2(구체적으로 dinov2_vits14)를 통과합니다.
   • 자연 이미지를 사전 학습한 DINOv2는 고정된 기술자 추출기(descriptor extractor) 역할을 하여, 각 ROI를 의미적 및 형태적 특성을 포착하는 압축된 수치 벡터(임베딩)로 변환합니다. 백본에 대한 추가적인 지도 학습 미세 조정(fine-tuning)은 수행되지 않습니다.

3. 인덱싱 및 검색 기반 분류:

   • 생성된 임베딩은 FAISS(Facebook AI Similarity Search)를 사용하는 동적 벡터 인덱스에 저장됩니다.
   • 분류는 "검색 증강" 퓨샷(few-shot) 전략을 통해 수행됩니다. 새로운 ROI가 제시되면, 시스템은 벡터 유사도에 기반하여 인덱스에서 상위-k개의 최근접 이웃을 검색합니다.
   • 이 최근접 이웃들의 레이블(혈관 vs. 아티팩트)이 새로운 ROI의 분류에 대해 투표를 수행합니다.

4. 대화형 인간 참여형(Human-in-the-Loop) 프로토콜:

   • 시스템은 실시간으로 작동합니다. 전문가 검토자는 감지된 객체를 확인하고 키보드 명령을 통해 즉각적인 피드백을 제공합니다:
     • 'v' 또는 'a' 키: 객체를 혈관 또는 아티팩트로 명시적으로 레이블링합니다. 이러한 레이블은 즉시 FAISS 인덱스에 추가되어, 모델을 재학습시키지 않고도 이후의 이미지에 대해 시스템의 지식 베이스를 업데이트합니다.
     • 'Enter' 또는 's' 키: 모델의 예측에 동의하거나 반대하는 평가(agreeing or disagreeing)를 위해 사용되며, 학습 세트를 업데이트하지는 않습니다.
   • 이를 통해 시스템은 단일 세션 동안 특정 염색 패턴 및 예외 사례에 점진적으로 적응할 수 있습니다.

주요 기여

• 저비용, 저사양 배포: 저자들은 전용 GPU 서버나 클라우드 GPU 인스턴스가 필요한 전통적인 딥러닝 워크플로우 없이도 표준 데스크톱 컴퓨터나 게이밍 노트북에서 높은 정확도의 혈관 검출이 가능함을 입증했습니다.
• 주석 효율성: 검색 증강 접근 방식은 약 75회의 사용자 보조 인식만으로 높은 정확도(약 95%)를 달ai하며, 150회의 주석을 통해 98% 근처에서 안정화됩니다. 이는 일반적으로 지도 학습 신경망 훈련에 필요한 수백 또는 수천 개의 주석보다 훨씬 적은 수치입니다.
• 실시간 적응성: 새로운 데이터를 통합하기 위해 재학습이 필요한 정적 모델과 달리, 이 시스템은 전문가의 수정으로부터 지속적이고 즉각적으로 학습하여 특정 실험실 조건이나 염색 변화에 빠르게 적응할 수 있습니다.
• 상호 보완적 세그멘테이션: 본 연구는 고전적인 릿지 검출(연속적인 혈관 형태를 보존)과 SAM2 제안(다양한 형태 커버리지를 제공)을 결합하는 것이 단일 방법보다 더 견고한 후보 세트를 제공함을 검증했습니다.

결과
연구는 돼지 상처 치형 실험(SMA 염색)의 조직학적 이미지를 사용하여 세 가지 접근 방식을 비교했습니다:

1. 완전 수동 주석: 단일 작업자가 여러 달(2020~2022년) 동안 14,000개 이상의 객체를 분류해야 했습니다.
2. 표준 신경망 (Azure 기반): Microsoft Azure에서 호스팅되는 머신러닝 도구는 400회의 주석 후에 92%의 정확도에 도달했으나, 상당한 클라우드 컴퓨팅 자원을 필요로 했으며 주석 세션당 약 7 유로의 비용이 발생했습니다.
3. 검색 증강 시스템 (DINOv2/FAISS):
   • 단 75회의 보조 인식 후 95.4%의 정확도를 달성했습니다.
   • 125회의 인식 시점에 98.2%의 정확도에 도달했으며, 150회 인식 시점에 98% 근처에서 정체되었습니다.
   • 전용 GPU 없이 표준 워크스테이션에서 효과적으로 작동했습니다.
   • 학습 전략 발견: 연구 결과, 학습 데이터를 여러 이미지에 분산시키는 것(예: 13개 이미지에서 26개 객체)이 단일 이미지의 객체들로 학습하는 것보다 더 높고 안정적인 정확도를 산출했습니다. 또한, 모호한 형태의 사례를 학습 세트에 포함하는 것이 명확한 예시로만 제한하는 것보다 성능을 향상시켰습니다.

의의 및 주장
본 논문은 이 접근 방식이 특히 전문가의 시간이 제한적이고 컴퓨팅 자원이 제약된 환경에서 일상적인 실험실 사용을 위한 실용적인 절충안을 제공한다고 주장합니다. 자기지도 학습 기반의 표현(DINOv2)과 효율적인 유사도 검색(FAISS)을 활용함으로써, 이 시스템은 작업 특화된 훈련과 대규모 데이터셋의 필요성을 우회합니다.

저자들은 이 시스템이 전문가를 대체하는 것이 아니라 보조하기 위해 설계되었음을 강조합니다. 즉, 전문가의 시간을 몇 달에서 몇 분으로 단축하면서도 작업자와 높은 일치도를 유지합니다. 그러나 논문은 다음과 같은 한계점을 겸허히 언급합니다:

• 시스템은 감지된 객체를 "혈관" 또는 "아티팩트"로 분류하지만, 이미지 내의 절대적인 혈관 수를 정량화하지는 않습니다.
• 정확도 지표는 특정 인간 평가자의 결과와 일치하는 정도를 반영합니다. 만약 평가자가 체계적인 오류를 범한다면, 모델도 이를 복제할 것입니다.
• 방법론이 완전히 일반화될 수 있는지 확인하기 위해서는 다양한 염색, 조직 유형 및 실험실에 걸친 광범위한 검증이 필요합니다.

이 연구는 자기지도 임베딩과 대화형 검색의 결합이 어떻게 루틴한 병리 워크플로우의 주석 제약을 효과적으로 해결할 수 있는지를 보여줌으로써, 레이블 효율적 학습(label-efficient learning)을 향한 단계로서 자리매김하고 있습니다.