Deep Learning Based Automated Assessment of Ulcerative Colitis Endoscopic Severity Using Local Global Transformer and Graph Convolutional Networks

기술 요약: 궤양성 대장염 중증도 자동 평가를 위한 L-GTACNet

문제 정의
궤양성 대장염(UC)의 정확한 중증도 평가는 치료법 선택과 예후 관리에 매우 중요하며, 일반적으로 0(정상)에서 3(중증)까지의 범위를 갖는 메이요 내시경 점수(Mayo Endoscopic Score, MES)에 의존합니다. 그러나 내시경을 통한 수동 평가는 주관적이며, 관찰자 간 변동성이 크고, 인접한 중증도 등급 간의 미세한 형태학적 차이로 인해 평가가 복잡합니다. 기존의 딥러닝 접근 방식은 특정 한계에 직면해 있습니다. 합성곱 신경망(CNN)은 장거리 공간 의존성과 전역적 맥락 패턴을 포착하는 데 어려움을 겪는 경우가 많으며, 단독 트랜스포머(Transformer) 모델은 초기 홍반이나 표재성 미란과 같은 미세한 국소적 세부 사항을 놓칠 수 있습니다. 또한, 기존 방법들은 이미지 향상, 특징 추출, 관계 추론을 하나의 통합된 프레임워크로 모델링하지 못하고 서로 분리된 구성 요소로 취급하며, 이는 병리적 점막 영역 간의 공간적 관계를 모델링하고 임상적 해석 가능성을 보장하는 데 한계를 보입니다.

방법론
저자들은 통합된 파이프라인을 통해 이러한 격차를 해결하기 위해 설계된 하이브리드 딥러닝 프레임워크인 L-GTACNet(Local–Global Transformer Attention-based Graph Convolutional Network)을 제안합니다.

1. 데이터 전처리 및 향상:

   • 조명 교정: 조직의 반사율을 비균일한 조명으로부터 분리하여, 병리적 색상 패턴을 변경하지 않고 밝기 구배를 교정하는 Retinex 기반 알고리즘을 적용합니다.
   • 대조도 향상: 노이즈를 증폭시키지 않으면서 관심 영역의 국소 대조도를 개선하기 위해 대비 제한 적응형 히스토그램 균일화(CLAHE)를 사용합니다.
   • 표준화: 이미지의 강건성을 확보하기 위해 정규화 및 적응형 데이터 증강(기하학적 및 경미한 광도 변환)을 거칩니다.
   • 데이터셋: 본 연구는 전문가에 의해 MES 라벨(0–3)이 지정된 564명의 환자 기록과 11,276장의 대장 내시경 이미지로 구성된 공개 데이터셋을 활용합니다. 결정적으로, 데이터 누수를 방де하고 일반화 성능을 보장하기 위해 데이터 분할은 **환자 단위(patient level)**로 수행됩니다.

2. 아키텍처 설계:

   • Local–Global Transformer: 핵심 시각 인코더는 이미지를 토큰 시퀀스로 변환합니다. 이는 이중 스트림 방식을 채택합니다.
     • Local Branch (국소 분기): 어텐션 메커니즘을 사용하여 미세한 식별 가능 영역(예: 특정 병변, 혈관 변화)을 식별하고 가중치를 부여합니다.
     • Global Branch (전역 분기): 셀프 어텐션을 활용하여 장거리 의존성을 모델링하고 전반적인 염증 맥락(예: 확산된 홍반)을 포착합니다.
   • Attention-Guided Graph Convolutional Network (GCN): 가장 식별력이 높은 국소 토큰들은 그래프 노드로 변환됩니다. 에지는 공간적 근접성과 의미론적 유사성을 모두 기반으로 구축됩니다. 그래프 컨볼루션 모듈은 이 노드들 사이에서 정보를 전파하여, 공간적으로 분포된 점막 영역 간의 관계적 의존성을 모델링합니다.
   • 특징 융합(Feature Fusion): 학습된 게이팅 메커니즘은 국소, 전역 및 그래프 기반 표현을 동적으로 융합하여, 모델이 이미지 콘텐츠(예: 작은 궤양을 위해 국소 특징에 더 의로하거나, 확산된 염증을 위해 전역 특징에 더 의로 하는 방식)에 따라 결정 전략을 조정할 수 있게 합니다.
   • 분류: 융합된 표현은 분류 헤드로 전달되어 4개의 MES 클래스(0–3)를 예측합니다.

3. 훈련 및 평가:

   • 모델은 클래스 불균형을 처리하기 위해 클래스 가중치가 적용된 범주형 교차 엔트로피 손실(categorical cross-entropy loss)을 사용하여 훈련됩니다.
   • 성능은 정확도, 정밀도, 재현율, F1-score, 특이도, AUROC 및 코헨 카파(Cohen's Kappa)를 사용하여 평가됩니다.
   • 설명 가능성은 어텐션 맵을 통해 모델이 임상적으로 관련 있는 점막 이상 부위에 집중하는지 검증함으로써 평가됩니다.

주요 기여

• 하이브리드 아키텍처: Local–Global Transformer와 GCN의 통합을 통해 미세한 국소 병변 세부 사항과 전역적 맥락 패턴을 동시에 포착할 수 있으며, 염증 영역 간의 공간적 관계를 명시적으로 모델링할 수 있습니다.
• 통합 파이프라인: 이미지 향상(Retinex/CLAHE), 계층적 특징 추출, 관계 추론을 하나의 엔드 투 엔드 시스템으로 결합하여 기존 연구에서 나타난 파편화 문제를 해결했습니다.
• 임상적 해석 가능성: 모델은 병변(예: 궤양, 출혈)과 같은 특정 점막 영역을 강조함으로써 질병 중증도 예측에 기여하는 정보를 제공하며, 이는 전문가의 진단 기준과 일치합니다.
• 강건한 환자 단위 검증: 연구는 특정 환자 프레임에 과적합되지 않고 실제 일반화 능력을 반영할 수 있도록 엄격한 환자 단위 데이터 분할을 적용했습니다.

결과
제안된 L-GTACNet은 테스트 세트에서 평가되었으며, 베이스라인 CNN, 표준 트랜스포머(ViT, Swin) 및 하이브리드 아키텍처보다 우수한 성능을 입증했습니다.

• 전반적 성능: 94.80%의 정확도, 94.67%의 정밀도, 94.51%의 재현율, 94.58%의 F1-score 및 0.986의 AUROC를 달s성했습니다.
• 클래스별 성능: 모델은 모든 MES 클래스에서 높은 성능을 유지했으며, MES-0에서 가장 높은 F1-score인 97.66%(정밀도 97.31%, 재현율 98.02%, 특이도 98.74% 포함)를 기록했으며, 활성 질환 단계(MES-1 ~ MES-3)에서도 일관된 결과를 보였습니다.
• 경계 구분: 모델은 인접한 중증도 등급을 효과적으로 구분하였으며, 가장 큰 오차는 MES-1과 MES-2 사이에서 발생했는데, 이는 중간 단계 염증의 내재적인 시각적 모호함을 반영합니다.
• 절제 연구(Ablation Study): 구성 요소의 점진적 추가(이미지 향상 → Local-Global Transformer → Local Attention → Graph Convolution)를 통해 각 모듈이 최종 성능에 단계적으로 기여함을 확인했습니다.
• 강건성: 조명 감소, 대비 손실, 노이즈 및 모션 블러를 포함한 시뮬레이션된 열화 조건에서도 높은 정확도(>90%)를 유지했습니다.
• 계산 효율성: 1,870만 개의 파라미터와 21.4 ms/이미지의 추론 시간을 가진 이 모델은 더 무거운 트랜스포머 모델들과 비교했을 때 정확도와 계산 비용 사이의 유리한 절충안을 제공합니다.

의의 및 주장
본 논문은 L-GTACNet이 궤양성 대장염 중증도 평가를 위한 강력하고 객관적이며 재현 가능한 도구를 제공하여, 임상 현장에서의 관찰자 간 변동성을 줄일 수 있다고 주장합니다. 저자들은 모델이 특정 병리적 특징(홍반, 혈관 소실, 취약성, 궤양)을 국소화하고 이들의 공간적 관계를 모델링하는 능력이 임상적 해석 가능성을 높인다는 점을 강조합니다.

그러나 저자들은 임상 배포에 대해 신중한 입장을 유지합니다. 그들은 L-GTACNet이 소화기 내과 의사를 대체하는 것이 아니라 지원하기 위해 설계된 **전향적 도구(prospective tool)**임을 명시합니다. 논문은 루틴한 임상 도입 이전에, 이 프레임워크가 다양한 기관, 내시경 장비 및 환자군에 대한 외부 검증과 실제 환경에서의 유용성을 확인하기 위한 전향적 임상 연구가 필요하다고 결론짓습니다.