HARU-Net: Hybrid Attention Residual U-Net for Edge-Preserving Denoising in Cone-Beam Computed Tomography

본 논문은 저선량 CBCT 영상의 노이즈 제거와 에지 보존을 위해 하이브리드 어텐션 트랜스포머와 잔차 학습을 결합한 HARU-Net 을 제안하여, 기존 최첨단 방법들보다 우수한 성능과 낮은 계산 비용을 달성함을 보여줍니다.

핵심

1. 문제: "안개 낀 안경" 같은 치과 CT

치과에서 환자에게 방사선 피폭을 줄이기 위해 저선량으로 CT 를 찍으면, 이미지가 마치 안개 낀 날에 안경을 쓴 것처럼 흐릿해집니다.

• 현상: 뼈의 미세한 갈라진 부분이나 잇몸 조직의 경계가 잘 안 보입니다.
• 문제: 의사가 진단을 내릴 때 "저게 병일까, 아니면 그냥 노이즈일까?"라고 헷갈려서, 다시 찍거나 더 비싼 MRI 를 찍어야 할 수도 있습니다.

2. 기존 방법의 한계: "과도한 청소" vs "부족한 청소"

기존의 기술들은 두 가지 극단적인 문제를 겪었습니다.

• 전통적인 방법: 노이즈를 지우려다 보니 뼈의 가장자리까지 다 지워버려서 (과도한 청소) 오히려 중요한 구조가 사라졌습니다.
• 최신 AI(Transformer) 화질은 아주 좋지만, 컴퓨터가 너무 무겁고 느려서 (고성능 청소기) 실제 병원에서 환자를 기다리게 만들었습니다.

3. 해결책: HARU-Net (하루넷)

저자들은 **"HARU-Net"**이라는 새로운 AI 모델을 만들었습니다. 이 모델의 특징을 요리 비유로 설명하면 다음과 같습니다.

🍳 비유: "요리사의 손맛"과 "정밀한 망치"의 결합

HARU-Net 은 두 가지 훌륭한 기술을 하나로 섞었습니다.

1. **전통적인 CNN **(Convolutional Neural Network)

   • 역할: 이미지의 국소적인 부분 (예: 치아 한 알, 뼈의 작은 결) 을 빠르게 처리합니다.
   • 비유: 마치 손으로 반죽을 치대듯 빠르게 기본 작업을 처리하는 '요리사의 손맛'입니다. 빠르고 효율적입니다.

2. **트랜스포머 **(Transformer)

   • 역할: 이미지의 전체적인 맥락 (예: 턱뼈 전체의 모양, 다른 치아와의 관계) 을 파악합니다.
   • 비유: 마치 정밀한 망치처럼, 안개 낀 부분 (노이즈) 을 정확히 찾아내어 뼈의 경계선 (에지) 만은 절대 건드리지 않고 노이즈만 털어냅니다.

이 두 가지를 섞어서 **"HARU-Net"**을 만들었습니다.

• 핵심 아이디어: "빠른 손맛 (CNN) 으로 기본을 다지고, 정밀한 망치 (Attention) 로 중요한 부분만 다듬어라."

4. 어떻게 훈련했을까요? (시체 해부실의 비밀)

AI 를 가르치려면 '지저분한 사진'과 '아주 깨끗한 사진'을 비교해서 가르쳐야 합니다. 하지만 살아있는 사람에게 고선량 (아주 깨끗한) CT 를 찍는 것은 윤리적으로 불가능합니다.

• 해결책: 연구팀은 치과 대학의 해부실에 있는 **시체 **(하프-하악골)를 사용했습니다.
• 과정:
  1. 시체에 고선량으로 아주 선명한 CT 를 찍습니다 (이게 '정답'입니다).
  2. 컴퓨터로 인위적으로 노이즈를 섞어서 '지저분한 사진'을 만듭니다.
  3. AI 에게 "이 지저분한 사진에서 노이즈를 제거하면 이 깨끗한 사진이 돼!"라고 가르쳤습니다.
  4. 특히 **공기 **(배경)만 남기고 **뼈와 조직 **(전경)만 잘라내서 AI 가 헛된 부분 (공기) 에 에너지를 쓰지 않게 했습니다.

5. 결과: "가볍고 빠른 슈퍼스타"

이 새로운 HARU-Net 이 다른 최신 AI 들과 경쟁했을 때의 결과는 다음과 같습니다.

• **화질 **(PSNR, SSIM) 다른 어떤 방법보다 가장 선명했습니다. 뼈의 갈라진 부분까지 또렷하게 보였습니다.
• 속도와 비용: 화질은 최고인데, 컴퓨터 성능을 가장 적게 썼습니다.
  • 기존 최신 AI 들은 3D CT 하나를 처리하는 데 4~8 분이 걸렸는데, HARU-Net 은 약 2 분 만에 처리했습니다.
  • 마치 고급 스포츠카처럼 빠르면서도 **연비 **(컴퓨팅 비용)가 좋은 차입니다.

6. 요약: 왜 이것이 중요한가요?

이 기술은 "저선량 CT 를 찍어도 고화질 CT 를 본 것처럼" 만들어줍니다.

• 환자: 방사선 피폭을 줄이면서도 정확한 진단을 받을 수 있습니다.
• 의사: 흐릿한 이미지를 보며 고민할 필요가 없어지고, 치료 계획을 더 확신 있게 세울 수 있습니다.
• 병원: 기다리는 시간이 줄어들고, 더 많은 환자를 빠르게 진료할 수 있습니다.

한 줄 요약:

"HARU-Net 은 안개 낀 치과 CT 사진을, 빠르고 가볍게 yet 정교하게 닦아내어, 의사가 뼈의 미세한 결까지 또렷하게 볼 수 있게 해주는 **'스마트한 디지털 청소부'**입니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 원뿔형 CT(CBCT) 는 치과 및 두경부 영상 진단에 널리 사용되지만, 환자 피폭을 줄이기 위해 저선량으로 촬영되는 경우가 많습니다.
• 문제점: 저선량 촬영은 양자 잡음 (quantum noise) 과 전자 회로 잡음 (electronic noise) 으로 인해 강한 공간적 변이 잡음을 유발합니다. 이는 연조직의 가시성을 떨어뜨리고 미세한 해부학적 구조 (예: 치근관, 골질 경계) 를 흐리게 만들어 진단 신뢰도를 낮춥니다.
• 기존 방법의 한계:
  • 기존 딥러닝 기반 denoising 방법은 높은 성능을 보이지만, CBCT 의 경우 고해상도 참조 데이터 (Ground Truth) 가 부족하여 지도 학습 (Supervised Learning) 을 수행하기 어렵습니다.
  • 기존 연구들은 주로 방사선 치료용 CBCT 에 집중되어 있으며, 치과/이비인후과용 CBCT 에 대한 연구는 미미합니다.
  • 완전한 Transformer 기반 모델 (SwinIR, Uformer 등) 은 성능은 우수하지만 계산 비용이 매우 높아 임상 적용에 비효율적입니다.

2. 제안된 방법론 (Methodology)

A. 데이터셋 및 전처리 (Dataset & Pre-processing)

• 데이터 소스: 치과 해부학 연구용으로 수집된 21 개의 인간 하악골 반쪽 (hemimandibles) 시신체 (cadaver) 데이터를 사용했습니다.
• 촬영 조건: 3D Accuitomo 170 시스템을 사용하여 고해상도 (90 kV, 5 mA, 30.8 초) 로 촬영한 고선량 데이터를 'Clean' 데이터로 사용했습니다.
• 노이즈 생성: 고선량 데이터에 물리 모델 (양자 잡음 및 전자 잡음 모델) 을 적용하여 인위적으로 'Noisy' 데이터를 생성하여 쌍 (Pair) 을 구성했습니다.
• 전처리 파이프라인:
  1. 수동 크롭: 배경 공기를 제거하기 위해 관심 영역을 수동으로 크롭.
  2. K-Means 클러스터링: 조직과 공기를 이진 마스크로 분리.
  3. 형태학적 연산: 모폴로지 팽창 (Dilation) 과 홀 채우기 (Hole filling) 를 통해 조직 경계를 정제하고 내부 공극을 제거.
  4. 동적 패칭 (Dynamic Patching): 생성된 마스크 내에서만 256x256 크기의 패치를 추출하여 훈련 데이터로 사용 (배경 공기 영역 제외).

B. HARU-Net 아키텍처 (Proposed Architecture)

기존 U-Net 구조를 기반으로 하되, 하이브리드 어텐션 (Hybrid Attention) 메커니즘을 통합하여 국소적 특징과 전역적 맥락을 동시에 학습하도록 설계되었습니다.

1. 하이브리드 어텐션 트랜스포머 블록 (HAB):

   • Skip Connection(인코더 - 디코더 연결부) 에 삽입됨.
   • Windowed Self-Attention: Swin Transformer 에서 영감을 받아 국소적 윈도우 내에서 세부 구조를 포착.
   • Channel Attention: 채널 간 중요도를 재가중하여 문맥적으로 중요한 특징을 강조.
   • 효과: 각 해상도 단계에서 해부학적 특징을 선택적으로 강조하고 노이즈를 억제.

2. 잔차 하이브리드 어텐션 그룹 (RHAG):

   • Bottleneck(가장 깊은 층) 에 위치.
   • HAB 블록을 6 번 직렬로 반복하여 긴 범위의 전역적 맥락 (Global Context) 을 모델링.
   • 잔차 학습 (Residual Learning) 을 통해 깊은 네트워크의 학습 안정성 확보.

3. 잔차 컨볼루션 블록:

   • 인코더와 디코더의 기본 블록으로 사용되어 국소적 특징 추출을 담당하며, 학습된 다운샘플링 필터를 통해 신호 정보 손실을 최소화.

3. 주요 기여 (Key Contributions)

1. 새로운 아키텍처 제안: CBCT 잡음 제거를 위해 CNN 의 효율성과 Transformer 의 전역적 모델링 능력을 결합한 HARU-Net을 제안.
2. 데이터셋 구축: 치과/이비인후과 CBCT 의 지도 학습을 위해 고선량 시신체 데이터를 기반으로 한 노이즈 - 클린 쌍 데이터셋을 구축하고, 배경 공기를 제거하는 정교한 전처리 파이프라인을 개발.
3. 성능과 효율성의 균형: 완전한 Transformer 모델보다 낮은 계산 비용으로 더 높은 화질 복원 성능을 달성하는 하이브리드 설계의 유효성을 입증.

4. 실험 결과 (Results)

A. 정량적 평가 (Quantitative Evaluation)

테스트 데이터셋에서 SwinIR, Uformer, HAT, ResU-Net 등 SOTA 방법들과 비교했습니다.

메트릭	ResU-Net	Uformer	SwinIR	HAT	HARU-Net
PSNR (dB)	35.03	36.25	36.12	36.70	37.52 (최고)
SSIM	0.9542	0.9447	0.9551	0.9569	0.9557 (HAT 다음으로 높음)
GMSD (낮을수록 좋음)	0.1240	0.1147	0.1151	0.1119	0.1084 (최저, 가장 우수한 에지 보존)

• 해석: HARU-Net 은 가장 높은 PSNR 과 가장 낮은 GMSD 를 기록하여 노이즈 제거 능력과 해부학적 구조 (에지) 보존 능력이 가장 우수함을 입증했습니다.

B. 계산 비용 (Computational Cost)

• FLOPs (GMACs): HARU-Net 은 Uformer(78.0) 나 SwinIR(111.0) 에 비해 훨씬 낮은 40.76 GMACs를 기록했습니다.
• 추론 시간: 512x512x512 크기의 3D CBCT 전체 볼륨 처리 시간은 약 1.985 분으로, Uformer(4.3 분) 와 SwinIR(8.8 분) 보다 훨씬 빠릅니다.
• 결론: 뛰어난 성능을 유지하면서도 계산 효율성이 매우 뛰어납니다.

C. 정성적 평가 (Visual Assessment)

• HARU-Net 은 뼈 경계, 피질 골 outline, 내부 해면골 패턴 등 미세한 해부학적 구조를 선명하게 복원했습니다.
• 다른 모델들은 약간의 아티팩트나 과도한 평활화 (over-smoothing) 가 관찰되었으나, HARU-Net 은 임상적으로 해석 가능한 선명한 영상을 제공했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: 저선량 CBCT 의 진단 품질을 획기적으로 향상시킬 수 있는 실용적인 솔루션을 제시했습니다. 특히 에지 보존 능력이 뛰어나 치과 임플란트 계획, 근관 치료, TMJ 평가 등에 직접적으로 기여할 수 있습니다.
• 기술적 혁신: CNN 의 국소적 특징 추출 능력과 Transformer 의 전역적 의존성 모델링 능력을 효율적으로 결합한 하이브리드 아키텍처의 우수성을 입증했습니다.
• 한계 및 향후 과제:
  • 현재 데이터는 단일 제조사 (Morita) 의 장비와 시신체 데이터에 국한되어 있어, 다른 제조사 장비나 실제 환자 데이터에서의 일반화 (Generalization) 능력 검증이 필요합니다.
  • 실시간 처리를 위해 모델 경량화 (Pruning, Quantization) 및 3D 볼륨 직접 처리, 자기지도 학습 (Self-supervised) 프레임워크와의 통합이 향후 과제로 제시되었습니다.

요약하자면, 이 논문은 HARU-Net을 통해 CBCT 의 저선량 촬영 한계를 극복하고, 높은 화질과 낮은 계산 비용을 동시에 달성한 새로운 딥러닝 기반 잡음 제거 모델을 제안한 중요한 연구입니다.