⚡ electrical engineering

NGPS: Structure-Preserving Self-Supervised Denoising via Neighbor-Guided Patch Sampling

본 논문은 노이즈가 저감된 가이드(guide) 상에서의 구조 매칭과 인접 슬라이스 상의 신호 복원을 분리함으로써 명시적인 등록(registration)이나 마스킹 없이도 효과적인 의사 타겟(pseudo-targets)을 구축하여 슬라이스 간 정렬 불일치 문제를 극복하는, 볼륨 의료 영상 디노이징을 위한 경량 자기지도 학습 프레임워크인 이웃 가이드 패치 샘플링(Neighbor-Guided Patch Sampling, NGPS)을 제안한다.

원저자: Jaehyun Cho, YoungJoon Yoo

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jaehyun Cho, YoungJoon Yoo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 빵 한 덩어리를 얇게 썬 투명한 조각들처럼 생긴 3D 물체의 흐릿하고 노이즈가 섞인 사진을 복원하려고 한다고 상상해 보세요. 의료 영상에서 이러한 "조각"들은 인체의 CT 또는 MRI 스캔입니다. 이 한 조각의 노이즈를 제거하기 위해, 똑똑한 컴퓨터 프로그램은 종종 바로 위와 아래에 있는 조각들로부터 단서를 찾습니다. 이것은 마치 이웃에게 "저기, 당신 집 벽은 어떻게 생겼나요?"라고 묻는 것과 같습니다.

문제점: "유령" 이웃들
문제는 인간의 몸이 딱딱한 책처럼 완벽하게 쌓여 있지 않다는 점입니다. 환자가 기침을 하거나, 숨을 쉬거나, 혹은 스캔 사이에 단순히 몸을 살짝 움직이면 조각들이 완벽하게 일치하지 않을 수 있습니다. 예를 들어, 10번 슬라이스의 간은 약간 왼쪽에 있는데, 11번 슬라이스의 간은 약간 오른쪽에 있을 수 있습니다.

기존 방식들은 이를 해결하기 위해 두 가지 방법을 시도했지만, 둘 다 결함이 있었습니다.

"무시하기" 방식: 만약 조각들이 일치하지 않으면, 컴퓨터는 그 부분의 데이터를 그냥 버려버렸습니다. 이는 마치 "이웃이 다른 곳에 서 있으니 물어볼 수 없다"라고 말하며 빈 공간으로 남겨두는 것과 같습니다. 이 방식은 뼈나 장기의 경계선 같은 날카로운 가장자리 주변의 중요한 세부 정보를 잃게 만들었습니다.
"늘리기" 방식: 컴퓨터는 옆 슬라이스를 수학적으로 늘리거나 왜곡하여 완벽하게 일치하도록 강제하려고 했습니다. 하지만 노이즈가 너무 심하거나 이동 거리가 크면, 이 "늘리는" 과정이 이미지를 뭉개뜨려 날카로운 경계선을 흐릿하게 만들었습니다.

해결책: NGPS (스마트 정찰병)
저자들은 NGPS(Neighbor-Guided Patch Sampling)라는 새로운 방법을 제안합니다. NGPS를 단순한 이웃의 앞문(정확한 좌표)만 보는 것이 아니라, 주변 동네를 둘러보며 올바른 집을 찾아내는 스마트 정찰병이라고 생각하세요.

작동 방식은 다음과 같습니다:

"흐릿한 지도" (가이드): 먼저, 컴퓨터는 노이즈가 섞인 슬라이스를 빠르게 대략적으로 살펴본 뒤, 이를 약간 흐리게 만들어 "가이드 지도"를 생성합니다. 이 지도는 정적(노이즈)은 무시하지만 건물의 일반적인 형태(해부학적 구조)는 유지합니다. 이는 벽이 어디에 있는지 확인하기 위해 저해상도 스케치를 보는 것과 같습니다.
"차이점 찾기" 확인: 컴퓨터는 현재 슬라이스의 스케치와 이웃 슬라이스의 스케치를 비교합니다. 만약 특정 지점에서 두 스케치가 다르게 보인다면, 그 지점을 "정렬되지 않음"으로 표시합니다.
"수색대" (패치 샘플링): 컴퓨터는 포기하거나 이미지를 늘리는 대신, 이웃 슬라이스로 수색대를 보냅니다. 컴퓨터는 표시된 지점 주변의 작은 구역(15x15 그리드)을 조사합니다. 그리고 묻습니다: "이웃 슬라이스의 어떤 작은 패치가 내 현재 슬라이스의 패치와 가장 닮았는가?"
"원래의 보물" (검색): 이웃의 스케치에서 일치하는 패치를 찾으면, 컴퓨터는 즉시 그 일치하는 지점의 이웃 원래의, 노이즈가 섞인 원본 사진으로 돌아가 픽셀 값을 가져옵니다.
- 핵심 디테일: 위치를 찾을 때는 흐릿한 스케치를 사용하지만, 실제 데이터는 원래의 노이즈 섞인 사진에서 가져옵니다. 이는 검색하는 동안 실수로 날카로운 경계선을 뭉개뜨리지 않기 위함입니다.
"그룹 투표" (Top-K): 더 확실히 하기 위해, 단 하나의 최적의 일치 항목만 고르는 것이 아니라, 가장 잘 맞는 상위 4개의 항목을 골라 그 값들을 평균 내어 정답으로 사용합니다. 이는 네 명의 이웃에게 시간을 물어보고 그 평균값을 취해 더 정확한 결과를 얻는 것과 같습니다.

왜 더 나은가?

뭉개짐 없음: 이미지를 늘리는 대신 올바른 위치에서 원본 데이터를 가져오기 때문에, 신장 가장자리나 뼈와 같은 날카로운 경계가 선명하게 유지됩니다.
데이터 낭비 없음: "정렬되지 않은" 부분의 이미지를 버리지 않습니다. 대신 위치가 바뀐 정보를 찾아냅니다.
빠름: 이미지 전체를 왜곡하기 위한 무겁고 복잡한 수학 계산이 필요하지 않습니다. 그저 빠른 국소 탐색을 수행할 뿐입니다.

결과
논문은 이 방법을 실제 의료 데이터(복부 및 흉부의 저선량 CT 스캔, 뇌 MRI 스캔)로 테스트했습니다.

CT 스캔의 경우: 이전 방식들보다 "양자 노이즈"(입자감)를 더 잘 제거했으며, 특히 이미지가 매우 거친 저선량 스캔에서 뛰어난 성능을 보였습니다.
MRI 스캔의 경우: 합성 노이즈를 잘 처리하였고 뇌 구조를 선명하게 유지했습니다.
속도: 이미지를 정렬하려고 시도하는 다른 고급 방법들보다 훨씬 빨랐습니다.

요약하자면
NGPS는 증인(이웃 슬라이스)이 약간 다른 곳에 서 있다는 것을 깨달은 형사와 같습니다. 그 형사는 증인을 원래 자리에 강제로 세우려고 하는 대신, 증인의 발 주변을 살펴 그들이 실제로 서 있는 정확한 위치를 찾고, 그들에게 무엇이 보이는지 물어본 뒤 그 답변을 사용하여 자신의 사진을 깨끗하게 만듭니다. 이 방식은 사진을 선명하고, 날카로우며, 세부 정보가 가득하게 유지해 줍니다.

기술 요약: NGPS – 이웃 가이드 패치 샘플링을 통한 구조 보존형 자기 지도 학습 기반 노이즈 제거

1. 문제 정의

볼륨 의료 영상(예: CT 및 MRI)에서 인접한 슬라이스를 사용하는 자기 지도 학습(SSL)은 깨끗한 정답(ground-truth) 타겟 없이도 노이즈를 제거할 수 있는 유망한 방안입니다. 그러나 결정적인 과제는 **슬라이스 간 불일치(inter-slice misalignment)**에서 발생합니다. 환자의 움직임이나 생리적 변동성으로 인해 인접한 슬라이스 간에 해부학적 구조가 이동하는 경우가 빈번합니다.

표준 SSL 방법들이 인접 슬라이스를 동일한 좌표의 감독 타겟으로 무작정 사용할 경우, 이러한 불일치는 네트워크가 변위된 해부학적 증거로부터 학습하게 만듭니다. 이는 "고스팅(ghosting)" 아티팩트와 해부학적 경계의 흐릿함을 초래합니다. 기존의 해결책들은 대개 다음과 같은 두 가지 범주로 나뉘며, 각각 심각한 단점을 가지고 있습니다:

마스킹 기반 접근 방식(Masking-based approaches): 슬라이스 간 차이가 큰 픽셀을 훈련 손실(training loss)에서 제외합니다. 이 방식은 훈련을 안정화시키지만, 구조적 정보가 가장 중요한 고주파 해부학적 경계 부근을 포함하여 인접한 증거의 상당 부분(관련 임상 영역의 약 20%)을 버리게 됩니다.
레지스트레이션 기반 접근 방식(Registration-based approaches): 인접 슬라이스를 정렬하기 위해 조밀한 변형 필드(dense deformation fields)를 추정하여 워핑(warping)합니다. 그러나 심한 노이즈나 큰 슬라이스 간격이 있는 경우, 이러한 정렬 추정치는 신뢰할 수 없게 되며, 공간적 리샘플링 과정에서 가장자리가 부드러워지거나 추가적인 아티팩트가 도입될 수 있습니다.

핵심 문제는 조밀한 변형 필드 추정에 의존하거나 귀중한 감독 신호를 버리지 않으면서, 어떻게 국소적인 이웃 범위 내에서 변위된 해부학적 증거를 검색하느냐 하는 것입니다.

2. 방법론: 이웃 가이드 패치 샘플링 (NGPS)

저자들은 NGPS를 제안합니다. 이는 미스얼라이먼트 처리를 훈련 시점의 감독 구축 문제로 재정의한 경량 프레임워크입니다. NGPS는 전체 슬라이스를 워핑하거나 마스킹하는 대신, **구조 매칭(structure matching)**과 **신호 검색(signal retrieval)**을 분리합니다.

파이프라인은 다음 세 단계로 작동합니다:

가이드 생성 및 보수적 마스킹 (Guide Generation and Conservative Masking):
- 노이즈가 억제된 "가이드" 볼륨은 입력 슬라이스에 2D 바이래터럴 필터(bilateral filter)를 적용한 후 메디안 필터를 적용하여 생성됩니다. 이는 양자 노이즈를 억제하면서 구조적 경계를 보존합니다.
- 가이드 슬라이스를 비교하여 방향성을 가진 미스얼라이먼트 마스크를 생성합니다. 가이드 차이가 임계값 $\tau$ 를 초과하는 픽셀은 미스얼라이먼트된 것으로 표시됩니다.
분리된 패치 매칭 및 원시 신호 검색 (Decoupled Patch Matching and Raw Retrieval):
- 미스얼라이먼트된 것으로 표시된 픽켈에 대해, NGPS는 인접 슬라이스의 국소 공간 윈도우(예: $15 \times 15$ ) 내에서 구조적으로 유사한 패치를 검색합니다. 이 검색은 견고한 구조 매칭을 보장하기 위해 필터링된 가이드 상에서 수행됩니다.
- 결정적으로, 구조적으로 유사한 패치가 식별되면, 감독 신호는 매칭된 좌표에 있는 **원래의 필터링되지 않은 노이즈 섞인 픽셀(raw, unfiltered noisy pixel)**에서 직접 추출됩니다. 이러한 분리는 대응 관계는 깨끗한 표현(representation)을 통해 확립하되, 타겟 값은 (Noise2Noise 방식의 훈련에 필요한) 노이즈 통계가 유지되도록 보장합니다.
Top-K 앙상블 타겟 구축 (Top-K Ensemble Target Construction):
- 단일 최적 매치와 관련된 분산을 줄이기 위해, NGPS는 패치 유사도에 기반한 상위 $K$ 개의 후보 픽셀을 집합하고 이들의 원시 값을 평균하여 의사 타겟(pseudo-target)을 형성합니다.

훈련 목적 함수 (Training Objective):
모델은 하이브리드 손실 함수를 사용하여 훈련됩니다:

정적 영역 (Static Regions): 마스킹되지 않은 픽셀에 대해서는 표준 동일 좌표 인접 감독(Noise2Noise)이 적용됩니다.
미스얼라이먼트 영역 (Misaligned Regions): 마스킹된 픽셀에 대해서는 NGPS로 검색된 타겟을 대상으로 손실을 계산합니다.
지역적 일관성 (Regional Consistency): 추가적인 정규화 항은 정적 영역에서 인접 슬라이스 간의 출력 일관성을 장려하여, 미스얼라이먼트 영역을 제한하지 않으면서 슬라이스 간 깜빡임(flicker) 현상을 줄입니다.

3. 주요 기여

미스얼라이먼트의 재정의: 저자들은 인접 슬라이스 기반 SSL에서의 "구조적 감독 격차(structural supervision gap)"를 식별하여, 마스킹(데이터 폐기)과 레지스트레이션(잠재적으로 신뢰할 수 없는 워핑에 의존) 사이의 트레이드오프를 명확히 했습니다.
이웃 가이드 패치 샘플링 (NGPS): 가이드 기반 패치 검색과 원시 타겟 검색을 통해 변위된 감독 신호를 복구하는 새로운 메커니즘을 제시합니다. 이는 조밀한 변형 필드 추정과 공간적 리샘플링을 피합니다.
포괄적인 검증: AAPM-Mayo(저선량 CT), 스트릭 아티팩트가 포함된 시뮬레이션된 초저선량 CT(LIDC-IDRI), 합성 Rician 노이즈 MRI(IXI)를 포함한 다양한 벤치마크를 통해 방법론을 검증했습니다.

4. 실험 결과

정량적 성능:
- AAPM-Mayo (Quarter-Dose) 데이터셋에서 NGPS는 다섯 가지 지표(PSNR, SSIM, FSIM, HFEN, GMSD) 모두에서 최고 성능을 달 기록하며, Deformed2Self 및 NS-N2N과 같은 강력한 베이스라인을 능가했습니다.
- LIDC-IDRI (Ultra-Low-Dose) 데이터셋에서 NGPS는 향상된 충실도와 경계 민감 복원력을 보여주었으며, NS-N2N에 비해 더 높은 PS생성 PSNR, FSIM, HFEN을 달성했습니다. SSIM 이득은 미미했으나, 미세한 해부학적 마진을 보존하는 데 탁러한 성능을 입증했습니다.
- IXI (MRI) 데이터셋의 합성 Rician 노이즈 환경에서, NGPS는 노이즈 수준(5%, 7%, 9%) 전반에 걸쳐 단일 이미지 및 볼륨 기반 베이스라인보다 일관되게 가장 높은 PSNR과 SSIM을 유지했습니다.
슬라이스 두께에 대한 강건성:
- NGPS는 슬라이스 두께가 1.25 mm에서 2.5 mm로 증가할 때 우수한 안정성을 보였습니다. PSNR 감소폭은 NGFS의 경우 0.16 dB에 불과했던 반면, NS-N2N은 0.63 dB였으며, 레지스트레이션 기반 방식(Deformed2Self)이나 마스킹 기반 방식(Noise2Sim)은 훨씬 더 큰 감소를 보였습니다.
계산 효율성:
- NGPS는 매우 효율적이며, 100 슬라이스 볼륨의 타겟을 준비하는 데 약 0.72초가 소요됩니다. 이는 마스킹된 픽셀에 국한된 벡터화된 패치 검색과 경량 필터링 덕분에 NS-N2N보다 약 19배, Pixel2Pixel보다 7.5배 빠릅니다.

5. 의의 및 주장

본 논문은 NGPS가 구조 보존형 볼륨 자기 지도 노이즈 제거를 위한 실용적이고 효과적인 전략임을 주장합니다. NGPS는 복잡한 워핑에 의존하거나 데이터를 버리는 대신, 국소적 감독 신호를 검색함으로써 변위된 해부학적 증거를 성공적으로 복구합니다.

저자들은 다음과 같은 점을 강조합니다:

고주파 세부 사항 보존: 경계를 흐리게 만드는 마스킹 방식이나 가장자리를 부드럽게 만드는 레지스트레이션 방식과 달리, NGPS는 날카로운 해부학적 마진을 유지합니다.
무거운 계산량 회피: 조밀한 변형 필드 추정이 필요하지 않아 가볍고 빠릅니다.
우수한 일반화 능력: 다양한 모달리티(CT 및 MRI)와 노이즈 체계(현실적인 Poisson 및 합성 Rician)에서 일관된 성능을 보입니다.

인정된 한계점:
저자들은 NGPS가 검색 윈도우 내에 국소적으로 대응하는 구조가 존재한다고 가정한다는 점을 언급했습니다. 큰 Through-plane 간격, 급격한 해부학적 변화, 또는 비기하학적 외관 변화(예: 염색)가 있을 경우 성능이 저하될 수 있습니다. 또한, 현재의 검증은 MRI에 대해 합성 노이즈를 사용하였으므로, 향후 실제 획득된 저자기장(low-field) MRI 및 임상 다운스트림 태스크에 대한 연구가 필요합니다.