💻 computer science

Progressive $\mathcal{J}$ -Invariant Self-supervised Learning for Low-Dose CT Denoising

본 논문은 쌍을 이루는 정상 선량 데이터에 의존하지 않고도 훈련 비효율성을 극복하고 우수한 저선량 CT 제거 성능을 달성하기 위해 단계별 블라인드 스팟 메커니즘과 제어된 잡음 주입을 갖춘 점진적 $\mathcal{J}$ -불변 자기지도 학습 프레임워크를 제안한다.

원저자: Yichao Liu, Zongru Shao, Yueyang Teng, Junwen Guo

게시일 2026-05-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yichao Liu, Zongru Shao, Yueyang Teng, Junwen Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

환자의 내부를 저선량 X 선 기계로 촬영한 매우 오래되고 입자가 거친 사진이 있다고 상상해 보세요. 이 이미지에는 "눈송이"나 정적 (노이즈) 이 가득 차 있어 의사가 진단에 필요한 미세한 세부 사항을 파악하기 어렵습니다. 보통 이를 정제하려면 컴퓨터가 고선량 기계로 촬영한 동일한 이미지 (완벽한 버전) 를 보며 나쁜 이미지를 어떻게 고쳐야 하는지 학습해야 합니다. 하지만 이러한 완벽한 쌍을 구하는 것은 어렵고 비용이 많이 들며, 때로는 불가능합니다. 환자에게 방사선량을 두 배로 줄 수 없기 때문입니다.

이 논문은 완벽한 참조 이미지 없이도 이러한 입자가 거친 이미지를 정제하는 새로운 방법을 제시합니다. 간단한 비유를 통해 그들이 어떻게 했는지 설명해 보겠습니다.

1. 문제: "블라인드 스팟" 게임

기존 방법들은 "블라인드 스팟"이라는 게임을 통해 이미지를 정제하려 합니다. 이미지 속 특정 픽셀 (작은 점) 뒤에 무엇이 있는지 추측한다고 상상해 보세요. 공정한 추측을 위해 컴퓨터는 해당 점을 가리고 이웃 픽셀만 보고 그 점이 무엇이어야 할지 추측하도록 강요받습니다.

기존 방식: 컴퓨터는 점을 가리고 추측한 뒤 넘어갑니다. 이를 한 번만 수행합니다. 문제는 컴퓨터가 매우 작은 영역만 바라보게 되어 (한 잎만 보고 숲 전체를 이해하려는 것과 같음) 학습 속도가 느리고 종종 더 큰 그림을 놓친다는 점입니다.
새로운 방식 (점진적 J-불변성): 저자들은 한 번의 거대한 도약으로 전체 그림을 추측하는 대신, 단계별로 수행할 수 있음을 깨달았습니다.
- 1 단계: 몇 개의 점을 가리고 그 점들이 무엇인지 추측합니다.
- 2 단계: 1 단계에서 약간 더 깨끗해진 이미지를 가져와, 다른 점들의 집합을 가리고 다시 추측합니다.
- 3 단계: 이 과정을 반복합니다.

진흙 묻은 그림을 복원하는 것과 같습니다. 캔버스 전체를 한 번에 닦아내려 하기보다, 작은 부분을 부드럽게 닦아낸 뒤 마르게 하고, 방금 고친 깨끗한 부분을 이용해 다음 부분을 닦아내는 식입니다. 이렇게 점진적으로 수행함으로써 컴퓨터는 한 번씩 더 많은 세부 사항을 학습하며 조각조각 더 선명한 그림을 만들어냅니다.

2. 비장의 무기: "조절된 혼란"

이 논문은 컴퓨터가 너무 완벽하게 학습하려 하면 "속임수"를 쓰게 된다는 점도 발견했습니다. 노이즈를 제거하는 법을 배우는 대신 노이즈 자체를 외워버릴 수 있기 때문입니다 (이를 과적합이라고 합니다).

이를 막기 위해 저자들은 입력 이미지와 컴퓨터가 맞추려 하는 목표 값 모두에 아주 작은 양의 **조절된 정적 (무작위 노이즈)**을 추가했습니다.

비유: 군중 속에서 얼굴을 인식하도록 학생을 가르친다고 상상해 보세요. 매번 똑같은 사진을 보여주면 학생은 특정 픽셀을 외워버릴 수 있습니다. 하지만 사진에 약간의 안개나 흐림을 추가해 보여주면, 학생은 특정 점뿐만 아니라 얼굴의 실제 모양을 배우도록 강요받게 됩니다. 이러한 "조절된 혼란"은 컴퓨터가 노이즈가 아닌 실제 해부학적 구조를 학습하도록 만듭니다.

3. 결과: 전문가들과의 경쟁

연구진은 이 방법을 실제 의료 데이터 (특히 복부와 가슴의 저선량 CT 스캔) 로 테스트했습니다.

다른 자기 학습식 방법 대비: 그들의 "단계별" 방법은 완벽한 데이터 없이 학습하려는 다른 방법들보다 훨씬 뛰어났습니다.
완벽한 "지도 학습" 방법 대비: 일반적으로 완벽한 참조 이미지 (지도 학습) 를 가진 방법들이 가장 우수합니다. 그러나 이 새로운 방법은 최상위 수준의 지도 학습 방법들과 동등하거나, 때로는 더 나은 성능을 보였습니다.

결론

이 논문은 정제 과정을 작은 점진적 단계로 나누고 컴퓨터가 정직하게 학습하도록 유지하기 위해 약간의 무작위 노이즈를 추가함으로써, 완벽한 참조 이미지가 필요한 최상의 시스템과 거의同등하게 저선량 CT 스캔을 정제할 수 있는 시스템을 개발했다고 주장합니다.

논문에서 얻은 주요 교훈:

완벽한 데이터 불필요: 노이즈가 있는 이미지만으로 작동합니다.
아키텍처 무관: 하단에 어떤 특정 컴퓨터 두뇌 (신경망) 를 사용하든 잘 작동합니다.
효율성: 이전의 "블라인드 스팟" 방법들의 느린 학습 속도를 단계별 학습으로 해결합니다.
안전성: 환자의 방사선량을 늘리지 않고도 의사가 더 선명한 이미지를 볼 수 있도록 돕습니다.

참고: 이 논문은 이미지 처리 기술과 기존 데이터셋에서의 성능에 엄격히 초점을 맞추고 있습니다. 병원 환경에서 실제 환자에게 적용하거나 PET 스캔과 같은 다른 유형의 의료 스캔에 대해 테스트했다고 주장하지는 않습니다.

기술 요약: 저선량 CT 노이즈 제거를 위한 점진적 J-불변 자기지도 학습

문제 제기

저선량 컴퓨터 단층촬영 (LDCT) 은 암 선별 및 폐 결절 검출과 같은 임상 환경에서 방사선 노출을 줄이는 데 필수적입니다. 그러나 감소된 방사선 선량은 본질적으로 상당한 노이즈와 아티팩트를 유발하여 이미지 선명도와 진단적 확신을 저해합니다. 지도 학습 기반의 딥러닝 방법 (예: U-Net, RED-CNN) 은 강력한 노이즈 제거 성능을 달성해 왔으나, 윤리적 및 방사선 제약으로 인해 종종 희귀하거나 획득이 불가능한 정상 선량 CT(NDCT) 와 LDCT 의 쌍을 갖춘 데이터에 크게 의존합니다.

기존의 자기지도 학습 대안, 특히 Noise2Void 및 Noise2Self 와 같은 '블라인드 스팟 (blind-spot)' 방법들은 조건부 독립성 (J-불변성) 을 강제함으로써 깨끗한 목표 데이터의 필요성을 제거하려 시도합니다. 여기서 한 픽셀의 예측은 그 자체의 노이즈가 포함된 관측치와 독립적입니다. 그러나 이러한 기존 접근법은 두 가지 주요 한계를 겪습니다:

학습 비효율성: 이들은 일반적으로 제한된 수용 영역 (receptive fields) 을 가진 단일 단계로 조건부 독립성을 부과하여 구조적 세부 사항의 학습을 최적화하지 못합니다.
과적합 및 불안정성: 깨끗한 참조 데이터가 없기 때문에, 이러한 모델은 노이즈에 과적합되거나 LDCT 의 복잡하고, 가우시안이 아니며, 공간적으로 상관된 노이즈 특성 (자연 이미지 노이즈 제거에서 종종 가정되는 가산 노이즈 모델과 다름) 에 대해 강건한 문맥적 특징을 학습하지 못하는 경향이 있습니다.

방법론

저자들은 LDCT 노이즈 제거를 개선하기 위해 다단계 학습 과정을 통해 J-불변 속성의 활용도를 극대화하도록 설계된 새로운 자기지도 프레임워크인 **점진적 J-불변 학습 (PJSL)**을 제안합니다.

핵심 메커니즘

이 방법은 노이즈 제거 작업을 단일 단계 매핑이 아닌 시간적 점진적 과정으로 재정의합니다.

단계별 블라인드 스팟 노이즈 제거: 단일 순방향 통과 대신 네트워크는 $K$ 개의 시간 단계에 걸쳐 작동합니다. 각 단계 $t$ 에서 노이즈가 제거된 출력 $\hat{x}_t$ 는 다음 단계 $\hat{x}_{t+1}$ 의 입력으로 사용됩니다.
점진적 마스킹: J-불변성을 강제하기 위해 각 시간 단계에서 입력에 무작위 이진 마스크 $M$ 이 적용됩니다. 이 마스크는 원시 LDCT 입력 또는 중간 노이즈 제거된 출력 중 하나에 적용됩니다. 이 전략은 점진적 노이즈 제거 단계를 '점진적으로 증폭된 데이터 증강'으로 간주하여 네트워크가 여러 단계에 걸쳐 구조적 세부 사항을 점진적으로 정제하고 문맥 정보를 집계할 수 있게 합니다.
제어된 노이즈 주입: 과적합을 방지하고 픽셀 상관관계 학습을 개선하기 위해 저자들은 학습 중 입력과 목표 모두에 제어된 평균이 0 인 가산 백색 가우시안 노이즈 (AWGN) 를 주입합니다. 이론적 분석에 따르면 노이즈가 독립적이고 평균이 0 인 경우, 노이즈가 포함된 입력과 노이즈가 포함된 목표 간의 손실을 최소화하는 것은 간접적으로 네트워크 출력과 깨끗한 정답 (ground truth) 간의 지도 학습 손실을 최소화합니다.

학습 및 추론

학습: 단일 모델이 다양한 무작위 마스크를 가진 서로 다른 시간 단계에 걸쳐 학습됩니다. 손실 함수는 마스크가 적용되고 노이즈가 교란된 입력과 노이즈가 교란된 목표 간의 차이를 최소화합니다.
추론: 테스트 중에는 동일한 LDCT 이미지의 서로 다른 마스크 버전 $k$ 개가 학습된 모델에 입력됩니다. 최종 노이즈 제거 이미지는 앙상블 효과를 활용하여 결과를 안정화시키기 위해 해당 출력들을 평균화하여 얻습니다.

주요 기여

점진적 J-불변 전략: 이 논문은 기존 블라인드 스팟 방법의 학습 비효율성을 극복하는 단계별 마스킹 및 노이즈 제거 메커니즘을 소개합니다. 조건부 독립성을 점진적으로 강제함으로써 모델은 미세한 해부학적 구조를 더 효과적으로 복원하는 법을 학습합니다.
노이즈 기반 정규화: 저자들은 입력과 목표 모두에 제어된 가우시안 노이즈를 명시적으로 주입합니다. 이는 J-불변 가정을 위반하지 않으면서 과적합을 완화하고 자기지도 학습 과정의 강건성을 향상시키는 정규화 메커니즘으로 작용합니다.
아키텍처 무관 성능: 제안된 전략은 다양한 백본 아키텍처 (U-Net, Swin-Unet, RED-CNN) 와 호환되는 것으로 입증되었으며, 서로 다른 네트워크 설계 전반에 걸쳐 일관된 개선을 제공합니다.
이론적 정당성: 이 논문은 깨끗한 NDCT 목표가 부재하더라도 제안된 노이즈 주입 및 점진적 손실 공식화가 지도 학습 손실 최소화 목표와 일치함을 보여주는 이론적 유도를 제공합니다.

실험 결과

광범위한 실험은 27 명의 환자를 학습용, 9 명을 평가용으로 활용하여 (피험자 수준 분리를 보장) Mayo LDCT 그랜드 챌린지 데이터셋에서 수행되었습니다.

정량적 성능: 제안된 방법 (PJSL) 은 모든 지표 (PSNR, SSIM, RMSE) 에서 기존 자기지도 접근법 (Noise2Void, Neighbor2Neighbor, BM3D) 보다 일관되게 우수한 성능을 보였습니다.
- 복부 데이터셋에서 U-Net 백본을 사용한 PJSL 은 31.510 dB 의 PSNR 을 달성하여 지도 학습 기반 RED-CNN(31.748 dB) 을 능가하고 다른 자기지도 방법들을 크게 앞섰습니다.
- 더 까다로운 흉부 데이터셋에서 PJSL 은 18.131 dB 의 PSNR 을 달성하여 지도 학습 기반 RED-CNN(19.792 dB) 과 자기지도 기준선들을 능가했습니다.
지도 학습 방법과의 비교: PJSL 은 짝을 이룬 NDCT 데이터가 필요하지 않으면서 대표적인 지도 학습 방법 (예: CycleGAN, RED-CNN) 과 유사하거나 경우에 따라 더 우수한 성능을 달성했습니다.
애블레이션 연구:
- 시간 단계 ( $k$ ): $k$ 가 1 에서 5 로 증가함에 따라 성능이 향상되어 $k=5$ 에서 최적에 도달했습니다. 추가 증가는 오차 누적으로 인해 성능 저하를 초래했습니다.
- 노이즈 주입: 점진적 마스킹과 노이즈 주입을 결합하는 것이 가장 좋은 결과를 낳았으며, 이는 노이즈 주입이 입력과 목표 간의 높은 유사성으로 인한 과적합을 방지함을 확인시켜 주었습니다.
- 마스킹 비율 ( $\alpha$ ): 0.1 의 최적 마스킹 비율이 확인되었으며, 더 낮은 비율은 약한 감독을 제공하고 더 높은 비율은 너무 많은 문맥 정보를 제거했습니다.

중요성 및 주장

이 논문은 PJSL 이 모델 복잡성을 증가시키지 않으면서 자기지도 및 지도 학습 노이즈 제거 방법 간의 성능 격차를 크게 좁힌다고 주장합니다. 전통적인 블라인드 스팟 네트워크의 학습 비효율성과 자기지도 학습에 내재된 과적합 문제를 해결함으로써, 이 방법은 짝을 이룬 깨끗한 데이터가 없는 시나리오에서 고품질 LDCT 노이즈 제거를 가능하게 합니다.

저자들은 그들의 접근 방식이 Noise2Noise(짝을 이룬 노이즈가 포함된 관측치 필요) 의 제한적인 가정과 지도 학습의 데이터 희소성 제약을 완화한다고 강조합니다. 그들은 NDCT-LDCT 쌍 획득이 불가능한 임상 환경에서 실용적인 해결책으로 이 방법을 위치시키며, 노이즈 제거와 중요한 해부학적 세부 사항의 보존 사이의 균형을 맞추는 강건하고 아키텍처 무관한 프레임워크를 제시합니다. 이 연구는 깊은 점진적 단계에서의 오차 누적에 관한 한계와 현재 LDCT 데이터셋으로의 제한을 언급하며, LDPET 과 같은 다른 영상 모달리티로의 향후 확장을 제안합니다.