NOIR: Neural Operator mapping for Implicit Representations

이 논문은 고정된 그리드 기반의 기존 패러다임을 넘어 연속 함수 공간 간의 연산자 학습을 통해 해상도에 구애받지 않는 의료 영상 처리를 가능하게 하는 'NOIR' 프레임워크를 제안하고, 다양한 2D 및 3D 의료 영상 태스크에서 우수한 성능과 견고성을 입증합니다.

핵심

1. 기존 방식의 문제: "픽셀의 감옥"

지금까지 의료 영상을 분석하는 AI 들은 사진을 픽셀 (점) 의 나열로만 보았습니다. 마치 모자이크 그림을 보듯, 각 점의 색을 하나하나 계산해서 "여기는 뼈, 저기는 근육"이라고 판단했습니다.

• 비유: imagine 레고 블록으로 만든 성을 생각해보세요.
  • 기존 AI 는 이 레고 블록의 개수와 색만 보고 성을 이해합니다.
  • 문제점: 만약 레고 블록을 더 크게 만들거나 (해상도 낮음), 더 작게 쪼개서 (해상도 높음) 다시 조립하면, 기존 AI 는 당황합니다. 블록 크기가 바뀌면 성의 모양이 달라 보이기 때문에 "이건 성이 아니야"라고 오해하거나, 엉뚱한 모양을 만들어냅니다. 즉, 이미지 크기가 바뀌면 성능이 급격히 떨어집니다.

2. NOIR 의 혁신: "연속적인 물감 그림"

NOIR 는 이 문제를 해결하기 위해 이미지를 '점'이 아니라 '연속적인 물감 그림'으로 봅니다.

• 비유: 레고 블록 대신 유리창에 그려진 그림을 상상해보세요.
  • 유리창에 그려진 그림은 확대하든 축소하든, 선이 끊어지지 않고 부드럽게 이어집니다.
  • NOIR 는 의료 영상을 **수학적인 함수 (연속적인 곡선)**로 변환합니다. 이렇게 하면 이미지의 크기 (해상도) 가 어떻게 변하든 AI 는 "아, 이건 같은 그림이구나"라고 정확히 알아챕니다.

3. NOIR 의 작동 원리: "요리사와 레시피"

NOIR 는 크게 두 단계로 작동합니다.

1. 단계 1: 그림을 '요리법'으로 변환 (Implicit Neural Representation)
   • 입력된 의료 영상 (예: X-ray) 을 AI 가 분석해서, 그 영상의 특징을 담은 **간단한 '요리법 (잠재 코드)'**으로 바꿉니다.
   • 이 요리법은 그림의 크기와 상관없이 항상 같은 맛 (정보) 을 담고 있습니다.
2. 단계 2: '요리법'을 변환하는 마법 (Neural Operator)
   • 이제 AI 는 실제 그림을 직접 바꾸는 게 아니라, 요리법 (코드) 을 다른 요리법으로 변환합니다.
   • 예: "폐암 진단용 요리법"을 "폐암 치료 계획용 요리법"으로 바꾼 뒤, 그 결과를 다시 그림으로 그려냅니다.

4. 왜 이것이 대단한가요? (실제 효과)

이 논문은 NOIR 가 여러 가지 의료 임무에서 얼마나 뛰어난지 실험했습니다.

• 해상도 무관성 (Resolution Independence):
  • 비유: 레고 성을 100 조각으로 만들든 10,000 조각으로 만들든, NOIR 는 똑같은 정확도로 성을 인식합니다. 기존 AI 들은 조각 수가 바뀌면 엉망이 되는데, NOIR 는 어떤 크기에서도 안정적입니다.
• 다양한 임무 해결:
  • 분할 (Segmentation): X-ray 에서 폐나 심장을 정확히 잘라냅니다.
  • 복원 (Completion): 깨진 두개골 (SkullBreak) 을 AI 가 빈 부분을 채워 완성합니다.
  • 변환 (Translation): MRI 영상에서 CT 영상처럼 바꾸거나, 초음파 영상을 더 선명하게 만듭니다.
• 결과: 기존 최고의 AI 들 (U-Net, Vision Transformer 등) 과 비교했을 때, 같은 해상도에서는 비슷하거나 더 좋은 성능을 내면서도, 저해상도 (작은 이미지) 상황에서는 압도적으로 더 잘 작동했습니다.

5. 요약: NOIR 가 가져온 변화

특징	기존 AI (레고 블록)	NOIR (유리창 그림)
데이터 표현	고정된 점 (픽셀) 의 나열	연속적인 수학적 함수
크기 변화	크기가 바뀌면 성능 떨어짐	크기 변화에 강함 (Robust)
작동 방식	픽셀 단위로 계산	함수 간의 변환 (연산자 학습)
장점	익숙하고 빠름	어떤 해상도에서도 일관된 정확도

결론

NOIR 는 의료 AI 가 "이미지 크기"라는 제약에서 벗어나, 진짜 의미 있는 정보 (함수) 를 직접 이해하는 단계로 나아가게 했습니다.

마치 레고 장난감을 조립하는 방식에서 유리창에 그림을 그리는 방식으로 바뀐 것과 같습니다. 이제 의사는 어떤 장비로 찍었든, 어떤 크기로 보더라도 AI 가 일관되고 정확한 진단을 도와줄 수 있게 된 것입니다. 이는 향후 의료 영상 분석의 새로운 표준이 될 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

의료 영상 컴퓨팅 분야에서 현재 주류를 이루는 딥러닝 방법론은 이미지를 **이산적인 격자 (discrete grid, 픽셀 또는 볼륨)**로 표현하고 처리합니다. 그러나 의료 영상은 본질적으로 연속적인 물리적 영역에서 유래하며, 임상 워크플로우에서 재샘플링, 보간, 변환 등을 거칩니다.

기존 격자 기반 모델의 주요 한계는 다음과 같습니다:

• 해상도 민감성: 학습된 격자 해상도와 다른 해상도 (다운샘플링 또는 업샘플링) 의 입력에 대해 성능이 급격히 저하되거나 아일리어싱 (aliasing) 오류가 발생합니다.
• 물리적 불일치: 연속적인 신호를 이산적인 그리드로 강제 변환하는 과정에서 정보 손실이나 아티팩트가 발생할 수 있습니다.

이러한 문제를 해결하기 위해, 저자들은 의료 영상 처리 작업을 이산적인 그리드 예측이 아닌, 연속 함수 공간 간의 연산자 학습 (Operator Learning) 문제로 재정의할 것을 제안합니다.

2. 방법론 (Methodology: NOIR Framework)

**NOIR (Neural Operator mapping for Implicit Representations)**은 두 가지 핵심 블록으로 구성된 프레임워크입니다.

가. 연속 함수 표현 (Continuous Function Representation)

• 임시 신경 표현 (INR, Implicit Neural Representations) 활용: 입력된 이산적인 의료 신호 (이미지, 마스크 등) 를 연속적인 함수로 매핑합니다.
• 메타러닝 및 자동 디코더 (Auto-decoder) 구조:
  • 데이터셋 전체에 공유되는 파라미터 ($\theta$) 와 각 신호별 고유한 잠재 변수 (latent vector, $z_i$) 를 학습합니다.
  • 하이퍼네트워크 (Hypernetwork): 잠재 변수 $z_i$를 입력받아 INR 의 가중치를 조절하는 모뮬레이션 파라미터 ($\gamma_i$) 를 생성합니다.
  • 학습 과정: 각 샘플에 대해 내부 루프 (inner loop) 를 통해 잠재 변수 $z_i$를 최적화하여 해당 신호를 연속 함수로 근사화하고, 외부 루프 (outer loop) 를 통해 공유 파라미터를 업데이트합니다.
• 결과: 입력/출력 데이터가 모두 해상도에 독립적인 연속 함수 표현 ($f(x)$, $g(x)$) 으로 변환됩니다.

나. 신경 연산자 매핑 (Neural Operator Mapping)

• 함수 간 매핑 학습: 변환된 입력 함수의 잠재 표현 ($z_{in}$) 과 출력 함수의 잠재 표현 ($z_{out}$) 사이의 매핑을 학습하는 신경 연산자 ($T$) 를 도입합니다.
• 구현: 간단한 다층 퍼셉트론 (MLP) 을 사용하여 $z_{in} \to z_{out}$의 관계를 학습합니다.
• 추론: 새로운 입력이 들어오면, 먼저 해당 입력의 잠재 변수 $z_{in}$을 최적화한 후, 학습된 연산자 $T$를 통해 $z_{out}$를 예측하고, 이를 다시 출력 INR 을 통해 임의의 해상도로 재구성합니다.

다. 이론적 보장 ($\epsilon$-ReNO)

• NOIR 은 Bartolucci et al. 이 제안한 **표현 동등 신경 연산자 (Representation equivalent Neural Operator, ReNO)**의 조건을 만족합니다.
• 이는 입력의 이산화 (해상도) 가 달라지더라도 연산자의 출력이 일관되게 유지됨을 의미하며, 아일리어싱 오류를 최소화하여 해상도 불변성 (Resolution Invariance) 을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 패러다임 전환: 의료 영상 분석의 표준이 된 격자 기반 딥러닝에 도전하여, 이미지를 이산 격자가 아닌 연속 함수로 표현하고 처리하는 새로운 관점을 제시했습니다.
2. 범용 프레임워크 제안: 분할 (Segmentation), 형상 완성 (Shape Completion), 이미지 합성 (Synthesis), 이미지 간 번역 (Translation) 등 다양한 하위 작업을 INR 과 신경 연산자를 결합한 단일 프레임워크로 통합했습니다.
3. 해상도 불변성 입증: 학습된 해상도와 다른 해상도 (보지 못한 해상도) 에서도 안정적인 성능을 발휘하며, 이론적으로 요구되는 신경 연산자의 핵심 속성 (함수 공간 간 매핑, 아일리어싱 오류 최소화) 을 실험적으로 입증했습니다.
4. 다양한 데이터셋에서의 검증: 2D/3D 의료 영상 (흉부 X-ray, 뇌 MRI, 두개골 CT, 초음파, MRI 등) 을 포함한 여러 공개 및 자체 데이터셋에서 기존 SOTA 모델들과 비교 평가했습니다.

4. 실험 결과 (Results)

NOIR 은 다음과 같은 다양한 작업에서 기존 모델 (U-Net, ViT, AttU-Net, FNO, DDPM 등) 과 비교하여 우수한 성능을 보였습니다.

• 이미지 분할 (Segmentation):
  • Shenzhen (X-ray) 및 OASIS-4 (MRI): 10%, 25%, 100% 해상도 모두에서 높은 Dice Similarity Coefficient (DSC) 를 기록했습니다. 특히 저해상도 입력에서 U-Net, ViT 등 격자 기반 모델들의 성능이 급격히 떨어지는 반면, NOIR 은 높은 해상도에서와 유사한 성능을 유지했습니다.
• 형상 완성 (Shape Completion):
  • SkullBreak (두개골): 결손된 두개골을 완성하는 작업에서 NOIR 은 FNO 나 ViT 와 유사한 성능을 내며, 특히 저해상도 조건에서 가장 안정적인 결과를 보였습니다. (다만, 매우 미세한 기하학적 세부 사항 복원에는 한계가 있음)
• 이미지 번역 및 합성 (Translation & Synthesis):
  • fastMRI (MRI 간 번역) 및 초음파 합성: PSNR 및 SSIM 지표에서 DDPM 및 다른 생성 모델들을 능가하거나 경쟁력 있는 성능을 보였습니다. 특히 초음파 합성에서 NOIR 은 U-Net 기반 모델들이 겪는 과도한 평활화 (over-smoothing) 문제를 피하고 더 선명한 이미지를 생성했습니다.
• 해상도 강건성 (Resolution Robustness):
  • 다양한 입력 해상도 (32x32 ~ 200x200) 에서 테스트한 결과, NOIR 은 입력 해상도 변화에 따른 성능 편차가 거의 없었으며, 이는 $\epsilon$-ReNO 이론적 특성이 잘 구현되었음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 유용성: 의료 영상은 획득 장비나 프로토콜에 따라 해상도와 간격이 다양합니다. NOIR 과 같은 해상도 불변 (Resolution-invariant) 모델은 이러한 이질적인 데이터 환경에서 일관된 진단 보조 도구로 활용될 수 있습니다.
• 아키텍처의 모듈성: 입력 INR, 출력 INR, 신경 연산자가 분리되어 학습되므로, 새로운 작업에 대해 일부 구성 요소만 재학습하거나 재사용할 수 있어 유연성이 높습니다.
• 한계 및 향후 과제: 현재는 지도 학습 (Supervised Learning) 에 의존하며, 쌍을 이루는 데이터 (Ground Truth) 가 필요합니다. 또한, 고차원 잠재 공간에서의 연산자 학습 복잡도가 증가할 수 있습니다. 향후 비지도 학습 (예: 이미지 등록) 으로 확장하고, 잠재 공간 크기와 학습 안정성 간의 균형을 연구할 계획입니다.

요약하자면, NOIR 은 의료 영상 처리를 '픽셀 단위 예측'이 아닌 '연속 함수 간의 변환'으로 접근함으로써, 해상도 변화에 강건하고 이론적으로 타당한 새로운 딥러닝 패러다임을 제시한 획기적인 연구입니다.