A neural operator view on U-Nets for inverse imaging problems

기술 요약: 역 이미지 문제를 위한 U-Net에 대한 뉴럴 오퍼레이터 관점

문제 정의
심층 신경망, 특히 U-Net은 불량 설정된(ill-posed) 역 이미지 문제를 해결하는 데 있어 경험적인 성공을 거두어 왔다. 그러나 대부분의 실질적인 응용 사례에서는 문제의 이산화(해상도 $N_f$ 및 $N_u$)를 고정된 것으로 취급하며, 연속적인 역 문제가 가진 무한 차원의 본질을 간과한다. 해상도가 높아짐에 따라, 이산화된 문제는 조건이 나쁜(ill-conditioned) 상태에서 진정한 의미의 불량 설정(ill-posed) 상태로 전이된다. 본 연구가 다루는 핵심 질문은, 입력의 이산화와 독립적으로 연산자(operator)를 학습하는 것을 목표로 하는 **뉴럴 오퍼레이터 학습(Neural Operator Learning)**의 관점에서 U-형 구조를 어떻게 해석할 것인가이다. 구체적으로, 저자들은 U-형 구조가 다양한 해상도에 걸쳐 일반화될 수 있는지, 그리고 합성곱 계층을 서로 다른 해석(적분 연산자 대 미분 연산자)으로 바라보는 것이 이러한 일반화에 어떤 영향을 미치는지 조사한다.

방법론
저자들은 합성곱 계층에 대한 서로 다른 해석을 바탕으로 다양한 U-Net 구조를 분석하고 구축한다:

1. 고전적 U-Net (Classical U-Net): 고정된 커널 크기, 다운샘플링, 업샘플링 및 스킵 연결을 사용하는 표준 아키텍처.
2. 스펙트럴 U-Net (Spectral U-Net, 적분 연산자 관점): 푸리에 뉴럴 오퍼레이터(FNO)에서 영감을 얻은 이 방식은 합성곱을 적분 연산자의 근사로 해석한다. 커널은 그들의 푸리에 계수에 의해 매개변수화된다. 이 아키텍처는 커널이 삼각 보간(푸리에 영역에서의 제로 패딩)을 통해 입자의 크기에 맞게 조정되는 스펙트럴 합성곱을 활용한다. 두 가지 변형이 테스트된다: 리사이징을 하지 않는 방식(순수 스펙트럴)과 명시적인 삼각 리사이징을 사용하는 방식.
3. 미분 U-Net (Differential U-Net): 이 방식은 합성곱을 이산화된 미분 연산자(유한 차분)로 해석한다. 저자들은 미분을 근사하기 위해 공간 단계 크기의 역수로 합성곱을 스케일링하는 "미분 합성곱 계층"을 제안한다. 항등 연산자(identity operator)를 근사하는 능력을 유지하기 위해, 잔차 연결(residual connections)이 계층 정의 내에 직접 통합된다.
4. 국소 보간 (Local Interpolation): 전체 스펙트럴 커널의 높은 메모리 비용을 해결하기 위해, 저자들은 작은 크기의 고정된 국소 커널(예: piecewise bilinear)을 입력 해상도에 맞게 보간하는 방법을 탐구하여, 공간적 국소성과 적분 연산자 근사 방식을 결합하고자 한다.
5. 비교 아키텍처: 본 연구에는 기존의 뉴럴 오퍼레이터 아키텍처인 합성곱 뉴럴 오퍼레이터(CNO) 및 U-형 뉴럴 오퍼레이터(U-NO)와의 비교가 포함된다.

실험 설정
저자들은 두 가지 작업에 대해 광범한 수치 실험을 수행한다:

• 1D 토이 예제 (1D Toy Example): 희소 신호 디블러링(Sparse signal deblurring). 이는 다양한 해상도에서 희소 신호의 재구성이 서로 다른 커널 처리 전략(고정, 선형 보간, 스펙트럴 보간)에 의해 어떻게 영향을 받는지 테스트하기 위한 통제된 환경 역할을 한다.
• 제한된 각도 CT 후처리 (Limited Angle CT Post-Processing): 제한된 각도 토모그래피 재구성에서 스트리킹 아티팩트(streaking artifacts)를 제거하는 것을 목표로 하는 실질적인 영상 적용 사례. 모델은 특정 해상도(64, 128, 256)의 데이터로 학습되며, 다음 항목에 대해 테스트된다:
  • 동일한 해상도 (고정).
  • 보지 못한 해상도 (일반화).
  • 혼합 해상도 학습 세트.
  • 학습 해상도로 리사이징된 입력.

주요 결과

• 고전적 U-Net: 표준 U-Net이 해상도에 특화되어 있다는 예상과는 반대로, 고전적 U-Net은 해상도 변화에 대해 놀라운 견고함을 보여주었다. 성능은 학습 해상도에서 최적이었으나, 다른 해상도로도 상당히 잘 일반화되었다. 혼합 해상도로 학습하는 것은 저해상도로의 일반화를 개선했지만, 피크 성능을 약간 감소시켰다. 입력을 학습 해상도로 리사이징하는 것은 성능을 크게 향상시켰으며, 이는 이 아키텍처가 본질적으로 해상도 불변적이지는 않지만 해상도 정렬의 이점을 얻음을 시사한다.
• 스펙트럴 U-Net: 이 아키텍처들은 강력한 해상도 독립성을 보여주었다. 단일 해상도로 학습된 모델은 높은 해상도로 잘 일반화되었으나, 낮은 해상도에서는 성능이 저하되었다. 결정적으로, 입력을 학습 해상도로 리사이징하는 것은 성능을 감소시켰는데, 이는 스펙트럴 매개변수화가 리사이징 과정에서 발생하는 보간 오차에 민감함을 나타낸다. 혼합 해상도로 학습하는 것은 개선을 가져오지 못했다.
• 미분 U-Net: 가장자리 케이스(edge cases)를 위한 임계값 설정 등 추가적인 적응 없이 단순히 표준 합성곱을 미분 계층으로 교체하는 것은 성능을 현저히 떨어뜨리고 학습을 불안정하게 만들었다. 이 아키텍처는 보지 못한 해상도로 일반화하는 데 실패했으며, 이는 단순한 치환이 해상도 불변성을 구현하지 못한다는 것을 확인시켜 주었다.
• CNO 및 U-NO: CNO와 U-NO 아키텍처는 스펙트럴 변형들과 유사한 성능을 보였으나, 높은 메모리 요구 사항과 CNO의 경우 고정된 입력 해상도 제약을 가졌다. U-NO는 실수 텐서(real tensors)에 대한 스펙트럴 합성곱의 구현 특성 때문인지, 짝수 및 홀수 해상도 사이에서 "지그재그" 형태의 성능 패턴을 보였다.
• 효율성: 스펙트럴 및 CNO/U-NO 아키텍처는 고전적 U-Net보다 훨씬 더 많은 파라미터와 메모리(최대 10배)를 요구했다.

의의 및 주장
본 논문은 고전적 딥러닝과 뉴럴 오퍼레이터 이론 사이의 간극을 메움으로써, 무한 차원 환경에서의 U-Net에 대한 이해에 기여한다.

• 해상도 불변성: 저자들은 U-형 뉴럴 오퍼레이터 아키텍처가 해상도 불변성을 갖도록 설계되었음에도 불구하고, 고전적 U-Net이 예상보다 해상도 변화에 더 견고하다는 것을 발견했다. 이는 표준적인 이산화 접근 방식이 명시적인 연산자 학습 메커니즘 없이도 교차 해상도 일반화를 가능하게 하는 내재적 특성을 가질 수 있음을 시사한다.
• 미분 계층의 한한계: 본 연구는 계층을 미분 연산자로 해석하는 것만으로는 해상도 불변성을 달�성하기에 불충분하며, 스케일링 및 특이점(예: 가장자리) 처리를 위해 더 정교한 아키텍처 설계가 필요함을 강조한다.
• 실질적 트레이드오프: 결과는 스펙트럴 방식의 이론적 해상도 불변성과 고전적 U-Net의 실질적 효율성 및 견고성 사이의 트레이드오프를 시사한다. 저자들은 실질적인 역 이미지 문제를 위해 고전적 U-Net이 여전히 경쟁력이 있으며, 만약 뉴럴 오퍼레이터를 사용한다면, 계산 가능성을 높이기 위해 더 효율적이고 국소적으로 제한된 매개변수화(보간과 국소 커널의 결합)가 필요하다고 결론짓는다.

본 연구는 모든 역 문제에 대한 일반화 문제를 해결한다고 주장하는 것이 아니라, 제한된 각도 CT 및 신호 디블러링 맥락에서 서로 다른 아키텍처 선택이 해상도 전이성에 미치는 영향에 대한 경험적 증거와 이론적 도출을 제공한다.