SuperF: Neural Implicit Fields for Multi-Image Super-Resolution

기술 요약: SuperF: 다중 이미지 초해상도를 위한 신경 암시적 필드

1. 문제 제기

고해상도 이미지는 센서의 한계, 대기 간섭, 획득 비용 등으로 인해 자주 제약받으며, 이는 위성 원격 감지부터 스마트폰 사진 촬영에 이르기까지 다양한 분야에 영향을 미칩니다. 단일 이미지 초해상도 (SISR) 방법은 고해상도 (HR) 데이터셋에서 학습된 강력한 사전 지식을 사용하여 이 역문제를 해결하려 시도하지만, 종종 현실과 괴리된 "환각" 구조를 생성합니다. 이는 충실도가 중요한 과학 및 의료 응용 분야에 특히 문제가 됩니다.

다중 이미지 초해상도 (MISR) 는 서브픽셀 시프트로 캡처된 여러 저해상도 (LR) 프레임을 활용함으로써 대안을 제시합니다. 이러한 시프트는 다양한 앨리어싱 아티팩트를 도입하는데, 이를 결합하면 근본적인 HR 신호를 재구성하는 데 보완적인 정보를 제공합니다. 그러나 기존 MISR 접근법은 대규모 쌍을 이룬 LR-HR 데이터셋 (획득 비용이 높음) 이 필요한 감독 학습이나, 정확한 서브픽셀 정렬에 어려움을 겪거나 명시적 등록과 같은 복잡한 전처리 단계를 요구할 수 있는 테스트 시간 최적화 (TTO) 방법에 의존하는 경우가 많습니다.

2. 방법론

저자들은 HR 훈련 데이터가 필요 없는 MISR 문제를 해결하기 위해 **암시적 신경 표현 (INR)**을 활용하는 테스트 시간 최적화 (TTO) 접근법인 SuperF를 제안합니다.

핵심 아키텍처:

• 공유 INR: 이 방법은 2D 좌표를 RGB 강도로 매핑하는 연속 함수로 작용하는 좌표 기반의 다층 퍼셉트론 (MLP) 을 사용합니다. 이 MLP 는 모든 입력 LR 프레임에 걸쳐 공유되어 근본적인 연속 HR 신호를 효과적으로 표현합니다.
• 연합 최적화: 정렬과 재구성을 별도로 처리하는 이전 방법들과 달리, SuperF 는 다음을 연합적으로 최적화합니다:
  1. 공유 MLP 의 매개변수 (HR 신호).
  2. 기준 프레임에 대한 각 LR 프레임의 서브픽셀 정렬.
• 아핀 변환 매개변수화: 유사한 버스트 퓨전 작업에서 수행된 것처럼 변환 행렬을 추정하기 위한 별도의 네트워크를 사용하는 대신, SuperF 는 각 프레임에 대한 아핀 변환을 학습 가능한 이동 ($\Delta x, \Delta y$) 및 회전 ($\alpha$) 매개변수를 사용하여 직접 매개변수화합니다. 기준 프레임은 참조 좌표계 ($A^{(1)} = I$) 로 고정됩니다.
• 스펙트럼 투영: 프레임 간 밝기 및 대비 변동을 처리하기 위해 모델은 스펙트럼 대역별 스케일 및 시프트를 갖는 프레임별 스펙트럼 투영 레이어를 포함하며, 이는 정렬과 함께 최적화됩니다.

주요 기술 구성 요소:

• 초샘플링 전략: 좌표 기반 MLP 의 스펙트럼 편향 (저주파수를 먼저 학습하는 경향) 을 극복하기 위해, 모델은 목표 출력 해상도에 해당하는 고해상도 좌표 그리드에서 최적화됩니다. 그런 다음 출력은 손실 계산을 위해 LR 입력 프레임과 일치하도록 다운샘플링 (평균 풀링/박스카 필터를 통해) 됩니다. 이는 네트워크가 LR 제약 조건을 충족하는 데 필요한 고주파수 세부 정보를 학습하도록 강제합니다.
• 위치 인코딩: MLP 입력 좌표는 네트워크가 고주파수 신호를 효과적으로 표현할 수 있도록 푸리에 특징 (무작위 사인/코사인 기저 함수) 을 사용하여 변환됩니다. 이러한 특징의 스케일은 도메인별입니다 (예: 위성은 $\sigma=10$, 지상 수준은 $\sigma=3$).
• 불확실성 추정: 노이즈 (예: 위성 이미지의 구름 또는 센서 노이즈) 를 처리하기 위해 MLP 는 RGB 값과 함께 픽셀별 불확실성 추정치 (로그 분산) 를 출력합니다. 최적화는 가우시안 음의 로그 가능도 (GNLL) 손실을 최소화하여, 모델이 완벽한 재구성을 강제하는 대신 노이즈가 있는 픽셀에 대해 분산 추정치를 증가시킬 수 있게 함으로써 견고성을 향상시킵니다.

3. 주요 기여

1. SuperF 알고리즘: 여러 시프트된 LR 프레임에 걸쳐 INR 을 공유하면서 서브픽셀 정렬을 연합적으로 최적화하는 새로운 MISR 을 위한 TTO 방법입니다. 저자들은 아핀 변환을 직접 매개변수화하고 초샘플링된 그리드에서 최적화하는 것이 INR 을 MISR 에 적응시키는 데 중요함을 입증합니다.
2. 개선된 정렬 및 표현: 변환을 직접 매개변수화하고 초샘플링을 사용함으로써, 이 방법은 기존 INR 베이스라인에 비해 우수한 서브픽셀 정렬과 HR 신호의 더 연속적인 표현을 달성합니다.
3. SatSynthBurst 데이터셋: MISR 연구를 촉진하기 위해 오픈 HR 이미지에서 파생된 제어된 서브픽셀 시프트와 노이즈를 특징으로 하는 합성 위성 버스트 데이터셋을 도입했습니다.
4. 도메인 일반화: 이 접근법은 위성 이미지와 지상 수준 핸드헬드 카메라 버스트 모두에서 검증되어 도메인별 사전 훈련 없이 다양한 도메인에 걸쳐 견고함을 입증했습니다.

4. 실험 결과

이 방법은 $\times2$, $\times4$, $\times8$의 업샘플링 인자를 가진 SatSynthBurst(합성 위성) 및 SyntheticBurst(지상 수준 핸드헬드) 데이터셋에서 평가되었습니다.

• 성능: SuperF 는 steerable 커널 회귀 (Lafenetre 등, 2023) 및 수정된 INR 버스트 퓨전 접근법 (NIR, Nam 등, 2022) 을 포함한 최첨단 TTO 베이스라인을 능가합니다.
  • SatSynthBurst에서 SuperF(GNLL 손실) 는 $\times2$에서 37.26, $\times4$에서 34.03, $\times8$에서 29.28의 PSNR 을 달성하여 이선형 베이스라인 및 기타 모든 방법을 크게 능가했습니다.
  • SyntheticBurst에서 SuperF 역시 일관되게 베이스라인을 능가하여 $\times2$에서 29.48, $\times4$에서 27.47, $\times8$에서 26.58의 PSNR 을 달성했습니다.
• 애블레이션 연구:
  • 연합 정렬 최적화를 제거하면 이선형 업샘플링과 비슷하거나 더 나쁜 성능 저하가 발생하여 서브픽셀 정렬이 중요함을 확인시켜 주었습니다.
  • 아핀 변환을 추정하기 위해 별도의 MLP 를 사용하는 것보다 직접 매개변수화하는 것이 더 효과임이 입증되었습니다.
  • 초샘플링 전략이 정렬 오차를 줄이고 재구성 품질을 향상시키는 데 필수임이 입증되었습니다.
• 실제 적용: 이 방법은 다양한 구름 덮임과 노이즈 수준을 처리하는 실제 Sentinel-2 위성 이미지에 성공적으로 적용되었습니다. GNLL 손실은 구름이 낀 픽셀에 대한 특정 견고성을 보여주어 최적화 과정에서 이를 효과적으로 무시했습니다.

5. 중요성 및 주장

이 논문은 대규모 HR 훈련 데이터셋에 대한 의존성과 감독형 SISR 방법 내재적 환각의 위험을 해결함으로써 MISR 에서 SuperF 를 중요한 발전으로 위치시킵니다.

• 훈련 불필요: TTO 방법으로서 SuperF 는 HR 데이터에 대한 오프라인 훈련이 필요 없으므로 새로운 도메인 (예: 지구상의 모든 위치) 에 즉시 적용 가능하며, 존재하지 않는 구조를 생성할 위험을 줄입니다.
• 견고성: 불확실성 추정의 통합은 표준 MSE 기반 접근법보다 모델이 실제 세계의 노이즈 (구름, 조명 변화) 를 더 효과적으로 처리할 수 있게 합니다.
• 한계: 저자들은 반복적 최적화 과정이 이미지당 몇 초가 소요되어 실시간 모바일 애플리케이션에는 제한적일 수 있지만 원격 감지 및 과학적 분석에는 허용 가능하다고 인정합니다. 또한 이 방법은 관찰된 프레임이 동일한 장면을 묘사한다고 가정하며, 극단적인 장면 변화나 중대한 가림은 여전히 어렵지만 불확실성 모듈이 일부 완화책을 제공한다고 지적합니다.

결론적으로 SuperF 는 신경 필드의 연속적 특성을 활용하여 프레임 정렬과 초해상도 재구성을 통합함으로써, 다중 이미지 시나리오에서 해상도를 향상시키기 위한 견고하고 데이터 효율적인 솔루션을 제공합니다.