MSIQ: Moment-based Scale-Invariant Quality Measure for Single Image Super-Resolution

기술 요약: MSIQ – 단일 이미지 초해상도를 위한 모멘트 기반 척도 불변 품질 측정

문제 제기
단일 이미지 초해상도 (SISR) 결과의 평가는 여전히 방법론적 과제로 남아 있습니다. PSNR 및 SSIM 과 같은 표준 풀레퍼런스 (full-reference) 지표는 주로 픽셀 단위 오차나 국부적 구조적 유사성을 평가하지만, 전역 기하학적 구조의 보존을 명시적으로 평가하지는 못합니다. 또한, 이러한 지표들은 비교 전에 참조 이미지 ($I_{GT}$) 와 초해상도 이미지 ($I_{SR}$) 를 동일한 크기로 리사이즈해야 합니다. 이러한 '강제 리사이즈'는 SISR 모델의 성능과 무관한 외부 보간 오차를 도입하여 평가 결과를 오염시킵니다. 반면, LPIPS 나 DISTS 와 같은 지각적 지표는 인간의 시각과 더 잘 부합하지만, 기하학적 특이성이 부족하여 비등방성 스케일링, 전단 (shear) 과 같은 기하학적 왜곡과 JPEG 압축과 같은 비기하학적 아티팩트 (artifacts) 를 구분하지 못합니다. 본 논문은 강제 리사이즈 없이 기하학적 충실도를 평가하고 기하학적 이상 현상을 다른 왜곡과 구분할 수 있는 진단 도구의 필요성에 대응합니다.

방법론
제안된 솔루션인 MSIQ (Moment-based Scale-Invariant Quality, 모멘트 기반 척도 불변 품질) 는 픽셀 공간이 아닌 정규화된 중심 기하학적 모멘트 공간에서 이미지를 비교하는 풀레퍼런스 지표입니다.

1. 수학적 기초: 본 방법은 $(p, q)$ 차수의 기하학적 모멘트를 활용하며, 이는 픽셀 강도가 공간 좌표로 가중된 적분 (이산 이미지의 경우 합) 으로 정의됩니다. 불변성을 달성하기 위해 저자들은 연속 모델에서 평행 이동과 균일 스케일링에 불변인 정규화된 중심 기하학적 모멘트 ($\nu_{pq}$) 를 사용합니다.
2. 기술자 구성: 이미지 $I$에 대해, 고정된 차수 $N$까지의 비자명 (non-trivial) 정규화된 중심 모멘트들을 순서대로 배열한 모멘트 기술자 $M_N(I)$를 구성합니다. 논문은 $N=4$로 고정하여 12 개의 정보적 모멘트 (0 차 및 1 차 항인 자명 항 제외) 를 활용합니다.
3. 지표 정의: MSIQ 는 정답 이미지 ($I_{GT}$) 와 초해상도 이미지 ($I_{SR}$) 의 모멘트 기술자 간의 거리로 정의됩니다. 두 가지 변형이 제안됩니다:
   • MSIQ$_{RMSE}$: 대응하는 모멘트 성분 간의 제곱근 평균 제곱 오차.
   • MSIQ$_{W}$: 이산화 잡음에 더 민감한 고차 모멘트의 영향을 줄이는 가중치 버전.
4. 주요 특성:
   • 리사이즈 불필요: 모멘트는 척도 불변성이므로, $I_{GT}$와 $I_{SR}$을 원래 해상도에서 직접 비교할 수 있어 보간 오차를 제거합니다.
   • 모델 불필요: 계산은 순수하게 분석적이며 사전 훈련된 신경망에 의존하지 않습니다.
   • 기하학적 특이성: 이 지표는 균일 스케일링에는 불변이지만, 비등방성 왜곡, 전단, 회전 및 원근 왜곡에는 민감하도록 설계되었습니다.

주요 기여
논문은 네 가지 주요 기여를 제시합니다:

1. 개념적 프레임워크: 강제 리사이즈에 대한 방법론적 의존성을 제거하는 특징 공간으로 비교를 전환하여, 척도 불변 모멘트 기술자의 무결성을 검증함으로써 SISR 결과를 평가하는 방식을 제안합니다.
2. 분석적 측정: MSIQ 를 도입하여 이미지 모멘트 - 기하학적 구조가 스케일 변환 하에서 얼마나 안정적인지를 정량화하는 결정론적이고 모델이 불필요한 지표를 제시합니다.
3. 기하학적 선택성: 실험적 검증을 통해 MSIQ 가 높은 '기하학적 특이성'을 가지며, JPEG 압축과 같은 비기하학적 아티팩트와 기하학적 왜곡을 효과적으로 분리함을 입증했습니다. 이는 표준 픽셀 기반 및 지각적 지표가 lacking 한 능력입니다.
4. 방법론적 구분: 논문은 두 가지 지표 특성을 구분합니다: 추적 능력(증가하는 왜곡 강도를 단조롭게 추적하는 능력) 과 기하학적 특이성(기하학적 왜곡을 비기하학적 왜곡과 구분하는 능력). 높은 추적 능력이 높은 기하학적 특이성을 의미하지는 않는다고 주장합니다.

실험 결과
저자들은 MSIQ 를 검증하기 위해 네 가지 시리즈의 실험을 수행했습니다:

• 척도 불변성: 리사이즈 없이 균일 스케일링 하에서 MSIQ 는 안정적으로 유지되었습니다 (값은 $10^{-7}$에서 $10^{-6}$ 사이). 반면, 강제 리사이즈가 적용될 경우 PSNR 과 SSIM 은 상당한 불안정성을 보였습니다 (PSNR 의 경우 중앙값 분산이 5.28 dB). 특히 퇴화 사례에서 극단적인 값이 발생했습니다.
• 기하학적 특이성: 비등방성 스케일링, 전단, 회전, 원근 왜곡과 JPEG 압축을 비교한 통제된 테스트에서, MSIQ 는 중간 정도 열화 ($\lambda=0.20$) 시 기하학적 대 JPEG 반응 비율 ($RM$) 이 약 **71**이었으며, 약한 열화 ($\lambda=0.05$) 시에는 161이었습니다. 반면 DISTS 와 같은 지각적 지표는 $RM$이 1 에 가까워 기하학적 오류와 압축을 구분하지 못했습니다.
• SISR 알고리즘 검증: 고전적 보간기와 심층 신경망 (DNN) 모델 (예: EDSR, FSRCNN) 의 출력에 적용했을 때, MSIQ 는 높은 기하학적 특이성 ($RM \approx 122$) 과 아키텍처 안정성 (알고리즘 클래스 간 변동 < 5%) 을 유지했습니다.
• 벤치마크 검증: 표준 데이터셋 (Set5, Set14, Urban100) 에서 MSIQ 는 다양한 이미지 콘텐츠에 걸쳐 기하학적 특이성 ($RM \approx 100$) 을 유지하여 견고성을 확인했습니다.

의의 및 주장
본 논문은 MSIQ 를 범용 지표 (PSNR, SSIM, LPIPS) 를 대체하는 것이 아니라 보조 진단 도구로 위치시킵니다. 그 의의는 구조적 무결성과 기하학적 충실도의 객관적 제어를 위한 특정 니치를 해결하는 데 있습니다.

저자들은 의료 영상, 원격 탐사, 기술 시각화와 같이 지각적 자연스러움보다 기하학적 정확성이 우선시되는 분야에서 MSIQ 가 특히 중요하다고 주장합니다. 이러한 분야에서는 객체의 비율과 공간적 조직을 보존하는 것이 필수적이며, 표준 지표는 픽셀 단위 오차 측정이나 지각 모델에는 보이지 않는 미묘한 기하학적 이상 현상을 탐지하지 못할 수 있습니다. 논문은 MSIQ 가 척도 불변, 리사이즈 불필요, 기하학 특이적 SISR 재구성 품질 평가를 제공함으로써 평가 패러다임의 공백을 메운다고 결론지었습니다.