Shift Variant Image Degradation and Restoration Using Singular Value Decomposition

당신이 번화한 거리를 선명하게 촬영하려고 노력 중인데, 카메라가 흔들리거나 촬영 대상들이 서로 다른 속도로 움직이고 있다고 상상해 보십시오. 그 결과는 이미지가 약간 흐릿한 부분도 있고, 어떤 부분은 긴 줄무늬처럼 길게 늘어진 형태를 띠는, 형체를 알아볼 수 없는 엉망진창인 상태가 됩니다. 과학자들은 이를 **변위 불변 이미지 열화(shift-variant image degradation)**라고 부릅니다.

이미징 분야에서 '변위 불변(shift-invariant)' 블러는 사진 전체를 균일하게 덮고 있는 안개와 같습니다. 이는 표준적인 레시피로 해결할 수 있습니다. 하지만 '변위 가변(shift-variant)' 블러는 사진의 왼쪽은 안개가 짙고 오른쪽은 옅어지거나, 위치에 따라 모양이 변하는 얼룩과 같습니다. 이를 해결하는 것은 훨씬 더 어렵습니다. 왜냐하면 이미지 전체에 적용할 수 있는 단 하나의 레시피가 존재하지 않기 때문입니다.

여기서 저자인 Arun D. Kulkarni는 **특이값 분해(Singular Value Decomposition, SVD)**라는 수학적 도구를 사용하여 이 수수께끼를 해결하는 방법을 제안합니다.

문제: "노이즈가 섞인" 퍼즐

열화된 이미지를 거대한, 부서진 퍼즐이라고 생각해 보십시오. '블러(blur)'는 조각들을 부순 과정이며, '노이즈(noise, 예를 들어 오래된 TV의 정전기 같은 것)'는 그 안에 섞여 들어간 먼지입니다.

이미지를 복구하려면 이 부순 과정을 되돌려야 합니다. 하지만 블러가 이미지 전체에 걸쳐 변하기 때문에, 이 '부수는 기계'는 매우 복잡하고 불안정합니다. 만약 단순히 이 과정을 역으로 수행하려고 한다면(마치 테이프를 되감는 것처럼), 아주 작은 먼지 조각들(노이즈)이 엄청나게 증폭되어 복구된 이미지가 입자가 거칠고 알아볼 수 없는 엉망진야한 상태가 될 것입니다. 이는 케이크를 다시 만드는 과정과 같습니다. 주의하지 않으면 케이크를 되찾는 것이 아니라, 사방에 밀가루 구름을 뿌리게 될 것입니다.

해결책: "에너지 필터"

이 논문은 SVD를 사용하여 이 과정을 지능적으로 되돌리는 방법을 제안합니다. SVD를 이 복잡한 '부수는 기계'를 가장 중요한 것부터 덜 중요한 것 순으로 나열된 재료 목록으로 분해하는 방법이라고 생각할 수 있습니다.

1. 재료 (특이값, Singular Values): 이미지 복원 과정을 128개의 재료가 들어가는 레시피라고 상상해 보십시오. 처음 몇 개의 재료는 '주요 풍미'(이미지의 주요 형태와 세부 사항)입니다. 마지막 몇 개의 재료는 '작은 입자들'(많은 노이즈와 섞인 미세한 디테일)입니다.
2. 위험 요소: 만약 128개의 모든 재료를 사용하여 이미지를 재건하려고 한다면, 마지막의 작은 입자들이 레시피를 압도하여 결과물의 맛을 엉망으로 만들 것입니다(노이즈로 가득 차게 됩니다).
3. 기존 방식 (절단, Truncation): 이전의 방법들은 단순히 마지막 50개의 재료를 버리는 방식을 사용했습니다. 하지만 이는 위험합니다. 너무 많은 것을 버리면 중요한 디테일(예: 얼굴의 질감)을 잃게 됩니다. 반대로 너무 적게 버리면 노이즈가 사진을 망치게 됩니다. 이는 일종의 추측 게임입니다.

이 논문의 새로운 아이디어:
단순히 '작은 입자' 재료들을 버리는 대신, 저자는 **99% 에너지 유지 기준(99% Energy Retention Criterion)**을 제안합니다.

• 비유: 당신에게 물 한 양동이(이미지 에너지)가 있고, 당신은 그중 99%를 유지하고 싶어 합니다. 당신은 재료 목록을 보고 이렇게 말할 것입니다. "전체 물의 99%를 포착할 때까지 모든 재료를 유지하겠다."
• 반전: 우리가 필요하지 않은 나머지 아주 작은 재료들(우리가 물의 수위를 유지하기 위해 남겨둘 필요가 없는 나머지 1%)에 대해서는, 그것들을 쓰레기통에 던져버리는 대신, 그들의 볼륨을 낮춥니다. 우리는 그것들을 삭제하는 것이 아니라, 소리치는 대신 속삭이게 만드는 것입니다.

이렇게 하면 중요한 디테일은 안전하게 지키면서도, 사진을 망칠 수 있는 노이즈 부분을 무음 처리할 수 있습니다.

실험: 세 가지 유형의 블러

이 "볼륨 조절" 방법을 테스트하기 위해, 저자는 세 가지 특정 유형의 "흔들리는 카메라"(수학적 모델)를 만들고 이를 통해 촬영된 이미지를 복구하려고 시도했습니다.

1. 양방향 선형 운동 (Bi-directional Linear Motion): 카메라가 직선으로 앞뒤로 움직이지만, 사진의 위치에 따라 속도가 변하는 경우를 상상해 보십시오.
2. 가우시안 운동 (Gaussian Motion): 카메라가 종 모양의 패턴(중앙에는 흔들림이 가장 크고, 가장자리로 갈수록 작아짐)을 따르며 흔들리지만, 그 흔들림의 '폭'이 이미지 전체에 걸쳐 변하는 경우를 상상해 보십시오.
3. 단순 조화 진동 (Simple Harmonic Motion, SHM): 카메라가 진자처럼 흔들린다고 상상해 보십시오. 카메라는 진동의 끝부분에서 더 많은 시간을 보내고 중간에서는 빠르게 움직입니다. 이는 특정 유형의 블러를 생성하며, 운동의 가장자리에서 블러가 더 심하게 나타납니다.

저자는 이 세 가지 유명한 테스트 이미지(레나(Lena), 까마귀, 그리고 텍스트 이미지)를 사용하여 이 방법을 테스트했습니다. 모든 경우에서, 이 방법은 블러가 섞인 노이즈 덩어리를 성공적으로 선명한 사진으로 바꾸었으며, 다른 방법들이 놓쳤던 디테일을 복구해 냈습니다.

결론

이 논문은 블러가 위치마다 변하는 흐릿한 사진을 수정하는 새로운 체계적인 방법을 제시합니다. 노이즈를 해결하기 위해 이미지의 어느 정도를 버릴지 추측하는 대신, 저자는 "99% 에너지 규칙"을 사용하여 정확히 얼마나 남기고 얼마나 줄일지를 결정합니다. 이는 마치 노이즈를 위한 정밀한 볼륨 조절기를 가진 것과 같아서, 정적(static) 없이 음악(이미지)이 선명하게 전달되도록 보장합니다.

저자는 이 방법이 이러한 특정 유형의 운동 블러에 잘 작동한다고 언급하며, 향-후 더욱 복잡한 2D 블러를 다루거나 현대적인 AI 기술과 결합하여 확장될 수 있음을 시사했습니다. 하지만 현재의 연구는 엄격하게 이 세 가지 운동 유형에 대해 이 수학적 "볼륨 조절"이 작동함을 증명하는 데 집중하고 있습니다.