Loop-Mamba: A Loop Mamba with Degradation-Aware and Shared Memory for Old Photo Restoration

당신이 고고학자라고 상상해 보십시오. 당신은 도자기 파편을 발굴하는 대신, 조부모님의 결혼 사진을 찾기 위해 먼지 쌓인 다락방을 뒤지고 있습니다. 이 이미지들은 사라져 버린 얼굴과 장소들의 기억을 담고 있는 보물입니다. 하지만 시간은 잔인한 편집자입니다. 이미지는 표면을 긁어놓았고, 색을 바래게 했으며, 에멀전에 균열을 만들고, 심지어 가장 중요한 부분에 구멍을 뚫어 놓았습니다. 이 사진들을 고치는 것은 단순히 다시 "예쁘게" 만드는 것이 아닙니다. 그것은 일어나지 않은 새로운 장을 만들어내지 않으면서, 부서진 이야기를 재구성하는 일입니다. 이것이 바로 **오래된 사진 복원(old photo restoration)**의 과제입니다.

오랫동안 컴퓨터는 이미지 전체를 한꺼번에 보고 빠진 부분이 무엇일지 추측하며 사진을 고치려 노력했습니다. 이는 마치 모든 조각의 모양을 한 번에 추측하며 거대한 퍼즐을 맞추려는 것과 같습니다. 하지만 오래된 사진은 엉망입니다. 곳곳에 서로 다른 종류의 손상이 존재합니다. 어떤 부분은 그저 흐릿하고, 어떤 부분은 찢겨 나갔습니다. 이를 해결하기 위해 과학자들은 **상태 공간 모델(State Space Models, SSMs)**을 사용하기 시작했습니다. 이것은 컴퓨터가 이미지 전체를 한꺼번에 삼키는 대신, 이미지를 가로질러 이동하며 지금까지 본 것을 기억하는 매우 똑똑하고 효율적인 방법입니다. 이는 책 전체를 한 입에 삼키는 대신, 한 페이지씩 읽으며 줄거리를 기억하고 그 기억을 바탕으로 다음 페이지를 이해하는 것과 같습니다. 이 논문은 이러한 스마트한 메모리 시스템을 사용하여 우리의 가장 소중하고 손상된 기억들을 어떻게 신중하게 수리할 수 있는지 깊이 있게 다룹니다.

논문: 루프-맘바 (Loop-Mamba)

이 논문의 저자인 런시 바이(Runci Bai)와 동료들은 **루프-맘바(Loop-Mamba)**라는 새로운 도구를 구축했습니다. 그들은 오래된 사진을 고치는 기존 방식—이미지 전체를 한 번의 크고 무거운 도약으로 재구성하려는 시도—이 빈티지 사진에서 발견되는 복잡하고 다층적인 손상을 처리하기에는 충분하지 않다는 것을 깨달았습니다. 대신, 그들은 복원을 마치 조각가가 돌덩이를 조금씩 깎아내며 조각상이 나타날 때까지 형태를 정교하게 다듬는 과정처럼, 하나의 **점진적인 루프(progressive loop)**로 다루기로 했습니다.

"원샷(One-Shot)" 수정의 문제점
대부분의 이전 방식은 단 한 번의 통과(pass)로 사진을 고치려 했습니다. 저자들은 이것이 마치 깨진 꽃병의 균열이 어디가 가장 깊은지 확인하지 않고 한꺼번에 접착제로 붙이려는 것과 같다고 주장합니다. 오래된 사진은 "이질적 퇴화(heterogeneous degradations)"를 겪는데, 이는 손상이 곳곳에 흩어져 있고 위치마다 모습이 다르다는 뜻의 전문 용어입니다. 어떤 영역은 그저 먼지가 앉은 정도지만, 어떤 영역은 찢겨 나갔습니다. 만약 사진 전체를 동일한 방식으로 취급한다면, 깨끗한 부분은 과하게 수정하고 망가진 부분은 덜 수정하게 될 수 있습니다.

루프-맘바의 솔루션
루프-맘바는 복원을 상태 진화(state evolution) 과정으로 바꿈으로써 판도를 바꿉니다. 복원 전문가 팀이 사진을 작업하는 모습을 상상해 보십시오. 매번 처음부터 다시 시작하는 대신, 그들은 한 단계에서 다음 단계로 "복원 상태(restoration state, 사진이 어떻게 보여야 하는지에 대한 정신적 지도)"를 전달합니다.

그들이 이 작업을 수행하는 세 가지 영리한 트릭은 다음과 같습니다:

1. "손상 탐정" (의미론적 가이드 퇴화 추정기, Semantic-Guided Degradation Estimator): 팀이 수리를 시작하기 전에, 정확히 어디에 문제가 있는지 알아야 합니다. 루프-맘바는 SGDE라고 불리는 특별한 모듈을 사용하여 탐정 역할을 수행합니다. 이 모듈은 단순히 추측하는 것이 아니라, 모든 픽셀에서 손상이 얼마나 심한지(국소적 손상)를 보여주는 상세한 지도를 만들고, 사진 전체를 고치는 것이 얼마나 어려운지에 대한 점수(전역 점수)를 부여합니다. 이 지도는 시스템에 "이 구석은 찢어졌으니, 거기에 에너지를 집중해"라고 알려주어, 컴퓨터가 어디에서 주의를 기울여야 할지 정확히 알게 합니다.

2. "공유 메모리 뱅크" (공유 구조 메모리 맘바, Shared Structural Memory Mamba): 이것이 루프의 핵심입니다. 많은 기존 방식에서 컴퓨터는 이전 단계에서 무엇을 고쳤는지 잊어버리고 다시 재구축하려고 하며, 이는 혼란이나 흐릿한 결과를 초래할 수 있습니다. 루프-맘바는 **공유 구조 메모리(S2M)**를 사용합니다. 이것을 팀이 돌려 쓰는 공유 노트라고 생각하십시오. 매번 작은 개선을 할 때마다 그 내용을 노트에 적습니다. 다음 라운드의 작업은 제로에서 시작하는 것이 아니라, 노트를 집어 들고 이미 수정된 내용을 읽고 그 위에 구축됩니다. 이는 사진의 구조(얼굴의 선이나 건물의 선 등)가 일관되게 유지되고 과정 중에 길을 잃지 않도록 보장합니다.

3. "다방향 스캔": 세부 사항을 놓치지 않기 위해, 시스템은 여러 방향으로 동시에 사진을 스캔합니다. 이는 마치 그림을 왼쪽, 오른쪽, 위, 아래에서 동시에 바라보며 모든 균열을 포착하는 것과 같습니다. 이는 시스템이 이미지 내의 긴 거리에서도 점들을 연결하도록 도와주며, 중간이 끊어진 선이 양 끝단과 제대로 연결되도록 만듭니다.

결과: 더 빠르고, 더 똑똑하며, 더 정확함
연구팀은 손상된 사진과 깨끗한 사진의 700쌍을 포함하는 SynOld라는 공개 벤치마크를 통해 루프-맘바를 테스트했습니다. 결과는 인상적이었습니다. 루프-맘바는 단순히 보기 좋은 것에 그치지 않고, 믿을 수 없을 정도로 효율적이었습니다.

• 속도: 고해상도 1080P 이미지에서 1.86 FPS(초당 프레임 수)로 실행되었는데, 이는 다른 복잡한 방법들보다 훨씬 빠릅니다.
• 효율성: 단 119 G FLOPs(연산량 측정 단위)와 59 G MACs만을 사용했으며, 이는 거대한 컴퓨터를 필요로 하는 강력한 방법들에 비해 현저히 낮은 수치입니다.
• 품질: 30.13 PSNR과 0.93 SSIM이라는 최고 점수를 달성하며 기존의 최상위 방식들을 앞질렀습니다.

하지만 저자들은 표준적인 지표에만 머물지 않았습니다. 그들은 표준 테스트가 "손상"이 실제로 얼마나 잘 제거되었는지와 이미지가 얼마나 "예뻐"졌는지를 완전히 포착하지 못한다는 것을 깨달았습니다. 그래서 그들은 **오래된 사진 손상 복구 점수(Old Photo Damage Recovery Score, ODRS)**라는 새로운 점수를 발명했습니다. 이 점수는 시스템이 손상된 부분을 얼마나 잘 복구했는지, 그리고 구조를 얼마나 충실하게 재구성했는지를 구체적으로 측정합니다. 루프-맘바는 이 새로운 지표에서 0.9495를 기록하며, 단순히 겉면을 덧칠하는 것이 아니라 실제로 손상을 고쳐냈음을 증명했습니다.

이것이 왜 중요한가
이 논문은 복원을 단 한 번의 무거운 재구성이 아닌, 연속적인 상태 업데이트의 루프로 처리함으로써 훨씬 적은 컴퓨팅 파워로 더 높은 정확도로 오래된 사진을 고칠 수 있음을 시사합니다. 연구진은 루프를 3번 실행하는 것이 최적의 지점임을 발견했습니다. 그 이상 수행하는 것은 큰 도움이 되지 않았고 오히려 속도를 늦췄습니다.

또한 그들은 이 시스템이 스마트폰(구체적으로 Mi 10 Lite Zoom)에서도 실행될 만큼 가볍다는 것을 보여주었습니다. 즉, 슈퍼컴퓨터 없이도 스마트폰에서 가족의 오래된 사진을 직접 고칠 수 있다는 의미입니다. 저자들은 "점진적 상태 진화"라는 이 접근 방식이 오래된 사진의 무질서하고 복잡한 현실을 다루는 강력한 새로운 방법이며, 더 적은 노력으로 우리의 시각적 역사를 더 명확하게 보존할 수 있는 길을 제시한다고 결론지었습니다.