PixRestore: Unified Image Restoration via Pixel Diffusion Transformer

매일같이 우리의 카메라는 불완전한 방식으로 세상을 포착합니다. 갑작스러운 폭우는 렌즈에 줄무늬를 남기고, 짙은 안개는 먼 산을 흐릿하게 만들며, 어두운 방은 얼굴을 그림자로 바꿉니다. 수십 년 동안 과학자들은 이러한 손상된 이미지를 수정하여, 흐릿하거나 노이즈가 있거나 가려진 사진을 다시 선명하고 날카로운 상태로 되돌리는 컴퓨터 프로그램을 만들기 위해 노력해 왔습니다. 이미지 복원(image restoration)이라고 알려진 이 분야는 오랫동안 두 가지 주요 전략에 의존해 왔습니다. 첫 번째 방식은 이 문제를 단순한 수학 퍼즐처럼 취급하여, 손상된 이미지를 바탕으로 원래의 사진이 무엇이었을지 가장 가능성 높은 결과값을 계산하려고 시도합니다. 이 방법은 빠르지만, 결과물이 너무 매끄럽게 보여 사진이 실제처럼 느껴지게 하는 미세한 질감을 잃어버리는 경우가 많습니다. 두 번째 전략은 텍스트 설명을 기반으로 새로운 이미지를 처음부터 생성하도록 설계된 강력한 생성 모델을 사용합니다. 이 모델들은 현실적인 세부 사항을 만들어내는 데 탁면하지만, 때로는 그곳에 없던 것을 발명해 내기도 하며, 이미지를 추상적인 코드로 압축한 뒤 복원을 시도하기 때문에 보존해야 할 특정 세부 사항을 놓칠 수도 있습니다.

홍콩 폴리텍 대학교와 OPPO 리서치 인스티튜트의 연구진은 이 간극을 메우는 '픽스토어(PixRestore)'라는 새로운 접근 방식을 개발했습니다. 예술 작품을 생성하는 데 쓰이는 무겁고 복잡한 시스템이나, 디테일을 뭉개버리는 단순한 수학에 의존하는 대신, 그들은 이미지의 가공되지 않은 픽셀(raw pixels)에서 직접 작동하는 시스템을 구축했습니다. 이미지를 압축된 파일이 아니라, 아주 작은 유색 점들의 거대한 격자로 상상해 보십시오. 대부분의 현대적 복원 도구들은 시간을 절약하기 위해 이 점들을 더 작고 추상적인 표현으로 압축하는데, 이는 마치 긴 책을 몇 개의 불렛 포인트로 요약하는 것과 같습니다. 문제는 요약을 하는 과정에서 이야기의 구체적인 뉘앙스를 잃어버릴 수 있다는 점입니다. 픽스토어는 이러한 요약 단계를 완전히 건너뜁니다. 이 시스템은 유색 점들의 전체 격자 위에서 직접 작동하며, 작업하는 동안 모든 미세한 가장자리와 질감을 보존합니다. 이를 통해 픽스토어는 경쟁 모델들보다 훨씬 적은 컴퓨팅 파워를 사용하면서도, 결과물이 매우 날카롭고 실제와 똑같아 보이도록 만드는 놀라운 효율성을 보여줍니다.

이 새로운 시스템의 핵심은 '디퓨전 트랜스포머(Diffusion Transformer)'라고 불리는 인공지능 아키텍처의 일종입니다. 간단히 말해, 이 모델은 열화(degradation) 과정을 역으로 수행하는 법을 배웁니다. 노이즈가 섞이고 손상된 이미지에서 시작하여, 깨끗한 사진이 나타날 때까지 단계적으로 노이즈, 비, 또는 흐림 현상을 제거하는 법을 학습합니다. 픽스토어를 독특하게 만드는 것은 이 과정을 안내하는 방식입니다. 연구진은 서로 다른 유형의 손상에는 서로 다른 종류의 주의(attention)가 필요하다는 점을 깨달았습니다. 예를 들어, 빗줄기를 제거하려면 가늘고 날카로운 선을 살펴봐야 하는 반면, 어둡고 저조도인 사진을 수정하려면 장면의 전체적인 형태와 밝기를 이해해야 합니다. 이를 처리하기 위해 시스템은 다양한 수준의 집중력을 가진 눈 역할을 하는 사전 학습된 '비전 전문가(vision expert)'를 사용합니다. 이 전문가는 손상된 이미지를 살펴보고, 복원 모델에게 이미지의 어느 부분이 여전히 신뢰할 수 있는지, 그리고 어느 부분이 너무 손상되어 믿을 수 없는지를 알려줍니다. 만약 이미지의 한 층(layer)이 여전히 선명하다면, 시스템은 그것을 강력한 가이드로 사용합니다. 만약 한 층이 심하게 손상되었다면, 시스템은 그 부분을 무시하고 깨끗한 이미지가 어떠해야 하는지에 대한 자신의 지식에 더 의존해야 함을 인지합니다. 이러한 적응형 가이드는 모델이 제거하려는 손상 때문에 혼란을 겪지 않도록 보장합니다.

이러한 접근 방식의 결과는 놀랍습니다. 연구진은 비, 눈, 안개, 흐림, 저조도 등 8가지의 서로 다른 유형의 이미지 손상을 대상으로 모델을 테스트했습니다. 이 테스트에서 픽스토어는 이전 방식들보다 이미지 디테일을 더 날카롭게 유지하면서도 손상을 더 효과적으로 제거해 냈습니다. 아마도 가장 놀라운 점은, 이 모든 일을 약 5천만 개의 파라미터만을 가진 모델로 해냈다는 것입니다. 이를 비교해 보자면, 무거운 텍로-이미지(text-to-image) 기술을 사용하는 많은 경쟁 시스템은 수십억 배 더 크며, 단 하나의 이미지를 생성하는 데도 엄청난 양의 컴퓨팅 파워와 시간을 요구합니다. 반면 픽스토어는 표준 하드웨어에서 1초도 채 걸리지 않아 단 한 번의 단계(single step)로 복원된 이미지를 생성할 수 있습니다. 이러한 속도와 효율성은 이 기술이 대규모 데이터 센터에 갇혀 있는 것이 아니라, 스마트폰과 같은 일상적인 기기에서도 실행될 수 있음을 의미합니다.

연구팀은 단순히 모델을 크게 만드는 것만으로도 성능을 더욱 향려시킬 수 있다는 사실도 발견했습니다. 그들은 더 큰 버전의 시스템을 테스트했으며, 이렇게 확장된 모델들은 훨씬 더 높은 품질의 결과를 만들어냈습니다. 이는 그들의 설계가 컴퓨팅 파워가 증가함에 따라 성장할 준비가 되어 있음을 시사합니다. 하지만 연구진은 자신들의 시스템이 획기적인 진전이긴 하지만 완벽하지는 않다고 언급했습니다. 이 시스템은 유용한 정보가 거의 남아 있지 않을 정도로 심하게 손상된 이미지에서는 여전히 어려움을 겪으며, 현재는 특정 이미지 해상도에서 가장 잘 작동합니다. 이러한 한계에도 불구하고, 이 연구는 이미지를 효과적으로 복원하기 위해 반드시 거대하고 복잡한 시스템이 필요한 것은 아니라는 점을 입증합니다. 가공되지 않은 픽셀로 직접 작업하고 스마트한 적응형 가이드를 사용함으로써, 빠르면서도 원래의 장면을 충실하게 재현하는 도구를 만들 수 있습니다. 이 접근 방식은 규모와 복잡성보다 명확성과 효율성을 우선시하는 이미지 복원의 새로운 길을 제시합니다.