Improving Image Compression Ratio Using the mUMamba Image Restoration Network

매일 약 30억 개의 이미지가 스마트폰에서 서버로, 그리고 다시 돌아오며 디지털 세계를 가로질러 이동합니다. 이 시각적 데이터의 홍수는 방대한 양의 저장 공간과 지연 없이 데이터를 이동시킬 수 있는 강력한 인터넷 연결을 요구합니다. 이 시스템을 계속 작동시키기 위해 엔지니어들은 오랫동안 인간의 눈이 알아차리지 못할 정보를 제거하여 파일 크기를 줄이는 과정인 압축 기술에 의존해 왔습니다. 전통적인 방식은 이미지 전체에 동일한 규칙을 적용하여, 매끄러운 하늘과 복잡한 숲을 동일한 수학적 접근 방식으로 처리합니다. 이러한 표준 기술은 효과적이긴 하지만, 작은 파일 크기를 유지하려는 필요성과 선명하고 깨끗한 사진을 원하는 욕구 사이의 균형을 맞추는 데 종종 어려움을 겪습니다. 이들은 단순한 배경과 세밀한 전경 사이의 미묘한 차이를 놓쳐, 파일 용량이 지나치게 커지거나 결과물이 흐릿해지는 결과를 초래할 수 있습니다.

새로운 접근 방식은 도서관 사서가 어떤 책이 거의 읽히지 않고 어떤 책이 매일 대출되는지 알고 있는 것처럼, 이미지의 각 부분을 다르게 취급함으로써 이 문제를 해결하고자 합니다. 연구자들은 사진의 어느 부분이 필수적인지, 그리고 공간을 절약하기 위해 어떤 부분을 일시적으로 제쳐둘 수 있는지를 식별하는 시스템을 개발했습니다. 목표는 전송 중에 불필요한 부분을 삭제하고, 이미지가 목적지에 도착했을 때 이를 재구성하는 것입니다. 이를 위해서는 디코더가 단순히 수동적인 수신기에 그치는 것이 아니라, 완벽하지는 않더라도 높은 정확도로 누락된 세부 정보를 추측할 수 있는 능동적인 복원가 역할을 해야 합니다. 비록 일부 재구성 오류는 남을 수 있지만 말입니다.

최근 연구에서 이란 세므난 대학교(Semnan University)의 연구진은 이 과제를 해결하기 위해 mUMamba라고 불리는 시스템을 소개했습니다. 그들의 방법은 이미지 콘텐츠에 대한 스마트한 분석과 복원을 위해 설계된 강력하고 새로운 유형의 인공지능을 결합합니다. 과정은 이미지를 작은 정사각형 블록으로 나누는 것부터 시작됩니다. 그 후 시스템은 이 블록들을 16x16 크기의 큰 사각형, 8x8 크기의 중간 사각형, 4x4 크기의 작은 사각형이라는 세 가지 다른 세부 수준에서 검토합니다. 각 단계에서 시스템은 해당 블록이 삭제될 만큼 단순한지 결정합니다. 만약 블록이 매끄럽고 변하지 않는 영역을 포함하고 있다면 삭제 대상으로 표시됩니다. 만약 날카로운 가장자리나 복잡한 패턴을 포함하고 있다면 보존됩니다. 이러한 계층적 접근 방식 덕분에 시스템은 단순한 영역에는 훨씬 더 공격적으로 대응하면서도, 이미지를 정의하는 복잡한 세부 사항은 신중하게 보존할 수 있습니다 있습니다.

제거 가능한 블록이 식별되면, 시스템은 단순히 그것들을 버리는 것이 아닙니다. 대신, 남은 이미지 데이터와 함께 소량의 "단서"를 함께 보냅니다. 매끄러운 부분 때문에 제거된 블록의 경우, 시스템은 색상 변화의 방향을 나타내는 간단한 화살표를 보냅니다. 가장자리가 포함되어 있어 제거된 블록의 경우, 그 가장자리가 어디에 위치했는지를 보여주는 지도를 보냅니다. 결정적으로, 유지된 이미지 부분은 전송 전 압축되지 않은 상태로 두는 것이 아니라 표준 JPEG 압축을 사용하여 인코딩됩니다. 이제 원본 이미지는 훨씬 작아졌지만 불완전한 상태입니다. 누락된 조각들은 남겨진 JPEG 압로 압축된 픽셀들과 이 작은 단서들만을 사용하여 수신 장치에 의해 재구성되어야 합니다.

이 재구성을 수행하기 위해 연구진은 인간의 뇌에서 영감을 받은 컴퓨터 프로그램의 일종인 U-Net 구조를 기반으로 한 신경망을 채택했습니다. 이 네트워크는 U자 모양으로, 이미지 정보를 압축하는 경로와 다시 원래 크기로 확장하는 경로로 구성됩니다. mUMamba를 독특하게 만드는 것은 이 네트워크의 깊은 층을 처리하는 엔진입니다. 대부분의 이미지 소프트웨어에서 사용하는 표준 도구 대신, 연구진은 Mamba라고 불리는 새로운 아키텍처에 기반한 구성 요소를 통합했습니다. 이 구성 요소는 데이터 내의 장거리 연결을 이해하는 데 매우 뛰어나며, 이를 통해 이미지의 먼 곳까지 살펴 빈 공간을 채우는 데 필요한 맥락을 찾아낼 수 있습니다. 이는 마치 숙련된 예술가가 누락된 퍼즐 조각의 가장자리를 보고 주변 그림을 바탕으로 중심부가 어떻게 생겼을지 즉각적으로 알아내는 것과 같습니다.

이 접근 방식의 결과는 방대한 표준 테스트 이미지 모음을 통해 테스트되었습니다. 시스템은 46.5%의 압축률을 달ach하여 데이터 볼륨을 크게 줄이는 동시에 높은 수준의 시각적 품질을 유지했습니다. 복원된 이미지를 원본과 비교하는 표준 지표로 측정했을 때, 시스템은 PSNR 25.15 dB라는 매우 근접한 일치도를 나타냈습니다. 더 중요한 점은, 이 시스템이 다른 고급 방법들보다 훨씬 빠르고 훨씬 적은 계산 능력을 요구했다는 것입니다. 경쟁 시스템들이 4,000만 개 이상의 파라미터(컴퓨터가 학습 중에 배우는 내부 설정값)를 사용하는 것에 비해, 이 시스템은 단 850만 개의 파라미터만을 사용했습니다. 이러한 효율성 덕분에 이 시스템은 슈퍼컴퓨터 없이도 모바일 폰이나 원격지의 센서와 같은 작은 기기에서도 실행될 수 있습니다.

연구진은 또한 이 방법을 BPG 및 VVC와 같은 현재 업계에서 사용되는 최고의 표준들과 비교했습니다. 그들은 mUMamba가 더 낮은 데이터 전송률로도 동일한 시각적 품질을 달성할 수 있으며, 결과적으로 해당 표준들이 요구하는 대역폭의 18.2%를 절약할 수 있음을 발견했습니다. 다른 현대적인 AI 기반 압축 도구들과의 직접적인 비교에서, 이 새로운 시스템은 이미지의 구조적 유사성을 거의 23% 향상시켰고 선명도를 7% 높였습니다. 이러한 성과는 이미지 처리 시간을 거의 3분의 1로 단축하면서도 이루어냈습니다.

이 연구의 성공 핵심은 단순히 강력한 신경망을 사용한 것이 아니라, 블록을 제거하는 고전적인 방법과 어떻게 결합했느냐에 있었다는 점을 강조합니다. 작업을 두 가지 뚜렷한 부분, 즉 먼저 무엇을 제거하고 표준 JPEG를 사용하여 압축할지에 대한 논리적 결정과, 둘째로 누락된 부분을 재건하는 창의적인 작업으로 분리함으로써, 연구진은 효율적이면서도 효과적인 시스템을 만들어냈습니다. 다양한 크기로 블록을 확인하는 계층적 전략을 통해 시스템은 최종 사진의 품질을 희생하지 않으면서도 더 많은 압축 기회를 찾을 수 있었습니다.

이 시스템은 큰 가능성을 보여주지만, 연구진은 현재 고정된 크기의 이미지에서 가장 잘 작동하며 유지되는 부분에 대해 표준 압축에 의존하고 있다고 언급했습니다. 향후 연구는 모든 크기의 이미지에 대해 시스템을 더 유연하게 만들고, 남아있는 표준 구성 요소들을 완전히 AI 기반의 것으로 대체하는 것을 목표로 할 것입니다. 현재로서 mUMamba 프레임워크는 이미지 전송을 더 빠르고 효율적으로 만드는 데 있어 중요한 진전을 이루었으며, 이미지의 콘텐츠를 깊이 이해함으로써 우리가 더 적은 것으로 더 많은 것을 보낼 수 있음을 증명하고 있습니다.