Towards Adaptive Super-Resolution and Quality Assessment via Test-Time Adaptation

당신이 좋아하는 영화를 보려고 스마트폰을 들고 울퉁불퉁한 버스를 타고 있다고 상상해 보세요. 화면은 작고, 연결 상태는 불안정하며, 영상은 뭉개지고 흐릿하며 이상한 디지털 노이즈로 가득합니다. 이것은 수십억 명의 사람들이 영상을 스트리밍하거나, 온라인 수업에 참여하거나, 화상 통화를 할 때 마주하는 일상적인 현실입니다. 컴퓨터 과학의 세계에는 '초해상도(Super-Resolution)'라고 불리는 분야가 있는데, 이는 마치 디지털 마술과 같습니다. 이 기술의 임무는 아주 작고 흐릿한 저화질 이미지를 가져와서 사라진 디테일이 어떤 모습일지 추측하여, 이를 선명한 고화질 사진으로 바꾸는 것입니다.

오랫동안 이러한 디지털 마술은 실험실에서는 매우 잘 작동했습니다. 과학자들이 흐릿한 이미지와 선명한 이미지를 나란히 놓고 비교할 수 있는 완벽한 예시들을 컴퓨터에 입력할 수 있었기 때문입니다. 하지만 현실 세계는 엉망진창입니다. 영상은 기괴한 압축, 움직임에 의한 블러(motion blur), 그리고 다양한 유형의 카메라로 인해 컴퓨터가 본 적 없는 방식으로 왜곡됩니다. 이는 마치 요리사에게 오직 신선하고 완벽한 재료로만 요리하도록 가르친 뒤, 통조림 콩과 진흙 섞인 물밖에 없는 캠핑장으로 보내버리는 것과 같습니다. 요리사에게는 실시간으로 적응하는 새로운 방법이 필요합니다. 여기서 '테스트 시간 적응(Test-Time Adaptation, TTA)'이라는 개념이 등장합니다. 이는 컴퓨터가 나중에 새로운 수업을 기다리는 대신, 눈앞에 놓인 특정 요리를 요리하는 동안 스스로 레시피를 배우고 조정하는 영리한 아이디어입니다.

Ajeet Kumar Verma가 작성한 이 논문은 어떻게 하면 우리의 영상 향상 컴퓨터를 더 똑똑하고, 강인하며, 적응력이 뛰어나게 만들 수 있는지 탐구합니다. 저자는 단순히 디테일을 추측하는 것을 넘어, 컴퓨터가 작업 도중 자신의 결과물을 스스로 판단하는 법을 배워, 수학적으로 완벽할 뿐만 아니라 인간의 눈에도 보기 좋게 만드는 시스템을 제안합니다.

문제점: 규칙이 바뀔 때

오늘날 대부분의 비디오 초해상도 모델은 교과서를 완벽하게 암기했지만, 선생님이 책에 없는 질문을 던지면 대답하지 못하는 학생과 같습니다. 이 모델들은 '블러'가 항상 일정하게 발생하는 깨끗하고 통제된 데이터로 훈련되었습니다. 하지만 현실은 혼란스럽습니다. 영상은 흔들리는 손 때문에 흐릿해질 수도 있고, 나쁜 인터넷 연결 때문에 입자가 거칠어질 수도 있으며, 심한 압축 때문에 왜곡될 수도 있습니다. 이러한 모델들이 영상을 수정하려고 할 때, 오히려 상황을 악화시키기도 합니다. 텍스트와 같은 중요한 디테일을 읽을 수 없을 정도로 매끄럽게 뭉개버리거나, 가짜 질감을 만들어내어 노이즈처럼 보이게 만들기 때문입니다.

나아가, 컴퓨터가 일을 잘했는지 확인하는 것도 어렵습니다. 보통은 비교 대상이 될 완벽하고 고품질인 버전의 영상이 필요합니다. 하지만 현실 세계에서는 그런 완벽한 버전이 없는 경우가 많습니다. 우리에게는 그저 엉망인 영상뿐이며, 그것을 더 낫게 만들어야 할 뿐입니다. 이 논문은 우리가 완벽한 참조 이미지(선생님)가 옆에서 지켜보고 있지 않더라도, 이러한 미지의 문제들에 적응할 수 있는 시스템이 필요하다고 주장합니다.

해결책: 자가 수정이 가능한 3단계 시스템

저자는 '테스트 시간 적응(TTA)'이라는 개념을 중심으로 세 가지 도구를 사용하여 이 과제를 해결하는 박사 연구 프로젝트를 제시합니다. TTA를 컴퓨터에게 최종 사진을 보여주기 직전에 스스로를 고치기 위한 거울과 지침을 주는 것이라고 생각해보세요.

1. 자기 평가 비평가 (RW-VSR-QA)
먼저, 저자는 실시간으로 학습할 수 있는 '품질 판사'를 구축합니다. 특정 레스토랑의 음식 맛을 평가하던 음식 평론가가 갑작스럽게 완전히 다른 스타일의 요리를 하는 길거리 음식점으로 가게 되었을 때, 무엇이 '좋은 맛'인지 더 이상 모를 수 있는 상황을 상상해 보세요. 이 시스템은 비평가가 새로운 스타일에 즉각적으로 적응하도록 만듭니다.
논문은 테스트 영상을 보는 동안 컴퓨터의 뇌 중 아주 작은 부분(구체적으로는 정규화 레이어)을 미세하게 조정함으로써, 시스템이 인간이 품질을 어떻게 평가할지 예측하는 법을 배울 수 있음을 보여줍니다. 이 시스템은 완벽한 성적표 없이도 어떤 영상이 다른 영상보다 더 좋아 보이는지를 파악하기 위해 두 가지 특별한 '학습 게임'(Quality-Based Group Contrastive Loss 및 Quality-Aware Rank Loss라고 불림)을 사용합니다.

• 결과: 이 자기 적응형 비평가가 영상 향상을 유도했을 때, 품질 점수가 향상되었습니다. 예를 들어, SAMA라는 모델은 영상을 올바르게 순위 매기는 능력이 7.24% 상승했습니다. 이는 시스템이 영상이 심하게 왜곡되었을 때도 무엇이 보기 좋은지를 훨씬 더 잘 알게 되었음을 의미합니다.

2. 텍스트 보존 전문가 (ScrVSR)
다음으로, 저자는 매우 구체적이고 까다로운 유형의 영상인 '스크린 콘텐츠'에 집중합니다. 여기에는 파워포인트 슬라이드, 화면상의 코드, 또는 사람들이 데스크톱을 공유하는 화상 통화 등이 포함됩니다. 이러한 영상에서 텍스트는 가장 중요합니다. 만약 컴퓨터가 글자를 흐릿하게 만든다면, 그 영상의 목적 자체가 상실됩니다.
저자는 ScrVSR(Screen Content Video Super-Resolution)이라는 새로운 모델을 만들었습니다. 모든 것을 "예쁘거나" "자연스럽게" 만드는 데 집중하는 기존 모델들과 달리, 이 모델은 글자를 날카롭고 가장자리를 뚜렷하게 유지하는 데 집착합니다. 이 모델은 이미지의 스펠링 체크 기능과 같은 특별한 '텍스트 인식' 손실 함수를 사용합니다. 이 함수는 향상된 이미지의 글자가 원래 있어야 할 글자와 일치하는지 확인합니다.

• 결적: 이 모델은 다양한 압축 수준(양자화 파라미터 또는 QP로 측정됨)을 가진 영상들을 대상으로 테스트되었습니다. 중간 정도의 압축 수준(QP-22)에서 ScrVSR은 이전 방식들을 제치고 PSNR 29.17과 SSIM 0.9568을 달성했습니다. 더욱 인상적인 것은, 다음으로 우수한 방식의 '문자 오류율(Character Error Rate)'이 0.2973이었던 것에 비해, ScrVSR은 이를 0.2089까지 낮췄다는 점입니다. 이는 영상이 매우 흐릿할 때도 텍스트를 읽을 수 있는 상태로 유지되었음을 의미합니다. 저자는 이 접근 방식이 화상 회의 초해상도 분야의 주요 글로벌 챌린지에서 Rank-2를 차지하는 데 도움이 되었다고 언급했습니다.

3. 영역별 튜너 (SCISR-TTA)
마지막으로, 저자는 스크린 콘텐츠에 대해 "하나의 크기로 모두에게 맞는(one-size-fits-all)" 방식이 통하지 않는다는 것을 깨달았습니다. 사람의 얼굴 사진은 부드럽고 자연스러워야 하지만, 그 옆의 텍스트는 면도날처럼 날카로워야 합니다. 만약 두 곳에 동일한 설정을 적용한다면, 텍스트가 흐려지거나 노이즈가 심한 얼굴을 얻게 될 것입니다.
그 해결책은 SCISR-TTA라는 2단계 적응 프로세스입니다.

• 1단계: 시스템은 텍스트 영역을 찾아내고, 해당 글자들을 날카롭고 정확하게 만들기 위해 모델을 특정하여 적응시킵니다. 심지-아, 이 시스템은 자신이 보고 있는 텍스트가 말이 되는지 확인하기 위해 '소형 언어 모델(Small Language Model)'을 사용하여 마치 두 번째 눈 역할을 수행합니다.
• 2단계: 그 후 시스템은 텍사 영역이 아닌 부분(배경이나 얼굴 등)으로 이동하여, 디테일을 망가뜨리지 않으면서 노이즈와 압축 아티팩트를 제거하도록 모델을 적응시킵니다.
• 결과: 이 타겟팅된 접근 방식은 놀라운 효과를 보였습니다. ITSRN이라는 모델의 경우, 적응 후 텍스트 오류율이 0.5762에서 0.5621로 감소했으며, 지각 품질 점수(DFSS와 같은)는 46.7358에서 47.6527로 상승했습니다. 논문은 텍스트와 이미지를 다르게 취급함으로써, 완벽한 고해상도 영상을 참조하지 않고도 읽기 쉬우면서도 시각적으로 즐거운 영상을 만들 수 있음을 보여줍니다.

이것이 의미하는 바와 향후 과제

이 논문은 이러한 적응형 방법들이 실제 환경에서 영상 향상을 훨씬 더 견고하게 만든다고 결론짓습니다. 컴퓨터가 처리 중인 영상의 특정한 무질서함에 맞춰 스스로를 조정하게 함으로써, 전체 시스템을 다시 훈련시키거나 완벽한 참조 데이터를 필요로 하지 않고도 더 나은 결과를 얻을 수 있습니다.

하지만 저자는 한계점에 대해서도 솔직하게 밝힙니다. 현재 방식들은 주로 한 번에 한 프레임씩을 살펴봅니다. 이들은 영상이 초 단위로 어떻게 움직이는지를 완전히 이해하지 못하며, 이로 인해 이미지가 튀는 듯한 '플리커링(flickering)' 현상이 발생할 수 있습니다. 저자는 다음 단계의 큰 과제가 이러한 시스템에 시간과 움직임을 이해시키는 것이며, 이를 통해 영상을 단순히 선명하게 만드는 것을 넘어 부드럽고 안정적이게 만드는 것이라고 제안합니다.

요약하자면, 이 연구는 영상 초해상도 기술에 '자아 의식'을 부여합니다. 이는 컴퓨터가 엉망인 영상을 보고, 무엇이 잘못되었는지 깨닫고, 인간의 눈과 텍스트 읽기의 중요성을 모두 존중하면서 업무 중에 스스로 배우며 문제를 해결하도록 가르치는 것입니다.