Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

당신이 재능 경연 대회의 심사위원이라고 상상해 보세요. 노래나 춤을 보는 대신, 사진의 품질을 심사하는 역할입니다. 당신의 임무는 사진을 보고 결정하는 것입니다: "이 사진은 흐릿한가? 색감이 이상한가? 아니면 그냥 나쁜 사진인가?" 이것이 바로 **이미지 품질 평가(IQA)**의 세계입니다. 오랫동안 컴퓨터는 인간과 같은 "눈"이 없었기 때문에 이 분야에서 어려움을 겪었습니다. 컴퓨터에게 무엇이 "좋은" 사진인지 가르쳐야 했습니다.

과거에 과학자들은 수백만 장의 사진을 컴퓨터에게 보여주며 "이 사진이 얼마나 마음에 드니?"라고 묻는 방식으로 컴퓨터를 가르치려 노력했습니다. 이 답변들을 "평균 의견 점수(MOS)"라고 부르는데, 이는 실제 사람들이 매긴 평균 등급입니다. 하지만 까다로운 점이 있습니다. 컴퓨터는 매우 까다롭습니다. 만약 컴퓨터에게 작고 저해상도인 사진(휴대전화 화면에서 보는 것 같은 종류)을 판단하도록 훈련시키면, 전문가용 카메라로 찍은 거대하고 초고해상도인 사진을 보여주었을 때 혼란에 빠지곤 합니다. 이는 아이에게 장난감 플라스틱 강아지만 보여주며 개를 인식하도록 가르치는 것과 같습니다. 그러다 진짜 크고 거대한 개를 보면 어떻게 해야 할지 모르는 것과 같죠. 게다가, 거대한 사진의 모든 픽셀을 살펴보는 것은 엄청난 컴퓨터 성능을 요구합니다. 마치 도서관에서 오타 하나를 찾기 위해 모든 단어를 다 읽어야 하는 것과 같습니다. 큰 질문은 이것입니다: 어떻게 하면 어떤 크기의 사진에서도 작동하고, 미세한 디테일을 포착하며, 슈퍼컴퓨터 없이도 임무를 수행할 수 있는 컴퓨터 심사위원을 만들 수 있을까?

여기, 연구자 하칸 엠레 게디크(Hakan Emre Gedik), 샤샹크 굽타(Shashank Gupta), 알란 보빅(Alan Bovik)이 소개한 새로운 모델인 ReLIQS가 있습니다. ReLIQS를 사진 전체를 한꺼번에 뚫어지게 쳐다보는 로봇이 아니라, 돋보기와 지도를 든 영리한 탐정이라고 생각해보세요.

"원사이즈 피츠 올(One-Size-Fits-All)" 방식의 문제점

대부분의 기존 컴퓨터 비전 모델은 모든 사진을 보기 전에 아주 작은 정사각형 프레임에 억지로 맞추려는 사진작가처럼 작동합니다. 만약 거대하고 초고해상도인 사진이 있다면, 컴퓨터는 이를 작은 크기로 압축하여 맞춥니다. 문제는 무엇일까요? 사진을 압축하면 미세하고 중요한 디테일들—노이즈의 입자, 가장자리의 선명함, 직물의 질감 등—을 잃게 된다는 것입니다. 이는 실크 셔츠의 품질을 판단하기 위해 그것을 흐릿하고 픽셀이 깨진 썸네일로 보는 것과 같습니다. 당신은 그 직물이 실제로 찢어져 있다는 사실을 놓칠 수도 있습니다.

다른 모델들은 원래 크기를 유지하려고 노력하지만, 과부하가 걸립니다. 거대한 이미지를 픽셀 하나하나 살펴보는 것은 비용이 너무 많이 들고 느려서 실제 사용에는 거의 불가능합니다. 이는 건초더미에서 특정 바늘을 찾기 위해 건초 조각 하나하나를 일일이 확인하는 것과 같습니다.

ReLIQS가 해결하는 방법: "스마트한 탐정"

ReLIQS는 **해상도 불가지론적 학습(Resolution-agnostic Learning)**이라는 전략을 사용하여 게임의 판도를 바꿉니다. 사진 전체를 찌그러뜨리거나 모든 픽셀을 확인하는 대신, 세 단계의 "탐정" 프로세스를 사용합니다.

1. 다중 스케일 맵(The Multi-Scale Map): 사진이 있다고 상상해 보세요. ReLIQS는 사진을 한 번만 보는 것이 아닙니다. 사진의 복사본을 몇 개 만듭니다. 하나는 원래의 거대한 크기로, 하나는 약간 축소된 크기로, 또 하나는 훨씬 더 축소된 크기로 만듭니다. 이것은 도시의 지도를 우주에서, 비행기에서, 그리고 거리 수준에서 보는 것과 같습니다. "거리 수준"(원래 크기)은 미세한 균열과 흠집을 보여줍니다. "우주 뷰"(축소된 크기)는 전체적인 레이아웃과 색상을 보여줍니다.

2. "어디를 볼 것인가" 레이더: 이 부분이 가장 창의적인 부분입니다. ReLIQS는 히트맵 역할을 하는 특별한 조력 모듈(지각 중요도 추정기, Perceptual Importance Estimator)을 가지고 있습니다. 이 모듈은 사진을 스캔하며 "인간이 실수(결함)를 어디에서 가장 잘 알아챌까?"라고 묻습니다. 이 모델은 사람들이 인물 사진에서는 얼굴에 더 신경을 쓰고, 배경의 나무보다는 얼굴에 더 집중한다는 것을, 혹은 흐릿한 하늘은 짜증 나지만 흐릿한 구석은 괜찮을 수도 있다는 것을 배웁니다. 이 모듈은 "중요도"의 지도를 그립니다. 이것은 품질에 실제로 중요한 부분에만 빛을 비추는 스포트라이트와 같습니다.

3. 스마트 샘플링(The Smart Sampling): 사진의 모든 패치를 확인하는 대신, ReLIQS는 그 스포트라이트를 사용하여 가장 중요한 패치만을 선택합니다. 사진이 매우 크더라도, 수천 개 대신 가장 흥식 있는 상위 48개의 지점만을 확인할 수 있습니다. 이는 음식이 맛있는지 결정하기 위해 접시 전체를 다 먹는 대신, 가장 핵심적인 한 입만을 맛보는 음식 평론가와 같습니다.

이러한 스마트한 패치를 선택한 후, ReLIQS는 (CLIP이라 불리는 모델 기반의) 강력한 사전 훈련된 뇌를 사용하여 이들을 분석합니다. 그런 다음 이 모든 작은 단서들을 결합하여 이미지가 얼마나 좋은지에 대한 단 하나의 점수를 산출합니다.

연구 결과

연구진은 다양한 종류의 사진(실제 스냅샷, 컴퓨터 생성 이미지, 가짜 왜곡이 포함된 사진 등)을 대상으로 ReLIQS를 테스트했습니다. 그들은 거대 언어 모델(말하고 볼 수 있는 AI)을 사용하는 최고의 기존 모델들과 비교했습니다.

• 모든 크기에 대응합니다: ReLIQS는 크기 변화에 혼란을 겪지 않고 작은 휴대폰 사진부터 거대한 초고해상도(UHD) 이미지까지 모두 처리했습니다. 다른 모델들이 이미지 크기가 변할 때 어려움을 겪거나 실패한 반면, ReLIQS는 침착함을 유지했습니다.
• 빠르고 저렴합니다: 가장 "중요한" 패치들만 살펴봄으로써, ReLIQS는 정확도를 잃지 않으면서도 컴퓨팅 비용을 최대 **90%**까지 절감할 수 있었습니다. 초고해상도 이미지 테스트에서 ReLIQS는 해당 이미지를 위해 특별히 제작된 모델들보다 더 뛰어난 성능을 보이면서도 훨씬 적은 컴퓨팅 파워를 사용했습니다.
• 다양한 소스로부터 학습합니다: 이 모델은 다양한 데이터셋(사람의 등급이 매겨진 사진 모음)으로 훈련되었습니다. 보통 이러한 데이터셋을 섞는 것은 어렵습니다. 왜냐하면 사람마다 평가 방식이 다르기 때문입니다. ReLIQS는 이 모든 데이터셋으로부터 동시에 학습할 수 있는 방법을 찾아냈으며, 이를 통해 더 다재다능한 심사위원이 되었습니다.

결론

이 논문은 ReLIQS가 슈퍼컴퓨터 없이도 "해상도 문제"를 해결했기 때문에 중요한 진전이라고 제안합니다. 이는 품질을 판단하기 위해 모든 것을 볼 필요는 없으며, 단지 어디를 봐야 하는지와 그곳에서 무엇을 판단해야 하는지를 아는 것이 중요하다는 것을 증명합니다.

모델이 매우 뛰어난 성능을 보였지만, 저자들은 ReLIQS가 특정 유형의 AI 생성 이미지(AGIQA-3K)에서는 다른 일부 모델보다 약간 뒤처진다고 언급했습니다. 이는 ReLIQS가 실제 세계와 표준적인 왜곡에는 달인이지만, 완전히 AI가 만들어낸 이미지의 독특한 특징을 이해하기 위해서는 약간의 추가 훈련이 필요할 수 있음을 시사합니다.

요약하자면, ReLIQS는 그림을 몇 시간 동안 쳐다보거나 작은 썸네일을 뚫어지게 볼 필요가 없는 고도로 훈련된 미술 비평가와 같습니다. 그들은 정확히 어디를 봐야 하는지 알고, 맥락을 이해하며, 순식간에 완벽한 등급을 매길 수 있습니다. 이러한 접근 방식은 백그라운드에 거대한 데이터 센터를 두지 않고도, 당신의 휴대폰부터 스마트 카메라에 이르기까지 일상적인 기기에서 고품질 이미지 분석을 가능하게 할 것입니다.