Training-Free No-Reference Image Quality Assessment Using a Content-Independent Graph Fourier Watermark

당신이 아주 귀하고 깨지기 쉬운 그림을 전 세계로 보낸다고 상상해 보세요. 당신은 이 그림이 흔들리고, 어쩌면 비에 조금 맞을 수도 있으며, 트럭이 울퉁불퉁한 길을 갈 수도 있다는 것을 알고 있습니다. 마침내 친구의 집에 도착했을 때, 당신은 알고 싶을 것입니다: 얼마나 많은 손상을 입었는가? 보통 이를 답하기 위해서는 보관함에 보관 중인 원래의 그림과 도착한 그림을 비교해야 합니다. 하지만 만약 원래의 그림이 없다면 어떻게 될까요? 만약 원본이 수 마일 떨어진 서버실에 잠겨 있거나, 배송 회사가 출발할 당시의 기록을 잃어버렸다면 어떻게 될까요? 이것은 대학에서 강의 슬라이드를 보내거나 뉴스 사이트에서 사진을 게시하는 것과 같이 인터넷을 통해 이미지를 보내는 모든 이들에게 거대한 문제입니다. 그들은 원본(완벽한 버전)을 다시 보지 않고도 이미지가 여전히 "충분히 좋은지" 알 수 있는 방법이 필요합니다.

이를 해결하기 위해 과학자들은 "디지털 워터마킹"이라는 영리한 기술을 시도해 왔습니다. 이것은 그림을 보내기 전에 그 안에 아주 작고 보이지 않는 쪽지를 끼워 넣는 것과 같습니다. 이 쪽지는 그림과 함께 이동하며, 똑같이 비를 맞고 충격을 받습니다. 그리고 도착했을 때, 당신은 그 쪽지를 확인합니다. 만약 쪽지가 찢어지거나 흐릿해졌다면, 그림도 아마 손상을 입었을 것이라고 알 수 있습니다. 과제는 그림을 망치지 않을 정도로 미묘하면서도, 얼마나 심하게 손상되었는지 정확히 알려줄 수 있을 만큼 강력한 쪽지를 만드는 것입니다. 이 논문은 "그래프 푸리에 변환(Graph Fourier Transform)"이라는 수학적 도구를 사용하여 이 쪽지를 쓰는 새로운 방법을 다룹니다. 이는 단순히 색상이 아니라 이미지의 구조를 바라보는 특수한 렌즈와 같습니다. 목표는 아무런 학습 데이터나 참조용 복사본 없이도, 오직 보이지 않는 쪽지를 읽는 것만으로 손상된 이미지의 품질을 완벽하게 추측할 수 있는 시스템을 만드는 것입니다.

보이지 않는 쪽지와 마법의 격자

이 연구를 진행한 연구자들은 단순하지만 까다로운 질문을 던졌습니다: 수천 개의 사례로부터 "학습"할 필요도 없고, 매 이미지마다 전략을 바꿀 필요도 없는 품질 체크 시스템을 구축할 수 있을까? 대부분의 현대적 시스템은 교과서에서 정답을 암기하는 학생과 같습니다. 그들은 무엇을 찾아야 할지 배우기 위해 방대한 양의 "좋은" 이미지와 "나쁜" 이미지가 필요합니다. 이 논문에서 제안하는 시스템은 몇 가지 깨지지 않는 규칙을 알고 있는 숙련된 탐정과 더 비슷합니다.

그들의 아이디어의 핵심은 "고정된" 지도입니다. 이미지의 일부를 구성하는 64개의 작은 타일(8x8 블록) 격자가 있다고 상상해 보세요. 보통 이 타일들을 분석하기 위해 타일 내부의 색상에 기반한 맞춤형 지도를 만들 수 있습니다. 하지만 저자는 어떤 그림이 오더라도 절대 변하지 않는 지도를 사용하기로 했습니다. 그들은 이를 **블록 그래프 푸리에 변환(Block-Graph Fourier Transform)**이라고 부릅니다. 이는 마치 모든 이미지에 완벽하게 들어맞는 단 하나의 견고한 골격(skeleton)을 가진 것과 같습니다. 이 골격은 이미지의 내용이 아니라 오직 격자의 형태(기하학적 구조)에 기반하기 때문에, 이미지를 보내는 사람과 받는 사람은 서로 대화하지 않고도 정확히 같은 골격을 구축할 수 있습니다. 비밀 코드도, 추가 데이터 패킷도 필요 없습니다. 오직 이미지와 공유된 수학만이 존재할 뿐입니다.

씨앗 심기

그들이 이 고정된 지도를 사용하는 방법은 다음과 같습니다. 이미지를 보내기 전, 이미지 격자의 중간 주파수 부분에 작은 "씨앗"(워터마크)을 심습니다. 그들은 **양자화 지수 변조(Quantization Index Modulation)**라는 기술을 사용하는데, 이는 숫자를 아주 미세하게 조정하여 아무도 눈치채지 못하게 비밀스러운 "0" 또는 "1"을 인코딩하는 세련된 방식입니다.

그들은 아주 적절한 지점을 찾아냈습니다: 모든 테스트 이미지에 적용되는 단 하나의 전역적인 "조정 크기"(양자화 단계 6.0)가 작동한다는 사실입니다. 고양이 사진이든 산 사진이든 상관없이 설정을 조절할 필요가 없었습니다. 이 단일 설정 덕분에 워터마크가 삽입된 이미지의 품질 점수(PS생성된 PSNR)는 39개의 모든 테스트 이미지에서 40 dB 이상을 유지했으며, 평균은 42.65 dB였습니다. 이를 설명하자면, 인간의 눈은 이 수준에서 원본과 워터마크가 삽입된 버전을 구분할 수 없습니다.

손상 읽기

이미지가 목적지에 도착하면, 흐릿해지거나, 픽셀이 깨지거나, 노이즈가 생겼을 수 있습니다. 수신자는 원본은 없지만, 고정된 지도는 가지고 있습니다. 그들은 이미지를 다시 지도에 통과시켜 심어놓은 "씨앗"을 찾아냅니다.

여기서 논문은 영리해집니다. 만약 그들이 단순히 "0"이 "1"로 변한 개수(비트 오류율)만을 셌다면 한계에 부딪혔을 것입니다. 때로는 손상이 너무 미세해서 씨앗이 여전히 읽히기는 하지만 흔들리고 있을 수도 있습니다. 또 다른 경우에는 손상이 너무 심해서 씨앗이 완전히 사라져 버려, 오류율이 그냥 50%(순수한 추측)에 머물게 되어 얼마나 나쁜지 알려주지 못할 수도 있습니다.

이를 해결하기 위해 저자는 단순히 오류를 세는 것에 그치지 않았습니다. 그들은 세 부분으로 구성된 "열화 점수"를 만들었습니다:

1. 비트 오류율(Bit Error Rate): 얼마나 많은 비트가 틀렸는가?
2. 신뢰도 점수(Confidence Score): 비트들이 틀리기 직전의 상태에 얼마나 근접했는가? (마치 동전이 모서리로 서 있는 것을 보는 것과 같습니다).
3. 잔차 모멘트(Residual Moment): 숫자들이 얼마나 흔들렸는지에 대한 척도.

이 세 가지 단서를 결합하여 그들은 "열화 지수(degradation index)"를 만들었습니다. 이 지수는 이후 **이상적인 매핑 곡선(Ideal Mapping Curve)**으로 전달됩니다. 이 곡선을 '번역기'라고 생각하면 됩니다. 이 번역기는 "흔들림 점수"를 품질 숫자(예: PSNR)로 변환합니다. 그들은 이 곡선을 소수의 "보정(calibration)" 이미지를 사용하여 구축했으며, 이후 본 적 없는 이미지들로 테스트했습니다.

결과: 폐쇄 루프 탐정

이 시스템은 자신의 작업을 재확인하는 탐정과 같은 "폐쇄 루프(closed-loop)" 기능을 갖추고 있습니다. 초기 추측이 틀렸을 경우, 시스템은 내부 설정을 미세하고 계산적으로 조정하여 진실에 더 가까워집니다.

결과는 인상적이었습니다. 7가지의 서로 다른 손상 유형(JPEG 압축, 블러링, 노이즈 등)과 4가지의 서로 다른 품질 측정 방식에 걸쳐, 시스템은 테스트된 28가지 조합 모두에서 정확도를 개선했습니다.

• 5가지 손상 유형의 경우, 시스템은 실제 값의 0.35에서 0.73 dB 이내로 품질(PSNR)을 추정할 수 있었습니다.
• 28가지 사례 중 22가지에서 개선이 통계적으로 유의미했는데, 이는 단순히 운이 아니었다는 것을 의미합니다.

하지만 논문은 어려움을 겪는 부분에 대해서도 매우 솔직합니다. 손상이 단순한 가산 노이즈(TV 화면의 정전기 같은 것)일 때, 시스템은 특정 한계보다 더 나아질 수 없었습니다. 왜냐하면 이런 경우 품질은 이미지 자체보다는 얼마나 많은 노이즈가 추가되었는지에 의해 거의 결정되기 때문입니다. "노트"는 노이즈가 섞인 고양이와 노이즈가 섞인 산을 구별할 수 없습니다. 저자는 이러한 특정 노이즈 사례에 대해 시스템이 한계에 부딪힌다는 점을 명시했으며, 이 미스터리를 해결했다고 주장하지 않습니다.

이것이 중요한 이유

이 논문은 이미지 품질을 판단하기 위해 슈퍼컴퓨터나 방대한 양의 인간 의견 데이터베이스가 필요하지 않다는 것을 보여줍니다. 고정된 수학적 "골격"과 보이지 않는 노트를 읽는 영리한 방식을 사용하면 매우 정확한 추측을 얻을 수 있습니다. 이 방식은 JPEG 압축, 블러링, 페이딩(fading)에 잘 작동하며, 이러한 특정 작업에서 많은 복잡한 학습 기반 시스템들을 능가합니다.

그러나 저자는 과장하지 않도록 주의를 기울입니다. 이 방식이 합성된 테스트 이미지에는 잘 작동하지만, 이미지가 크기가 조정되거나 재인코딩되고 압축되는 등 테스트되지 않은 방식으로 처리되는 복잡한 실제 인터넷 환경에서도 살아남을 수 있을지는 아직 알 수 없다고 인정합니다. 또한 이 시스템은 인간의 즐거움(사람이 그 사진을 좋아했는가?)이 아닌 객관적 품질(수학적 숫자)을 측정한다는 점도 언급합니다.

요약하자면, 이것은 건물을 떠나기 전에 노트를 심어두었다면, 이미지가 여정 중에 얼마나 손상되었는지 정확히 알려줄 수 있는 견고하고 학습이 필요 없는 도구입니다. 이는 우리가 이미지를 보내고 받을 때, 비록 원본을 다시 볼 수는 없더라도 그 과정이 이미지를 망치지 않았음을 신뢰할 수 있는 세상을 향한 한 걸음입니다.