당신이 정원의 풍경을 보기 위해 진흙이 묻은 창문을 닦으려 한다고 상상해 보세요. 만약 당신이 단순히 무작위로 앞뒤로 왔다 갔다 하며 유리를 닦는다면, 더 더러운 부분의 먼지를 깨끗한 부분으로 문질러 버려 전체적인 시야를 흐릿하게 만들 수도 있습니다. 이것이 바로 컴퓨터가 폭우, 짙은 안개, 눈과 같은 악천후로 망가진 사진을 복구할 때 직면하는 과제입니다. 오랫동안 컴퓨터는 사진을 아주 작은 점(또는 "픽셀") 하나하나씩 살펴보며, 마치 잔디를 깎는 잔디깎이처럼 엄격하고 격자 형태의 패턴으로 움직였습니다. 문제는 악천후는 깔끔한 격자 형태로 내리지 않는다는 점입니다. 예를 들어, 빗방울 하나가 새의 날개를 가릴 수는 있지만 하늘은 깨끗하게 남겨둘 수 있습니다. 컴퓨터의 "잔디깎이"가 새에서 하늘로 이동할 때, 컴퓨터는 "비가 오는" 정보와 "맑은" 정보를 실수로 섞어버리게 되어 컴퓨터를 혼란에 빠뜨리고 사진을 여전히 지저렴하게 만듭니다.

이를 해결하기 위해 과학자들은 상태 공간 모델(State Space Model, SSM)이라는 유형의 인공지능을 사용하여 더 똑똑한 "청소 로봇"을 만들고 있습니다. SSM을 방금 전 보았던 것을 기억하여 지금 무엇을 보고 있는지 이해하는 로봇이라고 생각하면 됩니다. 하지만 기존의 방식은 이 로봇에게 이미지를 어떻게 보라고 지시하는 방식(즉, "스캐닝 전략")이 너무 경직되어 있었습니다. 그것은 실제 이미지가 무엇인지 상관하지 않고, 그저 미리 설정된 경로만을 따랐습니다. 이 논문은 규칙을 바꾸는 SSR이라는 새로운 로봇을 소개합니다. SSR은 단순한 격자를 따르는 대신, "슈퍼픽셀(superpixel)" 지도를 사용하여 이미지를 자연스럽고 일관된 덩어리로 그룹화합니다. 이는 마치 새의 조각들은 모두 새의 조각끼리, 하늘의 조각들은 모두 하늘의 조각끼리 모아두는 퍼즐처럼 작동합니다. 이를 통해 로봇은 하늘을 번지게 하지 않으면서 새를 닦을 수 있고, 그 반대의 경우도 마찬가지로 수행할 수 있습니다.

문제점: "잔디깎이" 대 "퍼즐"

이 논문의 저자들은 기존의 방식으로 날씨로 손상된 사진을 복구하는 것이 마치 눈을 가린 장갑을 끼고 직소 퍼즐을 맞추려는 것과 같다고 주장합니다. 당신은 가장자리는 느낄 수 있겠지만, 어떤 조각이 강아지의 것인지 나무의 것인지는 알 수 없습니다. 기존의 방법들(매우 발전된 방식들 포함)은 종종 이미지를 길고 평평한 픽셀의 선으로 취급합니다. 그들은 왼쪽에서 오른쪽으로, 혹은 위에서 아래로, 또는 힐베르트 곡선(Hilbert curve)과 같은 화려한 지그재그 패턴으로 스캔합니다.

논문은 이러한 접근 방식의 주요 결함을 지적합니다: 열화(degradation)는 균일하지 않습니다. 폭풍은 사진을 고르게 망가뜨리지 않습니다. 한 부분은 눈으로 덮여 있을 수 있고, 다른 부분은 깨끗할 수 있습니다. 컴퓨터가 직선으로 스캔할 때, 그것은 종종 "더러운" 영역과 "깨끗한" 영역 사이의 경계를 가로지르게 됩니다. 그러면 컴퓨터는 두 가지를 동시에 학습하려고 시도하며, "노이즈"(눈)와 "신호"(나무)를 섞어버립니다. 결과는 무엇일까요? 컴퓨터는 비구별적인 특징을 학습하게 됩니다. 즉, 혼란에 빠져 실제 나무 가지와 그 위의 눈송이를 구분하지 못하게 되는 것입니다.

해결책: "슈퍼픽셀" 가이드

연구팀은 SSR(Semantic-center guided State space model for Restoration)이라는 새로운 모델을 제안합니다. 핵심 아이디어는 픽셀 단위로 스캔하는 것을 멈추고 "영역 단위"로 스한하는 것입니다.

그들이 이 일을 수행하는 방법은 두 가지 주요 기술을 사용합니다:

1. 슈퍼픽셀 유도 선택적 스캔 (S3M)
경직된 격자 대신, SSR은 먼저 이미지를 "슈퍼픽셀"로 나눕니다. 사진을 찍은 후 모든 뚜렷한 물체나 질감의 외곽선을 그린다고 상상해 보세요. 즉, 모든 파란 하늘 픽셀을 함께 묶고, 모든 초록색 풀 픽셀을 함께 묶고, 모든 빗방울 픽셀을 함께 묶는 것입니다. 이러한 그룹들은 "지각적으로 일관된(perceptually coherent)" 것들, 즉 인간의 눈에 의미가 있는 것들입니다.
이미지가 이러한 자연스러운 덩어리로 나누어지면, 컴퓨터의 "잔디깎이"(스캐닝 메커니즘)는 선 안에 머물도록 지시받습니다. 컴퓨터는 "하늘" 그룹의 모든 픽셀을 함께 처리한 다음, "풀" 그룹으로 이동합니다. 중간에 "비가 오는" 패치에서 "맑은" 패치로 갑득없이 건너뛰지 않습니다. 이를 통해 컴퓨터는 비의 특징을 학습하면서도 실수로 맑은 하늘의 특징을 "학습"하지 않도록 보장하며, 정보의 번짐을 방지합니다.

2. 영역 수준 게이팅 메커니즘 (RGM)
단일 그룹(예: 눈이 내린 구역) 내부에서도 일부 픽셀은 유난히 지저 혹은 이상한 아웃라이어(outlier)일 수 있습니다. 이를 처리하기 위해 SSR은 "게이팅(gating)" 시스템을 사용합니다. 이것은 특정 VIP 구역에 있는 모든 사람의 신분증을 확인하는 클럽의 보안 요원과 같습니다. 각 슈퍼픽셀 그룹에 대해, 컴퓨터는 픽셀들의 평균적인 "기분"(통계)을 계산합니다. 만약 어떤 픽셀이 이상하게 행동한다면(열화 아웃라이어), 보안 요원(게이팅 메커니즘)은 그 픽셀이 처리되기 전에 그 볼륨을 줄이거나 행동을 바꿉니다. 이는 해당 영역에 맞춰 청소 과정을 미세 조정하여, 이상하고 지저분한 부분이 전체 그룹의 청소를 망치지 않도록 합니다.

연구 결과

저자들은 SSR 모델을 여섯 가지 벤치마크(날씨 제거 소프트웨어가 얼마나 잘 작동하는지 판단하는 데 사용되는 표준 세트)에서 테스트했습니다. 여기에는 합성 사진(컴퓨터로 생성된 비와 눈)과 실제 악천후에서 촬영된 사진이 포함되었습니다.

• 성능: SSR은 거의 모든 최첨단 모델보다 뛰어난 성능을 보였습니다. 특히 비와 안개가 섞인 "Outdoor" 데이터셋(매우 까다로운 테스트)에서 SSR은 33.22 dB(이미지 품질 측정치)를 기록하며, 2위 모델을 1.06 dB라는 상당한 차이로 앞질렀습니다. 이미지 복원의 세계에서 0.5 dB의 차이도 매우 크다고 간주되는데, 1.06 dB는 엄청난 도약입니다.
• 효Efficiency(효율성): 더 뛰어날 뿐만 아니라, 더 가볍기도 했습니다. 이 모델은 단 7.05백만 개의 파라미터("AI의 뇌 크기")만을 가집로 있습니다. 이는 3천만 개 또는 8천만 개 이상의 파라미터를 가진 다른 상위 모델들에 비해 훨씬 작습니다. 또한 Restormer(141.00 G FLOPs)와 같은 헤비급 모델들에 비해 적은 컴퓨팅 파워(54.27 G FLOPs)를 요구합니다.
• 실제 결과: "완벽한" 버전이 없는 실제 사진을 대상으로 테스트했을 때도, SSR은 다른 방법들보다 인간이 보기에 더 높은 품질과 미적 만족감을 주는 이미지를 만들어냈습니다.

한계와 미래

이 논문은 무엇이 효과적이고 무엇이 그렇지 않은지에 대해 매우 명확하게 밝히고 있습니다. 저자들은 복잡한 날씨를 다루는 데 있어 경직된 사전 설정 스캐닝 경로(표준 격자나 힐베르트 곡선 등)가 최선이라는 생각에 명시적으로 반대합니다. 그들은 이미지의 "의미"(의미론적 내용)를 무시하는 것이 더 나쁜 결과를 초-래한다는 것을 증명했습니다.

하지만 저자들은 자신들의 한계에 대해서도 솔직합니다. 그들의 방법은 "슈퍼픽셀" 클러스터링이 제대로 작동하는 것에 크게 의존합니다. 만약 날씨가 너무 심각해서(예: 눈보라가 몰아치는 상황) 컴퓨터가 한 물체와 다른 물체의 경계를 구분할 수 없다면, 슈퍼픽셀 지도가 혼란을 겪을 수 있습니다. 그런 극단적인 경우, "가이드"가 고장 났기 때문에 모델이 어려움을 겪을 수 있습니다.

또한, 수학적으로는 모델이 빠르다고(선형 복잡도) 하지만, 현재 컴퓨터 칩에서의 실제 속도는 최적화된 기존 모델들보다 약간 느립니다. 이는 SSR의 "동적인" 움직임(서로 다른 슈퍼픽셀 그룹 사이를 건너뛰는 방식)이 단순한 직선 스캔보다 현재의 컴퓨터 하드웨어에서 효율적으로 처리하기 더 어렵기 때문입니다. 저자들은 향-후 연구가 이 스마트한 "점핑" 움직임을 기존의 경직된 방식만큼 빠르게 만들기 위한 특수 컴퓨터 칩을 구축하는 데 집중될 것이라고 제안합니다.

요약

간단히 말해, 이 논문은 다음과 같이 말합니다: "벽에 부딪히며 지나가는 로봇 청소기처럼 사진을 닦지 마세요. 방을 이해하는 사람처럼 사진을 닦으세요." 픽셀을 자연스럽고 의미 있는 덩어리로 그룹화하고 한 번에 한 그룹씩 닦음으로써, 새로운 SSR 모델은 이전 방식들보다 더 잘, 더 빠르게, 그리고 더 적은 컴퓨팅 파워로 악천후 사진을 복구합니다. 이것은 "픽셀-직렬(pixel-serial)" 방식에서 "의미론적 가이드(semantic-guided)" 방식으로의 전환이며, 때로는 명확하게 보는 최선의 방법이 당신이 무엇을 보고 있는지 이해하는 것임을 증명합니다.