Detail Continuation over a Trustworthy Coarse Scale for Autoregressive Super-Resolution

당신이 흐릿하고 픽셀이 깨진 고양이 사진을 복구하려고 노력하고 있다고 상상해 보세요. 당신은 이 사진이 선명하고 실제처럼 보이기를 원하지만, 원래의 고양이와는 전혀 다른 새로운 고양이를 만들어내고 싶지는 않습니다. 이것이 바로 **생성적 초해상도(Generative Super-Resolution)**의 세계입니다. 이는 AI가 누락된 세부 정보를 "환각(hallucinate)"하여 저화질 이미지를 고화질 걸작으로 바꾸려고 시도하는 컴퓨터 과학 분야입니다. 마치 단 한 장의 거친 보안 카메라 스냅샷으로부터 범죄 현장을 재구성하려는 형사처럼 생각해보세요. 형사는 빈틈을 채워 넣어야 하지만, 너무 창의력을 발휘하면 그곳에 없었던 용의자를 만들어낼 수도 있습니다. 이를 "환각(hallucination)"이라고 부릅니다. 즉, AI가 멋져 보이지만 원래의 증거로는 뒷받s되지 않는 세부 정보를 만들어내는 것을 말합니다. 과학자들의 큰 과제는 이미지가 멋져 보이게 만들면서도, 실제 사진에 무엇이 있었는지에 대해 거짓을 말하지 않는 최적의 지점을 찾는 것입니다.

시각적 자기회귀(Visual Autoregressive, VAR) 모델링은 AI가 그림을 그리는 영리하고 새로운 방식입니다. VAR은 전체 그림을 한 번에 추측하려고 하는 대신, 거칠고 흐릿한 스케치에서 시작하여 마치 화가가 그림을 다듬듯 점점 더 미세한 세부 사항을 더해가며 층(layer)을 쌓아 올립니다. 이는 마치 이야기를 한 단어씩 써 내려가는 것과 비슷하며, 여기서 모든 새로운 단어는 이전의 단어들에 의존합니다. 이 방법은 사물을 매우 실감 나게 만드는 데 탁적이지만, 까다로운 결함이 하나 있습니다. 만약 AI가 아주 첫 단계인 거친 스케치에서 작은 실수라도 한다면, 그 실수가 이후의 세부 사항을 추가할 때마다 계속 전달되고 증폭되어 결국 이상하거나 잘못된 결과물을 만들어낼 수 있다는 점입니다.

이 논문은 바로 그 특정 문제를 해결하기 위해 K2N이라는 새로운 방법을 소개합니다. 연구진은 초해상도 작업의 경우, "거친 스케치" 부분은 이미 흐릿한 입력 이미지 안에 이미 존재한다는 사실을 깨달았습니다. 즉, 컴퓨터가 처음부터 스스로 추측할 필요가 없다는 것입니다. 따라서 K2N은 AI가 초기 몇 단계의 레이어를 스스로 추측하게 두는 대신(이 단계에서 오류가 쌓이기 시작합니다), 컴퓨터가 그 거친 층들을 직접 바라보도록 강제하여 입력된 흐릿한 사진을 토대로 구축하게 합니다. 이는 흐릿한 사진을 신뢰할 수 있는 기초로 취급하는 것입니다. 이 견고한 기반이 설정된 후에야 비로소 AI는 털의 질감이나 잎맥 같은 작고 불확실한 세부 사항을 채우기 위해 자신의 "추측하는 능력"을 사용하기 시작합니다. 이처럼 위험한 초기 추측 단계를 건너뛰고 실제 증거에 닻을 내림으로써, K2N은 생성된 이미지가 더 선명할 뿐만 아니라 원래 사진에 담긴 내용에 더 충실하도록 만드는 방법을 제시합니다.

"처음부터 추측하기"의 문제점

K2N이 왜 중요한지 이해하려면, 이전 세대의 AI 모델들이 어떻게 작동했는지 살펴봐야 합니다. 깨진 꽃병을 재건하는 상황을 상상해 보세요. 기존 방식(VARSR와 같은 모델에서 사용됨)은 빈 테이블에서 시작하여 첫 순간부터 꽃병의 모양을 추측하고, 그다음 층을 추측하고, 또 그다음 층을 추측하여 끝까지 올라가는 방식이었습니다. 만약 당신이 밑부분의 곡선을 약간이라도 잘못 추측했다면, 그 위에 쌓는 모든 층이 조금씩 어긋나게 될 것이고, 완성을 했을 때쯤이면 꽃병이 기울어져 있거나 이상한 모양이 되어 있을 것입니다. 이것이 논문에서 말하는 "오류 누적(error accumulation)"입니다.

연구진은 흥s로운 점을 발견했습니다. 흐릿한 사진을 복구하는 특정 작업에서는, 꽃병의 "밑부분 곡선"(거칠고 큰 규모의 구조)이 보통 흐릿한 입력 이미지 속에 여전히 보인다는 사실입니다. 흐릿한 사진은 빈 테이블이 아닙니다. 그것은 하나의 힌트입니다. 논문은 AI가 이러한 초기 단계의 큰 형태를 스스로 추측하게 두는 것은 시간 낭비이자 위험 요소라고 주장합니다. 정답이 이미 입력값 안에 바로 놓여 있기 때문입니다.

K2N 솔루션: 기초를 고정하기

저자들은 전략의 변화를 제안합니다. 완전한 "1-to-N" 생성 경로(AI가 처음부터 끝까지 모든 것을 추측하는 방식) 대신, "K-to-N" 세부 사항 지속 과정(detail continuation process)을 제안합니다.

이것이 어떻게 작동하는지 재미있는 비유를 들어 설명하겠습니다.
모래성을 쌓는다고 상상해 보세요.

1. 기존 방식 (VARSR): 당신은 빈 해변에서 시작합니다. 성이 어디에 있어야 할지 추측하고, 밑바닥의 모양을 추측하고, 벽을 추측하고, 마지막으로 탑을 추측합니다. 만약 밑바닥에 대한 첫 번째 추측이 조금이라도 흔들린다면, 성 전체가 휘청거릴 수 있습니다.
2. K2N 방식: 당신은 해변의 흐릿한 사진을 봅니다. 성의 윤곽이 이미 거기 있지만, 단지 흐릿할 뿐입니다. 당신은 삽을 들고 그 흐릿한 윤곽을 직접 복사하여 단단하고 안정적인 기초를 쌓습니다. 당신은 밑바닥을 추측하는 것이 아니라, 증거에 기반하여 고정합니다. 일단 그 기초가 바위처럼 단단해지면, 그때서야 상상력을 마음껏 발휘하여 화려한 탑과 깃발, 그리고 그 위의 작은 조개껍데기들을 만듭니다.

기술적인 용어로 설명하자면, K2N은 저해상도(LR) 입력을 관찰하여 처음 몇 개의 "거친 스케일(coarse scales, 큰 형태)"을 직접 예측하는 특수 모듈을 사용합니다. 이는 AI가 이 부분들을 스스로 추측하는 단계를 건너뛰게 합니다. 그런 다음 이 견고한 기초를 메인 AI 모델에 "사전 채움(pre-fill)"합니다. 그러면 AI는 남은 미세한 세부 사항(과정의 "N" 부분)을 추측하는 어려운 작업에만 집중하면 됩니다.

연구 결과

연구팀은 합성 이미지(완벽한 정답을 알고 있는 이미지)와 실제 카메라로 촬영한 실물 사진을 포함한 방대한 이미지 컬렉션을 통해 이 아이디어를 테스트했습니다. 그들은 K2N을 디퓨전(이미지를 생성하는 또 다른 인기 있는 방식)을 사용하는 다른 최신 모델 및 기존의 자기회귀 모델들과 비교했습니다.

결과:

• 더 나은 품질: K2N은 인간의 눈에 더 선명하고 자연스러운 이미지를 만들어냈습니다. 이미지가 얼마나 "예쁜지" 측정하는 테스트에서, K2N은 거의 모든 데이터셋에서 가장 높은 점수를 기록했습니다.
• 적은 환각 현상: 이것이 가장 흥미로운 부분입니다. 연구진이 "환각(AI가 원래 사진에는 없던 세부 사항을 만들어낸 것)"을 구체적으로 조사했을 때, K2N은 이를 피하는 데 훨씬 뛰어났습니다. 예를 들어, 펭귄을 대상으로 한 한 테스트에서 다른 모델들은 펭귄에게 다른 새처럼 보이는 부리를 주거나 이상한 질감을 추가했습니다. 반면 K2N은 펭귄의 부리가 정확히 펭귄의 부리처럼 보이도록 유지하면서도 더 선명하게 만들었습니다.
• 입력값에 충실함: 본 논문은 초기 레이어를 실제 입력값에 고정함으로써 AI가 지나치게 멀리 나가는 것을 방지한다고 제안합니다. 이는 "신뢰할 수 있는 거친 스케일"을 생성하여, 미세한 세부 사항에 대한 창의적인 추측이 경로를 이탈하지 않도록 가드레일 역할을 합니다.

이것이 왜 중요한가

이 논문은 모든 이미지 복원 문제를 해결했다고 주장하는 것이 아니라, 매우 유망한 새로운 방향을 제시하고 있습니다. 우리는 항상 AI가 전체 그림을 처음부터 "꿈꾸게" 할 필요는 없다는 것을 보여줍니다. 때로는 우리가 이미 가지고 있는 증거를 존중하는 것이 고품질의 결과를 얻는 최선의 방법일 수 있습니다. 흐릿한 입력을 단순히 추측을 위한 시작점이 아니라 신뢰할 수 있는 기초로 취급함으로써, K2N은 창의적이면서도 동시에 충실할 수 있게 됩니다.

결국 저자들은 생성 경로를 재구성하는 것, 즉 AI가 쉬운 부분을 추측하는 것을 멈추고 오직 어렵고 불확실한 부분에만 집중하게 만드는 것이, 단순히 더 예쁜 이미지가 아니라 더 신뢰할 수 있는 이미지를 만든다는 것을 발견했습니다. 이는 AI 예술의 세계에서, 때로는 증거에 먼저 귀를 기울이는 것이 가장 창의적인 일이 될 수 있음을 상기시켜 줍니다.