A Frozen Pixel-Space Diffusion Model Can Guide Itself with Its Own Samples

로봇에게 그림 그리는 법을 가르치려고 한다고 상상해 보세요. 인공지능의 세계에는 이를 수행하는 두 가지 주요 방법이 있습니다. 첫 번째 방법은 로봇에게 먼저 아주 작고 흐릿한 스케치북에 그림을 그리도록 가르친 다음, 별도의 도구를 사용하여 그 스케치를 고해상도 사진으로 확대하는 것과 같습니다. 이 방식은 빠르고 대중적이지만, 때때로 그 "확대" 도구가 디테일을 놓쳐서 최종 결과물이 다소 부드럽거나 플라스틱처럼 보이게 만들기도 합니다. 두 번째 방법은 로봇이 첫 획을 긋는 순간부터 거대한 고해상도 캔버스 위에 직접 그림을 그리도록 가르치는 것입니다. 이는 훨씬 더 어려운 작업인데, 왜냐하면 로봇이 아무런 도움 없이 큰 그림(예: 코가 어디에 위치해야 하는지)과 미세한 디테일(예: 피부의 질감)을 동시에 파악해야 하기 때문입니다.

이 논문은 이 두 번째, 즉 더 어려운 과제인 AI가 이미지의 "원시 픽셀(raw pixels)" 위에 직접 그림을 그리도록 만드는 문제를 다룹니다. 연구자들이 던져온 핵심 질문은 이것입니다: "만약 우리가 이미 이러한 원시 이미지를 꽤 잘 그리는 로봇을 가지고 있다면, 전체를 처음부터 다시 학습시키지 않고도 성능을 더 높일 수 있을까?" 거대한 AI 모델을 다시 학습시키는 것은 마치 새는 수도꼭지를 고치기 위해 집 전체를 새로 짓는 것과 같습니다. 이는 엄청난 시간과 에너지가 소요됩니다. 저자들은 로봇에게 이미 가지고 있는 도구만을 사용하여 작업을 개선할 수 있도록 작은 자극을 주는 방법을 찾고자 했습니다.

난양 공과대학교(Nanyang Technological University)에서 연구를 진행한 팀은 **합성 자기 가이드(Synthetic Self-Guidance, SSG)**라고 불리는 영리한 기술을 발견했습니다. 그들은 사전 학습된 AI 모델 내부에 실제로 "비밀스러운 목소리"가 들어있다는 것을 발견했습니다. 모델이 이미지를 생성하기 위해 여러 층(layers)을 거쳐 나아갈 때, 초기 층은 큰 형태와 그림자에만 신경 쓰는 초안 작성가와 같습니다. 마지막 층은 미세한 질감과 날카로운 가장자리를 더하는 세부 묘사 전문가와 같습니다.

보통 모델은 최종 결과물만을 출력합니다. 하지만 저자들은 모델의 중간 층(초안 작성가)의 목소리에 귀를 기울이고, 이를 최종 층(세부 묘사 전문가)과 비교할 수 있다는 사실을 깨달았습니다. 그들은 두 층 사이의 차이가 바로 마법이 일어나는 지점이라는 것을 발견했습니다. 즉, 최종 층은 초기 층이 남긴 흐릿한 부분을 수정하려고 노력한다는 것입니다.

여기서 마법 같은 부분이 등장합니다. 새로운 선생님을 고용하거나 로봇 전체를 다시 학습시키는 대신, 그들은 초안 작성 층에 작고 가벼운 "어댑터"(작은 안경이라고 생각하면 됩니다)를 부착했습니다. 그들은 이 어댑터가 모델의 이전 그림들(합성 샘 샘플)을 관찰하고, 대략적인 형태를 예측하는 법을 배우도록 가르쳤습니다. 그런 다음, 그림을 그리는 과정 동안 어댑터의 거친 예측치를 가이드로 사용했습니다. 만약 최종 그림이 너무 흐릿해지거나 선명도를 잃기 시작하면, 시스템은 "초안"과 "최종안" 사이의 차이를 나침반 삼아 그림을 다시 선명한 디테일 쪽으로 밀어 넣었습니다.

가장 놀라운 발견은 이 작은 어댑터를 어떻게 학습시켰는가 하는 점이었습니다. 여러분은 이 어댑터가 '좋은 초안'이 무엇인지 배우기 위해 인터넷에 있는 수백만 장의 실제 사진을 보여줘야 한다고 생각할 수도 있습니다. 하지만 이 논문은 모델이 자신의 생성된 가짜 그림들을 통해 학습할 때 오히려 더 잘 학습된다는 것을 보여줍니다. 마치 로봇이 완벽한 사진이 담긴 교과서를 보는 대신, 자신의 이전 시도들을 공부함으로써 스스로의 실수를 바로잡는 법을 배운 것과 같습니다. 이 방식은 새로운 모델을 학습시키는 데 필요한 컴퓨팅 파워의 1%도 채 사용하지 않으면서도, 일관되게 이미지를 더 선명하고 사실적으로 만들었습니다. 예를 들어, ImageNet이라는 유명한 테스트에서 한 모델의 점수를 1.86에서 1.67로 낮추었으며(낮을수록 좋습니다), 또 다른 모델의 경우 1.81에서 1.59로 떨어뜨렸습니다.

요약하자면, 이 논문은 사전 학습된 고정된 AI 모델이 자신의 내부 "초안"에 귀를 기울이고, 자신의 생성된 예술품을 통해 수정하는 법을 배움으로써 스스로 더 나은 그림을 그리도록 유도할 수 있음을 증명합니다. 이는 시스템 전체를 재구축하는 막대한 비용 없이도 고해상도 AI 드로잉을 훨씬 더 선명하게 만드는, 저렴하고 간편한 플러그인 업그레이드 방식입니다.