PAST: Prompt-Adaptive Sampling Termination for Efficient Diffusion Model

컴퓨터가 당신의 말을 듣고 그림을 꿈꿀 수 있는 세상을 상상해 보세요. 당신이 "우주 헬멧을 쓴 고양이"라고 말하면, 기계가 그것을 그려냅니다. 이 마법은 **확산 모델(diffusion models)**이라 불리는 것에서 옵니다. 이 모델들을 마치 노이즈가 가득한 정적(TV의 지지직거리는 화면 같은 것)이라는 블록에서 시작하여, 그 아래에 숨겨진 선명한 이미지를 드러내기 위해 천천히 노이즈를 깎아내는 조각가라고 생각해보세요. 이것은 양파 껍질을 벗기는 것과 같은 단계적인 과정이며, 그림이 완벽해질 때까지 계속됩니다.

하지만 여기 문제가 있습니다. 이 디지털 조각가들은 어떤 그림이든 만드는 데는 뛰어나지만, "멋진" 느낌을 주거나 복잡한 이야기를 따르는 것과 같이 당신이 원하는 '특정한' 종류의 그림을 만드는 데는 항상 능숙하지는 않습니다. 이를 해결하기 위해 과학자들은 **강화 학습(Reinforcement Learning, RL)**이라는 훈련 방법을 사용합니다. 이것은 강아지를 가르치는 것과 같습니다. 강아지가 옳은 행동을 할 때마다 보상(간식)을 주는 것이죠. 하지만 컴퓨터의 세계에서는, 컴퓨터가 노이즈를 깎아내는 데 많은 시간과 전기를 소비한 후, 즉 모든 과정이 끝난 아주 마지막 단계에서야 비로소 "간식"이 주어집니다. 만약 컴퓨터가 초기에 실수를 한다면, 너무 늦기 전까지는 알 방법이 없으며, 망가진 경로를 수정하기 위해 엄청난 양의 에너지를 낭비하게 됩니다. 이는 훈련을 느리고, 비싸고, 때로는 서투르게 만듭니다.

여기서 PAST(Prompt-Adaptive Sampling Termination, 프롬프트 적응형 샘플링 종료)가 등장합니다. 연구원 옌 롄(Renye Yan), 청 지캉(Jikang Cheng) 그리고 그들의 팀이 제안한 이 새로운 방법입니다. PAST를 컴퓨터 조각가를 위한 스마트한 코치라고 생각해 보세요. 모든 그림에 대해 컴퓨터가 양파 껍질을 하나하나 다 벗기도록 강요하는 대신, PAST는 컴퓨터가 두 가지를 듣도록 가르칩니다. 얼마나 많은 노이즈가 남아 있는지, 그리고 그림이 당신의 단어와 얼마나 잘 일치하는지 말이죠. 만약 그림이 이미 선명하고 당신의 설명과 완벽하게 일치한다면, PAST는 "멈춰! 다 됐어!"라고 말하며 남은 작업을 절약합니다.

이 논문은 이 접근 방식이 효율성 측면에서 게임 체인저가 될 것이라고 제안합니다. **내재적 보상(intrinsic reward)**이라는 "참조 가이드"를 추가함으로써, 컴퓨터는 최종 성적을 기다리는 대신 과정을 진행하는 도중에 더 빠르게 깨끗한 이미지로 나아가도록 작은 자극을 받습니다. 연구진은 이 방법이 훈련에 필요한 시간과 에너지를 최대 **66.7%**까지 줄이는 동시에, 선호도 최적화 품질(AI가 특정 보상 목표를 얼마나 잘 만족시키는지의 정도)을 최대 **29.5%**까지 향提升시킨다는 것을 발견했습니다.

이 마법이 어떻게 작동하는지 세 가지 간단한 기술로 나누어 설명하겠습니다.

1. "내면의 목소리" (내재적 보상): 보통 컴퓨터는 맨 마지막에만 보상을 받습니다. 하지만 PAST는 컴퓨터에게 진행 과정 중에 작은 "내면의 목소리" 보상을 줍니다. 이는 조각가에게 "헤이, 형태에 점점 가까워지고 있어!"라고 말해주는 것과 같습니다. 이는 컴퓨터가 더 빨리 배우고 초기에 어처구니없는 실수를 저지르는 것을 방지하여, 피할 수 있었던 문제를 고치기 위해 시간을 낭비하지 않도록 돕습니다.
2. "정지 표지판" (적응형 종료): 모든 그림이 만들어지는 데 걸리는 시간은 제각각입니다. 단순한 "빨간 공"은 쉽습니다. 하지만 "석양 속의 북적이는 도시 거리"는 어렵습니다. PAST는 만들어지고 있는 그림을 관찰합니다. 노이즈가 사라지고 그림이 단어와 일치하는 즉시 브레이크를 밟습니다. 완성된 그림에 대해 컴퓨터가 계속 작업하도록 강요하지 않는 것입니다. 이는 단순한 프롬프트는 매우 빠르게 완료되게 하고, 복잡한 프롬프트에는 필요한 만큼의 시간을 할애하게 합니다.
3. "더블 체크" (이중 조정): PAST는 언제 멈출지 결정하기 위해 두 가지 서로 다른 센서를 사용합니다. 하나는 이미지가 깨끗한지(노이즈가 없는지) 확인하고, 다른 하나는 이미지가 단어와 일치하는지(의미론적 일치)를 확인합니다. 두 센서 모두 "좋아!"라고 말할 때에만 멈춥니다. 이는 컴퓨터가 너무 일찍 멈춰서 흐릿한 결과물을 남기거나, 너무 늦게 멈춰서 에너지를 낭비하는 것을 방지합니다.

연구진은 이 방법을 여러 가지 유형의 이미지 생성기에 테스트했으며, PAST가 특정 모델뿐만 아니라 어디에서나 작동한다는 것을 발견했습니다. 그들은 이 방법을 사용함으로써 컴퓨터가 이전보다 훨씬 빠르게 고품질의 결과를 얻을 수 있음을 보여주었습니다. 실제로 어떤 작업에서는 동일하거나 더 나은 결과를 얻는 데 기존 시간의 3분의 1도 채 걸리지 않았습니다.

이 논문은 프로ンプ트의 내용과 상관없이 모든 프롬프트에 대해 고정된 횟수의 단계를 무조건적으로 따르게 하는 기존 방식에 반대합니다. 그들은 이러한 "일률적인" 접근 방식이 에너지 낭비라고 주장합니다. 대신, 컴퓨터가 실제로 보고 듣는 것에 근거하여 언제 끝낼지를 스스로 결정하게 함으로써, 우리는 이 AI 예술가들을 훨씬 더 효율적으로 만들 수 있습니다.

그래서, 핵심적인 결론은 무엇일까요? PAST는 우리가 더 나은 결과를 얻기 위해 AI에게 더 열심히 일하라고 강요할 필요가 없다는 것을 시사합니다. 대신, 과정 중에 약간의 안내를 제공하고 끝났을 때 멈추도록 가르치기만 하면 됩니다. 이를 통해 엄청난 컴퓨팅 파워를 아끼고 더 좋은 그림을 더 빠르게 얻을 수 있습니다. 이는 가게에 가기 위해 굳이 동네를 한 바퀴 다 돌 필요 없이, 모퉁이에서 바로 왼쪽으로 꺾으면 된다는 사실을 깨닫는 것과 같습니다. PAST는 AI가 그 지름길을 찾도록 도와줍니다.