완벽한 케이크를 굽기 위해 노력하고 있다고 상상해 보세요. 하지만 단순히 한 단계로 끝나는 것이 아니라, 반죽을 젓고, 온도를 확인하고, 열을 조절하고, 맛을 보는 과정을 수백 번 연속으로 반복해야 하는 레시피가 필요합니다. 이것이 현대의 "확산 모델(diffusion models)"이 이미지나 비디오를 생성할 때 작동하는 방식입니다. 이 모델들은 혼란스러운 정적 노이즈 구름에서 시작하여, 단계별로 천천히 이를 선명한 그림으로 정제해 나갑니다. 이는 아름다운 과정이지만, 매 단계마다 엄청난 양의 수학 계산을 수행해야 하기 때문에 매우 느리고 컴퓨터 자원을 많이 소모합니다. 이를 가속화하기 위해 과학자들은 영리한 기술인 "캐싱(caching)"을 시도해 왔습니다. 이것은 마치 똑똑한 부주방장이 되어, 만약 지난번 반죽을 저었을 때와 지금의 상태가 크게 다르지 않다면 다시 맛을 볼 필요 없이 이전과 같을 것이라고 추측하는 것과 같습니다. 이는 시간을 절약해주지만, 기존의 추측 방식은 다소 서툴렀습니다. 그것은 바로 직전 단계와의 즉각적인 차이만을 보고 "헤이, 이 정도면 충분히 비슷하니까 작업을 건너뛰자"라고 결정했습니다. 문제는, 과정 초기에 발생한 아주 작고 눈에 띄지 않는 변화가 케이크가 완성될 때쯤에는 거대한 재앙으로 불어날 수 있다는 점입니다.

"From Local Mismatch to Global Impact"라는 제목의 이 논문은 바로 그 문제를 다룹니다. 연구진은 기존의 "부주방장"이 현재의 순간에만 너무 집중한 나머지, 초기의 작은 실수가 최종 결과물을 어떻게 망칠 수 있는지 이해하지 못했다는 것을 발견했습니다. 그들은 GCache(Global-Impact Cache)라고 불리는 더 똑똑하고 새로운 전략을 제안합니다. GCache는 단순히 현재 단계가 지난 단계와 유사한지 확인하는 대신, 단계를 건너뛰는 결정이 최종 결과에 얼마나 큰 타격을 줄지를 계산합니다. 이는 마치 오븐이 막 가열되기 시작할 때 맛을 보는 것을 건너뛰는 것은 위험하지만, 케이크가 거의 다 완성되었을 때 건너뛰는 것은 완벽하게 안전하다는 것을 아는 부주방장을 두는 것과 같습니다. 이러한 "글로벌 임팩트(전역적 영향)"를 예측하기 위해 정교한 수학적 프레임워크를 사용함으로써, 그들은 적절한 단계를 건너뛰면서도 높은 품질을 유지할 수 있습니다. 연구 결과, 이 새로운 방법은 이미지를 흐릿하거나 이상하게 만들지 않으면서도 비디오 및 이미지 생성 속도를 현저히 높였으며, 어떤 경우에는 다른 빠른 방법들과 비교했을 때 품질을 유지하거나 심지어 개선하기도 했습니다.

눈덩이 이야기와 똑똑한 건너뛰기 술사

이것이 어떻게 작동하는지 그 마법 속으로 들어가 봅시다. 당신이 길고 구불구불한 언덕 아래로 거대한 눈덩이를 굴리고 있다고 상상해 보세요. 이 눈덩이는 컴퓨터가 만들고자 하는 이미지나 비디오를 나타냅니다. 언덕 맨 꼭대기에서 눈덩이는 아주 작고 엉망진와 있습니다(그것이 무작위 노이즈입니다). 언덕을 따라 내려오면서 눈덩이는 눈을 모아 커지며, 완벽하고 매끄러운 구체가 됩니다(최종 이미지).

기존 방식에서는 컴퓨터가 언덕의 매 인치마다 눈덩이를 확인했습니다. "점점 커지고 있는가? 그렇다. 모양이 변하고 있는가? 그렇다. 좋아, 다음 1인치를 계산하자." 이는 정확하지만 매우 지치는 일입니다. 속도를 높이기 위해 이전 방법들은 효율적이 되려고 노력했습니다. 그들은 눈덩이를 보고, 방금 전의 모습과 매우 비슷해 보이면 "에이, 기본적으로 똑같네. 수학 계산을 하지 않고도 그냥 한 인치를 더 굴린 셈 치자"라고 말했습니다. 이것을 **국소적 유사성(local similarity)**이라고 합니다. 그들은 바로 지금의 눈덩이가 지난 1초 전과 얼마나 다른지를 측정했습니다. 차이가 작으면 작업을 건너뛰었습니다.

하지만 여기 함정이 있습니다. 언덕 꼭대기에서의 작은 혹 하나가 언덕 아래에 도달했을 때 눈덩이를 낭떠러지로 굴러떨어지게 만들 수 있습니다.

이 논문의 저자들은 기존의 방식이 자동차의 속도계만 바라보는 운전자와 같다는 것을 깨달았습니다. 속도가 일정하면 모든 것이 괜찮다고 생각합니다. 하지만 그들은 앞길을 보고 있지 않습니다. 가파른 언덕 꼭대기에서 아주 작은 조향 실수를 하면, 그 실수는 내려가는 동안 증폭됩니다. 매 순간 체크할 때는 "완벽하게" 운전하고 있었더라도, 결국 바닥에 도착했을 때는 도랑에 빠져 있을 수 있습니다.

논문에 따르면, 이러한 AI 모델에서 과정 초기에 발생하는 아주 작은 오류는 과정이 진행됨에 따라 곱해지고 증폭됩니다. 첫 10%의 단계에서 발생한 작은 실수는 최종 이미지에서 거대한 난장판을 만들 수 있습니다. 반대로, 마지막 10%의 단계에서 발생한 실수는 이미 이미지가 대부분 형성되었기 때문에 전혀 문제가 되지 않을 수도 있습니다. 기존의 "국소적(local)" 방식은 이를 몰랐습니다. 그들은 모든 단계를 똑같이 중요하게 취급했고, 이는 최선이 아닌 결정을 내리게 했습니다.

GCache의 등장: 수정구슬

이를 해결하기 위해 연구진은 GCache를 구축했습니다. 단순히 즉각적인 차이를 보는 대신, GCache는 더 큰 질문을 던집니다. "내가 이 단계를 건너뛴다면, 최종 사진에 얼마나 큰 해를 끼칠 것인가?"

그들은 먼저 눈덩이가 언덕을 굴러 내려갈 때 오류가 어떻게 성장하는지를 정확하게 설명하는 엄격한 수학적 규칙("이론적 상한선")을 작성하며 시작했습니다. 이 규칙은 오류가 초기에 발생할 경우 정말로 기하급수적으로 폭발한다는 것을 증명했습니다. 그러나 저자들은 이 엄격한 규칙이 다소 비관적이라는 점을 발견했습니다. 이는 마치 안전을 위해 미풍이 불 때마다 허리케인을 예보하는 기상 예보관과 같았습니다. 안전하긴 했지만, 소풍 계획을 세우기에는 그리 도움이 되지 않았습니다. 규칙은 최악의 시나리오를 가정했기 때문에, 컴퓨터는 여전히 너무 많은 일을 하고 있었고 지나치게 조심스러웠습니다.

그래서 그들은 이 규칙을 조정하는 영리한 방법을 발명했습니다. 그들은 번스타인 다항식(Bernstein polynomials)(언덕의 모양에 딱 맞게 휘어질 수 있는 유연한 자라고 생각하세요)이라는 수학적 도구를 사용하여 서로 다른 시점에 오류에 부여할 가중치를 조정했습니다. 그들은 **이중 최적화(bilevel optimization)**라고 불리는 2단계 게임을 설정했습니다.

1. 내부 게임 (The Inner Game): 컴퓨터는 현재의 "휘어지는 자"를 바탕으로 단계를 건너뛰는 최선의 방법을 찾습니다. "현재 오류를 측정하는 방식에 비추어 볼, 작업을 건너뛰기에 가장 좋은 스케줄은 무엇인가?"라고 묻습니다.
2. 외부 게임 (The Outer Game): 그다음 컴퓨터는 실제 결과를 확인합니다. "그 단계들을 건너뛴 것이 최종 이미지를 나쁘게 만들었는가?" 만약 이미지가 흐릿하다면, 컴퓨터는 특정 지점의 오류에 더 민감하게 반응하도록 "휘어지는 자"를 미세하게 조정합니다. 만약 이미지가 훌로륭하다면, 자를 그대로 유지합니다.

이 게임을 반복해서 수행함으로써, GCache는 완벽한 "건너뛰기 스케줄"을 학습합니다. GCache는 언제 효율적으로 움직여도 안전한지, 그리고 언제 성실하게 임해야 하는지를 정확히 배웁니다. 이는 산의 모양에 따라 단순히 발밑의 눈만 보는 것이 아니라, 어떤 회전에서 속도를 내고 어떤 회전에서 속도를 줄여야 하는지 아는 숙련된 스키와 같습니다.

결과: 더 빠르고 더 좋게

연구팀은 GCache를 텍스트 설명으로부터 전체 영화를 생성할 수 있는 모델을 포함하여, 오늘날 비디오와 이미지를 만드는 가장 진보된 AI 모델들에 테스트했습니다. 결과는 인상적이었습니다.

최첨단 비디오 모델인 Wan2.1에서 GCache는 비디오 생성 속도를 2.17배 빠르게 만들었습니다. 하지만 핵심은 이것입니다. 단순히 빨라진 것뿐만 아니라, 비디오 품질이 다른 빠른 방법들과 비교했을 때 현저히 더 좋았습니다. 연구진은 인간의 눈이 원본과 얼마나 다르게 느끼는지를 측정하는 LPIPS라는 지표를 사용하여 품질을 측정했습니다. 이전의 빠른 방법인 ERTACache는 0.1095의 점수를 기록했지만, GCache는 이를 0.0316으로 낮췄습니다. 이미지 품질의 세계에서 낮은 숫자가 더 좋은 것이므로, 이는 다른 가속화된 접근 방식들에 비해 엄청난 개선입니다. 즉, GCache가 생성한 비디오는 다른 캐싱 전략이 생성한 것보다 훨씬 더 선명하고 프롬프트에 정확했으며, 원래의 느린 방식이 가진 높은 충실도(fidelity)를 유지했습니다.

그들은 또한 Flux-dev 1.0과 같은 이미지 생성기에서도 테스트했습니다. 매우 빠른 속도(거의 3배 더 빠르게)에서도 GCache는 다른 빠른 방법들보다 훨씬 더 명확하고 정확한 이미지를 생성했습니다. 사진을 살펴보면, 기존의 빠른 방법들은 프롬프트가 굴뚝 두 개를 요청했는데 네 개를 그리는 등 실수를 하거나 사람의 얼굴을 이상하게 만드는 경우가 많았습니다. 그러나 GCache는 디테일을 정확하게 유지하며 이미지의 "의미(semantics)"와 구조를 보존했습니다.

논문은 이것이 GCache가 AI로 하여 ซ suboptimal한 실수를 잘못된 타이밍에 저지르지 않도록 하기 때문이라고 설명합니다. 글로벌 임팩트(현재의 결정이 최종 결과에 어떤 영향을 미치는가)에 집중함으로써, 컴퓨터가 가장 중요한 곳에 에너지를 쓰도록 보장합니다.

이것이 왜 중요한가

이것은 단순히 AI를 빠르게 만드는 것에 관한 것이 아닙니다. 그것은 AI를 더 똑똑하게 만드는 것에 관한 것입니다. 논문은 우리가 결정의 즉각적인 비용만을 보는 것이 아니라, 장기적인 결과까지도 보아야 한다고 주장합니다. "국소적 불일치"(이 단계가 지난 단계와 유사한가?)에서 "글로벌 임팩트"(이 단계가 최종 제품에 어떤 영향을 미칠 것인가?)로 전환함으로써, GCache는 이러한 복잡한 AI 모델을 실행하는 방식의 근본적인 문제를 해결합니다.

연구진은 단순히 이것이 작동할 것이라고 추측한 것이 아니라, 수학으로 증명하고 광범하게 테스트했습니다. 그들은 엄격한 수학적 규칙은 너무 보수적일 수 있고, 단순한 추측은 너무 위험할 수 있지만, 이 둘 사이의 균InstanceState를 학습하는 시스템은 최상의 결과를 얻을 수 있다는 것을 보여주었습니다. 그 결과, 우리는 이 놀라운 AI 창작물들이 가진 마법을 희생하지 않으면서도, 훨씬 짧은 시간 안에 고품질의 비디오와 이미지를 생성할 수 있는 도구를 갖게 되었습니다. 이는 느리고 고된 과정을 매끄럽고 효율적인 여정으로 바꾸어 놓으며, 눈덩이가 의도했던 대로 완벽한 모습으로 언덕 아래에 도착하도록 보장합니다.