당신이 걸작을 그리려 한다고 상상해 보세요. 하지만 단 하나의 붓을 사용하는 대신, 각기 다른 스타일을 전문으로 하는 수백 명의 작은 예술가들로 구성된 마법 같은 팀을 보유하고 있습니다. 어떤 이들은 질감의 대가이고, 어떤 이들은 색채의 대가이며, 또 다른 이들은 조명의 대가입니다. 이것이 바로 현대의 AI 이미지 생성기인 디퓨전 트랜스포머(Diffusion Transformers)가 작동하는 방식입니다. 이들은 정적 노이즈로 가득 찬 화면에서 시작하여, 단계적으로 이 노이즈를 "제거(denoise)"하며 선명한 그림이 나타날 때까지 진행합니다. 이미지를 놀랍게 만들기 위해, AI는 "전문가 혼합(Mixture-of-Experts, MoE)"이라는 영리한 기술을 사용합니다. 이것은 마치 똑똑한 매니저와 같아서, 이미지의 모든 작은 부분에 대해 모든 사람을 한꺼번에 깨우는 대신, 그 작업에 가장 적합한 특정 예술가 팀만을 깨워 일을 시키는 것과 같습니다. 이는 에너지를 절약하고 AI가 매우 똑똑하게 작동할 수 있게 해줍니다.

하지만 함정이 있습니다. 이미지를 만드는 데는 수백 번의 "디노이징 단계"가 필요하며, AI는 매 단계마다 엄청난 양의 수학 계산을 수행해야 합니다. 이것은 마치 새로운 세부 사항을 레이어마다 추가할 때마다 캔버스 전체를 처음부터 다시 칠해야 하는 것과 같습니다. 이를 가속화하기 위해 과학자들은 "특징 캐싱(feature caching)"이라는 기술을 시도했습니다. 이것은 "이봐, 이 그림의 이 부분은 지난 단계와 크게 변하지 않았으니, 새로운 색을 섞는 대신 예전의 물감을 재사용하자"라고 말하는 것과 같습니다. 문제는 기존의 방식이 너무 투박했다는 점입니다. 그것은 이미지의 작은 패치를 하나의 단일 단위로 취급했습니다. 만약 그 패치의 아주 작은 부분이라도 새로운 물칠이 필요하다면, 기존 방식은 AI에게 패치 전체를 다시 칠하도록 강요했습니다. 만약 너무 보수적이었다면, 패치의 일부가 변했음에도 불구하고 전체 패치를 재사용하여 흐릿한 결과물을 만들어냈을 것입니다.

여기서 MoECa라는 새로운 연구가 등장합니다. 연구진은 AI가 전문화된 "전문가" 예술가들을 사용하기 때문에, 캐싱 전략 또한 그만큼 전문화되어야 한다는 점을 깨달았습니다. 이미지를 하나의 블록으로 취급하는 대신, MoECa는 블록 내부를 들여다보고 그 안에서 일하는 개별 전문가들을 확인합니다. 그들은 한 전문가가 나뭇잎의 질감을 바꾸는 데 바쁜 동안, 동일한 패치에서 작업하는 다른 전문가는 기존의 작업 결과물을 재사용하는 데 매우 만족할 수 있다는 것을 발견했습니다. MoECa는 이미지를 이러한 개별 전문가 분기 수준으로 세분화함으로써, 어떤 부분을 새로 칠하고 어떤 부분을 재사용할지 정확히 결정할 수 있습니다.

논문은 이 "세밀한(fine-grained)" 접근 방식이 게임 체인저임을 보여줍니다. 캐싱 전략을 전문가들의 실제 작동 방식에 맞춤으로써, AI는 품질 저하 없이 불필요한 계산을 건너뛸 수 있습니다. 테스트 결과, 이 새로운 방식은 이미지를 생성하는 과정을 최대 2.93배 더 빠르게 만들면서도, 원래의 느린 버전만큼이나 선명하고 상세한 이미지를 유지했습니다. 이는 마치 창문을 고칠 때마다 집 전체를 다시 칠하는 건설팀에서, 필요한 창문만 골라 칠하고 나머지 집은 그대로 두는 팀으로 업그레이드하는 것과 같습니다.

문제점: "전부 아니면 전무(All-or-Nothing)"의 실수

왜 MoECa가 필요한지 이해하려면, 이 AI 모델들이 어떻게 생각하는지를 살펴봐야 합니다. 과거에는 이미지 생성을 가속화하기 위해 "토큰 레벨(token-level)" 캐싱 방법을 사용했습니다. 토큰을 캔버스 위의 작은 사각형이라고 상상해 보세요. 기존의 규칙은 간단했습니다. "이 사각형이 아주 조금이라도 변했다면 사각형 전체를 다시 칠하라. 변하지 않았다면 사각형 전체를 그대로 두라."

하지만 "전문가 혼합(Mixture-of-Experts)" 모델에서, 하나의 사각형은 단순히 하나의 것이 아닙니다. 그것은 여러 다른 "전문가" 분기들 간의 협업입니다. 논문의 분석에 따르면 기존 규칙에는 결함이 있었습니다. 이 전문가들은 모두 동시에 변하지 않는다는 점입니다. 한 전문가는 나무껍질의 거친 질감을 작업하고 있을 수 있는데, 이는 이미지가 형성됨에 따라 빠르게 변합니다. 반면 같은 사각형 내에서 작업하는 다른 전문가는 부드러운 초록색 잎을 작업하고 있을 수 있으며, 이는 매우 안정적입니다.

만약 기존의 "전부 아니면 전무" 규칙을 사용한다면 딜레마에 직면하게 됩니다. 만약 나무껍질이 변했기 때문에 사각형 전체를 다시 칠하기로 결정한다면, 안정적인 잎까지 다시 칠하는 데 시간을 낭비하게 됩니다. 반대로 시간을 아끼기 위해 사각형 전체를 재사용하기로 결정한다면, 나무껍질이 업데이트되지 않아 잎이 흐릿하고 잘못된 모습으로 남게 됩니다. 논문은 이러한 "전체 사각형" 캐싱과 "분리된 전문가"라는 현실 사이의 불일치가 현재의 가속화 방법들이 기대만큼 작동하지 못하는 주요 원인이라고 주장합니다.

해결책: MoECa의 "전문가 레벨" 전략

저자들은 게임의 규칙을 바꾸는 시스템인 MoECa(Mixture-of-Experts Caching)를 제안합니다. "이 전체 사각형을 다시 칠해야 하는가?"라고 묻는 대신, MoECa는 "이 사각형에 대한 이 특정 전문가의 작업을 다시 칠해야 하는가?"라고 묻습니다.

MoECa의 실제 작동 방식은 다음과 같습니다:

1. 분기 레벨 캐싱(Branch-Level Caching): 각 전문가 분기를 하나의 작은 단위로 취급합니다. "나무껍질 전문가"의 출력과 "잎 전문가"의 출력을 각각 별도로 기억합니다.
2. 스마트 매칭(Smart Matching): AI가 다음 단계로 넘어갈 때, MoECa는 어떤 전문가들이 활성화되어 있는지 확인합니다. 만약 "나무껍질 전문가"가 이전과 동일하다면, 그 작업이 유의미할 정도로 변했는지 확인합니다. "잎 전문가" 또한 동일하다면, 그 역시 확인합니다.
3. 적응형 제어(Adaptive Control): 이 시스템은 어떤 전문가가 다른 전문가보다 더 민감한지 알 만큼 똑똑합니다. 예를 들어, 미세한 디테일(커피 주전자의 가장자리 등)에 집중하는 전문가는 매우 민감합니다. MoECa는 이들에게 더 낮은 "재사용 임계값(reuse threshold)"을 부여하여, 품질 확보를 위해 다시 칠할 가능성을 높입니다. 반면 흐릿한 배경을 작업하는 전문가는 더 높은 임계값을 가져 더 자주 재사용될 수 있도록 합니다.
4. 동기화된 업데이트(Synchronized Updates): MoECa의 핵심 요소는 AI의 "어텐션(attention)" 부분(이미지의 전체 맥락을 파악하는 부분)이 "전문가" 부분과 동기화되도록 만드는 것입니다. 만약 전문가들은 업데이트되었는데 어텐션 부분이 그렇지 않다면, 이미지는 혼란에 빠집니다. MoECa는 이들이 함께 업데이트되도록 보장하여, AI가 오래된 정보에 취해 오류를 범하는 것을 방지합니다.

결과: 흐릿함 없이 더 빠르게

연구진은 DSMoE 제품군과 DiT-MoE를 포함한 여러 인기 있는 AI 모델에서 MoECa를 테스트했습니다. 결과는 인상적이었습니다.

• 속도: 최상의 경우, MoECa는 이미지 생성 속도를 2.93배 높였습니다(특히 텍스트-이미지 작업을 위한 HiDream-I1 모델에서). 다른 모델에서도 약 2.14배에서 2.83배의 속도 향상을 달로했습니다.
• 품질: 엄청난 속도 향상에도 불구하고, 이미지 품질은 원래의 느린 방식과 거의 동일하게 유지되었습니다. 논문은 이를 실사성을 측정하는 FID와 원래 이미지와의 근접성을 측정하는 PSNR 등의 지표를 사용하여 측정했습니다. 예를 들어, DSMoE-L-E48 모델에서 MoECa는 2.83배의 속도 향상을 달성하면서도 FID 점수를 원래 모델의 9.20과 거의 유사한 9.54로 유지했습니다.
• 비교: ToCa, DuCa, TeaCache와 같은 다른 가속화 방법들과 비교했을 때, MoECa는 이미지 품질을 유지하거나 오히려 약간 개선하면서도 가장 빠른 결과와 가장 낮은 계산 비용(FLOPs)을 지속적으로 보여주었습니다.

논문은 또한 왜 이것이 잘 작동하는지에 대해서도 조사했습니다. 연구진은 모델에 더 많은 전문가가 있을 때(예: 48개의 전문가가 있는 E48 구성), 재사용할 수 있는 "안정적인" 분기를 찾을 기회가 더 많아진다는 것을 발견했습니다. 이것이 E48 모델이 더 적은 전문가를 가진 모델보다 약간 더 높은 속도 향상(최대 2.83배)을 보인 이유입니다. 팀이 더 전문화될수록, 누가 일하고 누가 쉴지를 더 잘 골라낼 수 있습니다.

이것이 미래에 갖는 의미

이 논문은 강력한 AI 모델을 가속화하는 핵심은 단순히 모델을 전반적으로 더 빠르게 만드는 것이 아니라, 그들이 내부적으로 어떻게 작동하는지를 이해하는 것이라고 결론짓습니다. AI 내부의 "전문가"들이 서로 다른 리듬과 요구 사항을 가지고 있다는 점을 인식함으로써, 우리는 그 차이를 존중하는 더 똑똑한 캐싱 시스템을 구축할 수 있습니다.

MoECa는 AI 모델을 다시 학습시킬 필요가 없습니다. 모델이 작동하는 방식 자체를 바꾸는 것이 아니라, 이미지 생성 과정 중에 정보를 처리하는 방식을 변경할 뿐입니다. 현재 연구는 단일 컴퓨터 기반의 이미지 생성에 집중하고 있지만, 저자들은 이 "세밀한" 접근 방식이 향데 비디오 및 더 복잡한 작업을 위한 훨씬 더 빠른 생성 능력을 여는 열쇠가 될 수 있다고 제안합니다. 현재로서는, 때때로 걸작을 그리는 가장 빠른 방법은 다른 이들이 계속 일하는 동안 적절한 예술가들을 쉬게 하는 것임을 증명하고 있습니다.