💻 computer science

DiTango: Cost-Effective Parallel Diffusion Generation with Selective Attention State Reuse

DiTango는 컨텍스트 파티션의 이질성을 활용하여 어텐션 상태를 전략적으로 재사용함으로써, 생성 품질을 유지하면서도 최대 3.2배의 가속도와 거의 선형적인 스케일링을 달상하며 멀티 노드 DiT 생성을 가속화하는 비용 효율적인 병렬 디퓨전 프레임워크이다.

원저자: Yuyang Chen, Runxin Zhong, Zan Zong, Hengjie Li, Yuyang Jin, Jidong Zhai

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuyang Chen, Runxin Zhong, Zan Zong, Hengjie Li, Yuyang Jin, Jidong Zhai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 정지된 이미지가 아니라, 몇 분 동안 이어지는 흐르는 듯한 고화질 이야기를 꿈꿀 수 있는 세상을 상상해 보십시오. 이것은 '디퓨전 트랜스포머(Diffusion Transformers)'라는 마법의 힘입니다. 이는 정적인 노이즈를 점진적으로 명확하고 아름다운 장면으로 바꾸며 단계별로 이미지와 비디오를 구축하는 인공지능의 한 종류입니다. 마치 조각가가 대리석 덩어리에서 조각을 깎아내는 것과 같습니다. AI는 혼돈스러운 픽셀 구름에서 시작하여 여러 차례의 정제 과정을 거쳐 완벽한 영상을 드러냅니다.

하지만 여기에는 문제가 있습니다. 이 디지털 조각가들은 믿기 힘들 정도로 느립니다. 단 하나의 5초짜리 영상을 만드는 데 강력한 컴퓨터로도 한 시간 이상이 걸릴 수 있습니다. 속도를 높이기 위해 엔지니어들은 종-종 긴 비디오 시퀀스를 덩어리로 나누고 이를 계주처럼 전달하여 여러 대의 컴퓨터가 함께 작업하도록 시도합니다. 하지만 문제는 이 컴퓨터들이 서로의 작업물을 공유하려고 할 때 교통 체증에 갇힌다는 점입니다. 데이터를 주고받기 위해 기다리는 시간이 더 많은 작업자를 투입해서 얻은 속도 이득을 상쇄해 버리는 경우가 많습니다. 이는 더 많은 컴퓨터를 추가해도 비디오가 실제로 더 빨리 완성되지 않고, 때로는 오히려 더 느려지게 만드는 좌절스러운 병목 현상을 만들어냅니다.

이러한 교통 체증을 해결하기 위해 설계된 새로운 시스템인 DiTango가 등장했습니다. DiTango의 연구진은 이 AI 모델들이 비디오의 서로 다른 부분에 어떻게 '주의(attention)'를 기울이는지에 대해 매혹적인 사실을 발견했습니다. 그들은 비디오의 모든 부분이 모든 순간에 똑같이 중요한 것은 아니라는 점을 발견했습니다. 마치 당신이 바로 앞에 있는 말하는 사람에게는 온 정신을 집중하지만, 세 방 떨어진 곳에 서 있는 사람은 거의 의식하지 않는 것과 마찬가지로, AI의 주의력은 가까운 부분에는 강하게 작적으로 나타나고 먼 부분에는 훨씬 약하게 나타납니다.

DiTango는 이 통찰력을 활용하여 영리한 '건너뛰기와 재사용' 게임을 수행합니다. 모든 컴퓨터가 다른 모든 컴퓨터로부터 모든 데이터 조각을 끊임없이 가져오고 계산하도록 강요하는 대신(이것이 교통 체증을 유발합니다), DiTango의 스마트한 플래너는 어떤 부분을 새롭게 계산하는 것이 필수적인지, 그리고 어떤 부분이 너무 중요하지 않아서 몇 초 전의 오래된 캐시된 결과를 그대로 사용해도 되는지를 결정합니다. 이는 거대한 주방에 있는 요리사 무리와 같습니다. 모든 요리사가 향신료를 얻기 위해 매번 식료품 저장실로 달려가는 대신, 테이블 저 멀리 있는 장식용 음식에는 근처 카운터에 놓인 향신료 통이 "충분히 괜찮다"는 것을 깨닫고 굳이 새로 가져올 필요가 없다고 판단하는 것과 같습니다.

이러한 선택적 방식을 통해 DiTago는 컴퓨터들이 서로 대화하며 보내는 시간을 극적으로 줄였습니다. 강력한 비디오 모델을 사용한 테스트에서, 이 방식은 전체 생성 과정을 거의 두 배 빠르게 만들었으며, 32대의 컴퓨터를 함께 사용할 때 핵심적인 '주의(attention)' 계산 속도를 3배 이상 높였습니다. 결정적으로, 연구진은 이러한 속도 향상이 비디오의 품질을 망치지 않는다는 것을 발견했습니다. 최종 영상은 더 느린 전통적인 방식들로 만든 영상만큼이나 선명하고 일관성 있게 보였습니다. DiTago는 AI가 실제로 어디를 보아야 하는지를 이해함으로써, 우리가 거의 의식하지 않는 것들에 에너지를 낭비하는 것을 멈출 수 있다는 것을 증명했으며, 이는 즉각적이고 고품질인 AI 비디오 생성이라는 꿈을 현실에 한 걸음 더 가깝게 만들었습니다.

기술 요약: DiTango

문제 정의

확산 트랜스포머(Diffusion Transformers, DiT)는 고해상도, 장기 지속 AI 생성 콘텐츠(AIGC)를 위한 지배적인 아키텍처가 되었습니다. 그러나 DiT의 추론 지연 시간은 특히 긴 시퀀스(예: 720p 비디오)의 경우 매우 높습니다. 이는 매 디노이징 단계마다 전체 시공간 시퀀스에 대해 전체 어텐션 연산을 수행해야 하기 때문입니다. 자기회귀(autoregressive) LLM과 달리, DiT는 표준적인 KV 캐싱을 통해 단계별 어텐션 비용을 분담(amortize)할 수 없습니다.

병렬 추론이 가속화의 경로를 제시하지만, 기존 전략들은 멀티 노드 환경에서 심각한 확장성 병목 현상에 직면합니다:

텐서 병렬성(Tensor Parallelism, TP) 및 **컨텍스트 병렬성(Context Parallelism, CP)**은 통신에 크게 의존합니다. TP는 샤딩된 가중치를 위해 빈번한 집합 연산(collective operations)을 필요로 하며, CP 변형(Ring-CP, Head-CP)은 글로벌 시퀀스에 접근하기 위해 광범위한 키-값(Key-Value, KV) 파티션 교환(All-to-All 또는 P2P)을 필요로 합니다.
확장성-품질 딜레마(Scalability-Quality Dilemma): 멀티 노드 설정에서 제한된 노드 간 대역폭은 심각한 성능 저하를 초0 유발합니다. 이를 완화하기 위해 기존 프레임워크는 종종 공격적인 특징 재사용(연산 건너뛰기)을 채택하는데, 이는 필연적으로 상당한 생성 품질 저하를 초래합니다. 반대로, 품질을 유지하려면 전체 통신이 필요하며, 이는 낮은 확장 효율성을 초래합니다.

본 논문은 기존 방식들이 병렬화와 특징 재사용을 독립적인 최적화 대상으로 취급하여, DiT 어텐션의 특정 구조적 특성을 활용하지 못하고 있다는 점을 지적합니다.

방법론

DiTango는 다음과 같은 핵심 관찰을 활용하여 이러한 문제를 해결합니다: 어텐션 기여도의 공간적 국소성(spatial locality). 저자들은 서로 다른 시퀀스 파티션으로부터의 어텐션 기여도가 매우 이질적이며, 쿼리(query)와 공간적으로 인접한 파티션이 먼 파티션보다 최종 결과에 훨씬 더 크게 기여한다는 것을 입증했습니다.

DiTango는 이러한 계산적 이질성을 분산 시스템의 계층적 통신 토폴로지에 정렬시키는 선택적 어텐션 상태 재사용(Selective Attention State Reuse) 메커니즘을 도입합니다. 이 시스템은 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 앵커 가이드 선택 플래너 (Anchor-Guided Selection Planner)

이 구성 요소는 어떤 파티션을 새로 계산하고, 어떤 파티션을 이전 결과를 재사용할지 결정합니다.

오차 모델링(Error Modeling): 시스템은 이전 타임스텝의 어텐션 상태($AS $)를 재사용할 때 발생하는 누적 오차를 모델링합니다. 오차를 파티션 중요도($ w $)와 시간적 오차 성장($ \delta$)의 함수로 정의합니다.
앵커 스텝(Anchor Steps): 무제한적인 오차 누적을 방지하기 위해, 시스템은 모든 파티션을 새로 계산하는 주기적인 "앵커 스텝"을 강제합니다. 이 단계는 오차 누적을 리셋하고 파티션 중요도 가중치를 업데이트합니다.
온라인 예측: 앵커 스텝 사이에는, 로컬 상태 변화(항상 새로 계산되는 부분)를 원격 상태 진화의 프록시(proxy)로 사용하여 오차 성장을 예측합니다. 이를 통해 정밀하고 오버헤드가 적은 의사결정이 가능합니다합니다.
그룹 단위 전략: 개별 파티션 선택의 복잡성을 관리하기 위해, 시스템은 공간적으로 인접한 파티션들을 그룹화합니다. 결정은 그룹 단위로 내려져 정확도와 효율성의 균형을 맞추며, 기여도가 높은 파티션은 계산하고 기여도가 낮고 비용이 높은 파티션은 재사용하도록 보장합니다.

2. 상태 중심 병렬 런타임 (State-Centric Parallel Runtime)

이 구성 요소는 계산과 통신 간의 중첩(overlap)을 극대화하기 위해 이질적인 계산/재사용 결정을 조율합니다.

상태 구성(State Composition): DiTango는 어텐션 상태(출력 및 log-sum-exp)의 결합 가능성(composability)을 활용합니다. 메모리 집약적인 원시 KV 쌍을 캐싱하는 대신, 결합된 어텐션 상태를 캐싱합니다. 이 상태들은 결합 법칙과 교환 법칙에 따라 결합될 수 있습니다.
그룹 간 KV 전송: 특정 그룹이 새로운 계산을 필요로 할 때, 런타임은 필요한 KV 파티션을 소비될 위치와 가장 가까운 디바이스로 이동시키기 위해 대칭적 P2P 교환을 수행하여, 노드 내(NVLink) 대 노드 간(InfiniBand) 대역폭 사용을 최적화합니다.
그룹 상태 계산: 그룹 내에서 디바이스들은 링 기반의 결합된 어텐션을 수행합니다. 이는 $(g-1)$ 개의 KV 전송과 어텐션 계산을 중첩시켜, 그룹에 대한 완전한 결합 상태를 생성합니다.
동적 그룹 결합(Dynamic Group Compose): 메모리 압박을 관리하기 위해, 런타임은 캐시된 어텐션 상태를 더 거친 입도의 그룹으로 재귀적으로 병합하여, 재계산 없이 메모리 오버헤드를 기하급급수적으로 줄일 수 있습니다.
파이프라인 오케스트레이션: 런타임은 연산을 비동기적 계산 및 통신 스트림으로 분리합니다. 노드 간 통신 지연으로 발생하는 계산 버블(bubble)을 채우기 위해 가벼운 "재사용" 연산(캐시된 상태 로드)을 전략적으로 스케줄링합니다.

주요 기여

공간적 국로성 식별: 본 논문은 DiT 어텐션 기여도가 인접한 파티션이 계산을 지배하는 강력한 공간적 국소성을 보인다는 점을 밝혀냈습니다. 이 패턴은 디퓨전 어텐션의 고유한 특성이며 모델과 프롬프트에 관계없이 지속됩니다.
DiTango 프레임워크: 이론적 오차 모델링을 활용하여 정밀한 재사용 결정을 내리는 고성능 생성 시스템을 설계 및 구현했습니다. 이는 앵커 가이드 플래너와 상태 중심 런타임을 도입하여 통신 비용과 생성 품질 사이의 트레이드오프를 관리합니다.
확장성 및 품질 보존: 광범적인 평가를 통해 DiTango가 기존 방식들의 확장성-품질 트레이드오프를 효과적으로 깨뜨리며, 32개의 GPU 환경에서도 최첨단 방식들과 대등한 생성 품질을 유지하면서 거의 선형적인 확장을 달성함을 입증했습니다.

실험 결과

저자들은 32개의 NVIDIA H20 GPU를 사용하여 인기 있는 오픈 소스 모델(Wan2.1-14B, Wan2.1-1.3B, HunyuanVideo)에 대해 DiTango를 평가했습니다.

속도 향상: DiTango는 멀티 노드 설정에서 최첨단 베이스라인(TP, CP, xDiT, VideoSys, SGLang-Diffusion 포함) 대비 최대 1.9배의 엔드 투 엔드(end-to-end) 속도 향상 및 3.2배의 핵심 어텐션 속도 향상을 달성했습니다.
확장성: 시스템은 32개의 GPU까지 거의 선형적인 확장을 보여주는 반면, 베이스라인들은 멀티 노드 시나리오에서 통신 병목 현상이나 품질 저하를 겪는 경우가 많았습니다.
품질: DiTango는 풀 어텐션(full-attention) 베이스라인과 대등한 생성 품질을 유지합니다. VBench 점수, PSNR, SSIM 측면에서 DiTango는 거친 입도의 건너뛰기로 인해 품질 저하를 겪는 손실 가속 프레임워크(VideoSys, SGLD 등)보다 우수한 성능을 보입니다.
효율성: 전통적인 병렬 방식은 통신에 묶여 있는 경우가 많지만, DiTango는 노드 간 통신을 최소화함으로써 멀티 노드 설정에서 높은 FLOP/s를 달성합니다.

의의 및 주장

본 논문은 알고리즘적 통찰(공간적 국소성)과 시스템 수준의 오케스트레이션을 통합함으로써 분산 디퓨전 추론의 중요한 진전을 이루었다고 주장합니다.

트레이드오프 극복: 주요 의의는 이전의 병렬 디퓨전 시스템들을 괴롭혔던 한계인, 생성 품질을 희생하지 않으면서 분산 환경에서 높은 확장성을 달성할 수 있는 능력에 있습니다.
시스템-알고리즘 정렬: 이 연구는 이전에 도달할 수 없었던 최적화 공간을 열기 위해 계산 패턴(공간적 국소성)을 시스템 토폴로지(계층적 대역폭)와 정렬하는 것의 중요성을 강조합니다.
실제 배포: 대규모 GPU 클러스터에서 실시간 및 인터랙티브 생성 애플리케이션을 위한 유망한 솔루션으로서, 거의 선형적인 확장성과 초 단위의 레이턴시 잠재력을 입증함으로써 DiTango의 입지를 다졌습니다.

저자들은 고대역폭 단일 노드 환경에서는 순수 계산 감소가 더 높은 처리량을 제공할 수 있다는 점과, 캐싱된 상태의 메모리 오버헤드가 관리 가능하지만 생산 환경에서는 여전히 제약이 될 수 있다는 점을 언급하며 한계를 인정했습니다. 향후 연구는 캐시 압축 및 CPU 오프로딩에 집중할 것을 제안합니다.