💻 computer science

DiTango: Cost-Effective Parallel Diffusion Generation with Selective Attention State Reuse

DiTango is een kosteneffectief parallel diffusiekader dat de generatie van multi-node DiT versnelt door gebruik te maken van de heterogeniteit van contextpartities om aandachtstoestanden strategisch te hergebruiken, waarbij een versnelling tot 3,2x wordt bereikt met bijna lineaire schaling terwijl de kwaliteit van de generatie behouden blijft.

Oorspronkelijke auteurs: Yuyang Chen, Runxin Zhong, Zan Zong, Hengjie Li, Yuyang Jin, Jidong Zhai

Gepubliceerd 2026-07-20

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuyang Chen, Runxin Zhong, Zan Zong, Hengjie Li, Yuyang Jin, Jidong Zhai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers hele films kunnen dromen, niet alleen stilstaande beelden, maar vloeiende, hoogwaardige verhalen die minutenlang duren. Dit is de magie van "Diffusion Transformers", een type kunstmatige intelligentie dat beelden en video's stap voor stap opbouwt, door statische ruis langzaam te veranderen in een heldere, prachtige scène. Denk eraan als een beeldhouwer die stukjes van een marmeren blok wegbeitelt; de AI begint met een chaotische wolk van pixels en onthult, na vele rondes van verfijning, een perfecte video.

Er is echter een addertje onder het gras: deze digitale beeldhouwers zijn ongelooflijk traag. Het maken van een enkele video van vijf seconden kan meer dan een uur duren op een krachtige computer. Om dit te versnellen, proberen ingenieurs vaak veel computers samen te laten werken door de lange videosequentie in brokken te splitsen en ze uit te delen als een estafette. Maar hier is het probleem: wanneer deze computers proberen hun werk te delen, raken ze vastgelopen in verkeersopstoppingen. De tijd die wordt besteed aan het wachten op het heen en weer doorgeven van gegevens heft vaak de snelheidswinst die wordt behaald door meer werkers te hebben, weer op. Dit creëert een frustrerende flessenhals waarbij het toevoegen van meer computers de video niet sneller laat worden klaar, en soms zelfs zelfs trager maakt.

Maak kennis met DiTango, een nieuw systeem dat ontworpen is om deze verkeersopstopping op te lossen. De onderzoekers achter DiTango merkten iets fascinerends op over hoe deze AI-modellen "aandacht" schenken aan verschillende delen van de video. Ze ontdekten dat niet alle delen van de video op elk moment even belangrijk zijn. Net zoals je je intensief concentreert op de persoon die recht voor je staat te praten, maar de persoon die drie kamers verderop staat nauwelijks opmerkt, is de aandacht van de AI het sterkst voor nabijgelegen delen van de video en veel zwakker voor verre delen.

DiTango gebruikt dit inzicht om een slim spel van "overslaan en hergebruiken" te spelen. In plaats van elke computer constant te dwingen om elk enkel stukje data van elke andere computer op te halen en te berekenen (wat de verkeersopstopping veroorzaakt), besluit de slimme planner van DiTango welke delen cruciaal zijn om vers te berekenen en welke delen zo onbelangrijk zijn dat de computer gewoon een oud, gecachte uitslag van een paar seconden geleden kan gebruiken. Het is als een groep chefs in een enorme keuken: in plaats van dat iedereen telkens naar de voorraadkast rent om dezelfde specerij te pakken, beseffen ze dat voor de garnering aan de verre kant van de tafel de kruidenpot die dichtbij op het aanrecht staat "goed genoeg" is en geen nieuwe rit vereist.

Door selectief te zijn, vermindert DiTago de tijd die computers besteden aan het met elkaar praten drastisch. In tests met krachtige videomodellen maakte deze aanpak het generatieproces bijna twee keer zo snel van begin tot eind en versnelde het de kern van de "aandacht"-berekeningen met meer dan drie keer wanneer 32 computers samen werden gebruikt. Cruciaal is dat de onderzoekers ontdekten dat deze versnelling de kwaliteit van de video niet ruïneerde; de uiteindelijke films zagen er net zo scherp en samenhangend uit als de films gemaakt met tragere, traditionele methoden. DiTango bewijst dat door te begrijpen waar de AI daadwerkelijk naar moet kijken, we kunnen voorkomen dat het energie verspilt aan zaken die het nauwelijks opmerkt, waardoor de droom van instant, hoogwaardige AI-videogeneratie een stuk dichter bij de realiteit komt.

Technische Samenvatting: DiTango

Probleemstelling

Diffusion Transformers (DiTs) zijn de dominante architectuur geworden voor hoogwaardige, langdurige AI-gegenereerde content (AIGC). De inferentielatentie van DiTs is echter prohibitief, met name voor lange sequenties (bijv. 720p-video's), omdat ze bij elke denoising-stap volledige aandachtsberekeningen moeten uitvoeren over de gehele spatiotemporele sequentie. In tegenstelling tot autoregressieve LLM's kunnen DiTs de aandachtskosten niet ammortiseren via standaard KV-caching over verschillende stappen heen.

Hoewel parallelle inferentie een pad naar versnelling biedt, kampen bestaande strategieën met significante schaalbaarheidsbottlenecks in multi-node omgevingen:

Tensor Parallelisme (TP) en Context Parallelisme (CP) leunen zwaar op communicatie. TP vereist frequente collectieve operaties voor gesshared gewichten, terwijl CP-varianten (Ring-CP, Head-CP) uitgebreide uitwisselingen van Key-Value (KV) partities (All-to-All of P2P) vereisen om toegang te krijgen tot globale sequenties.
Schaalbaarheid-Kwaliteit Dilemma: In multi-node settings veroorzaakt beperkte inter-node bandbreedte ernstige prestatie-degradatie. Om dit te verzachten, maken bestaande frameworks vaak gebruik van agressieve feature-reusability (het overslaan van berekeningen), wat onvermijdelijk leidt tot substantiële degradatie van de gegenereerde kwaliteit. Omgekeerd vereist het behoud van kwaliteit volledige communicatie, wat resulteert in een slechte schalingsefficiëntie.

Het paper identificeert dat huidige benaderingen parallellisatie en feature-reuse als onafhankelijke optimalisaties behandelen, waarbij ze er niet in slagen de specifieke structurele eigenschappen van DiT-aandacht te benutten.

Methodologie

DiTango pakt deze uitdagingen aan door gebruik te maken van een kernobservatie: spatiële lokaliteit in aandachtsbijdragen. De auteurs demonstreren dat de aandachtsbijdragen van verschillende sequentiepartities sterk heterogeen zijn; partities die ruimtelijk nabij de query liggen, dragen aanzienlijk meer bij aan het uiteindelijke resultaat dan verre partities.

DiTango introduceert een Selective Attention State Reuse mechanisme dat deze computationele heterogeniteit afstemt op de hiërarchische communicatietopologie van gedistribueerde systemen. Het systeem bestaat uit twee primaire componenten:

1. Anchor-Guided Selection Planner

Deze component bepaalt welke partities vers berekend moeten worden en welke historische resultaten kunnen hergebruiken.

Foutmodellering: Het systeem modelleert de geaccumuleerde fout van het hergebruiken van een aandachtstoestand ($AS$) uit een vorige tijdstap. Het definieert de fout als een functie van partitie-belang ( $w$ ) en temporele foutgroei ( $\delta$ ).
Anchor Steps: Om ongecontroleerde foutaccumulatie te voorkomen, dwingt het systeem periodieke "anchor steps" af waarbij alle partities vers worden berekend. Deze stappen resetten de foutaccumulatie en actualiseren de partitie-belang-gewichten.
Online Predictie: Tussen de anchor steps door voorspelt de planner de foutgroei met behulp van lokale staat-veranderingen (die altijd berekend worden) als een proxy voor de evolutie van de remote staat. Dit maakt nauwkeurige, laag-overhead besluitvorming mogelijk.
Groep-gebaseerde Strategie: Om de complexiteit van het selecteren van individuele partities te beheersen, groepeert het systeem ruimtelijk aangrenzende partities. Beslissingen worden op groepsniveau genomen om een balans te vinden tussen nauwkeurigheid en efficiëntie, waardoor wordt gewaarborgd dat partities met een hoge bijdrage worden berekend terwijl partities met een lage bijdrage en hoge kosten worden hergebruikt.

2. State-Centric Parallel Runtime

Deze component orkestreert de uitvoering van heterogene compute/reuse beslissingen om de overlap tussen communicatie en berekening te maximalen.

State Compositie: DiTango maakt gebruik van de composabiliteit van aandachtstoestanden (output en log-sum-exp). In plaats van ruwe KV-paren te cachen (wat geheugenintensief is), cacheert het samengestelde aandachtstoestanden. Deze toestanden kunnen associatief en commutatief gecombineerd worden.
Cross-Group KV Transfer: Wanneer een groep een verse berekening vereist, voert de runtime symmetrische P2P-uitwisselingen uit om de noodzakelijke KV-partities te verplaatsen naar de devices die het dichtst bij de consumptieplek liggen, wat het gebruik van intra-node (NVLink) versus inter-node (InfiniBand) bandbreedte optimaliseert.
Group State Computation: Binnen een groep voeren devices ring-gebaseerde samengestelde aandacht uit. Dit overlapt $(g-1)$ KV-transfers met de aandachtsberekening, wat een volledige samengestelde staat voor de groep produceert.
Dynamische Group Compose: Om de geheugendruk te beheren, kan de runtime gecashte aandachtstoestanden recursief samenvoegen in grovere groepen, wat de geheugenoverhead exponentieel vermindert zonder herberekening.
Pipeline Orchestratie: De runtime ontkoppelt operaties in asynchrone berekenings- en communicatiestromen. Het plant strategisch lichtgewicht "reuse" operaties (het laden van gecashte toestanden) om de computationele gaten (bubbles) te vullen die worden veroorzaakt door de latency van cross-node communicatie.

Belangrijkste Bijdragen

Identificatie van Spatiële Lokaliteit: Het paper onthult dat de bijdragen van DiT-aandacht sterke spatiële lokaliteit vertonen, waarbij nabijgelegen partities de berekening domineren. Dit patroon is inherent aan diffusion attention en blijft standhouden over verschillende modellen en prompts heen.
DiTango Framework: Het ontwerp en de implementatie van een hoogwaardig generatiesysteem dat gebruikmaakt van theoretische foutmodellering om nauwkeurige reuse-beslissingen te nemen. Het introduceert een anchor-guided planner en een state-centric runtime om de afweging tussen communicatiekosten en generatiekwaliteit te beheren.
Schaalbaarheid en Behoud van Kwaliteit: Uitgebreide evaluaties tonen aan dat DiTango een bijna lineaire schaling bereikt over 32 GPU's, terwijl de generatiekwaliteit vergelijkbaar blijft met state-of-the-art benaderingen, waarmee het inherente schaalbaarheid-kwaliteit dilemma van eerdere methoden effectief doorbreekt.

Experimentele Resultaten

De auteurs hebben DiTango geëvalueerd op populaire open-source modellen (Wan2.1-14B, Wan2.1-1.3B, HunyuanVideo) met behulp van 32 NVIDIA H20 GPU's.

Versnelling: DiTango bereikt tot wel 1.9× end-to-end versnelling en 3.2× core attention versnelling vergeleken met state-of-the-art baselines (inclusief TP, CP, xDiT, VideoSys en SGLang-Diffusion) in multi-node settings.
Schaalbaarheid: Het systeem demonstreert bijna lineaire schaling tot 3lu 32 GPU's, terwijl baselines vaak lijden onder communicatiebottlenecks of kwaliteitsdegradatie in multi-node scenario's.
Kwaliteit: DiTango behoudt een generatiekwaliteit die vergelijkbaar is met full-attention baselines. Wat betreft VBench-scores, PSNR en SSIM, presteert DiTango beter dan lossy acceleratie frameworks (zoals VideoSys en SGLD) die lijden onder kwaliteitsdegradatie door grofmazig overslaan (skipping).
Efficiëntie: Het systeem bereikt een hoge FLOP/s in multi-node settings door cross-node communicatie te minimaliseren, terwijl traditionele parallelle benaderingen vaak communicatie-gebonden zijn.

Betekenis en Claims

Het paper claimt dat DiTango een belangrijke stap voorwaarts is voor gedistribueerde diffusion inferentie door algoritmische inzichten (spatiële lokaliteit) te integreren met systeem-niveau orchestratie.

Het Overbruggen van de Trade-off: De primaire betekenis is het vermogen om hoge schaalbaarheid te bereiken in gedistribueerde omgevingen zonder de generatiekwaliteit op te offeren, een beperking die voorheen veel parallelle diffusion systemen heeft gehinderd.
Systeem-Algoritme Afstemming: Het werk benadrukt het belang van het afstemmen van computationele patronen (spatiële lokaliteit) op systeemtopologie (hiërarchische bandbreedte) om optimalisatieruimtes te ontsluiten die voorheen onbereikbaar waren.
Praktische Implementatie: Door bijna lineaire schaling en de potentie voor seconden-lage latency voor lange video-generatie te demonstreren, is DiTango gepositioneerd als een levensvatbare oplossing voor real-time en interactieve generatieve toepassingen op grootschalige GPU-clusters.

De auteurs erkennen beperkingen en merken op dat in omgevingen met een hoge bandbreedte binnen één node, pure reductie van berekeningen een hogere throughput zou kunnen opleveren, en dat de geheugenoverhead voor state caching, hoewel beheersbaar, een beperking blijft voor productieomgevingen. Toekomstig werk wordt gesuggereerd te focussen op cache-compressie en CPU-offloading.