💻 computer science

CoReDiT: Spatial Coherence-Guided Token Pruning and Reconstruction for Efficient Diffusion Transformers

يُعد CoReDiT إطار عمل فعال لتقليم الرموز (token pruning) لنماذج محولات الانتشار (Diffusion Transformers)، حيث يستفيد من التماسك المكاني لتحديد وتخطي الرموز الزائدة مع إعادة بناء مخرجاتها عبر الرموز المجاورة، مما يحقق تسريعًا كبيرًا في العمليات الحسابية وتوفيرًا في الذاكرة دون المساس بالجودة البصرية.

المؤلفون الأصليون: Zhuojin Li, Hsin-Pai Cheng, Hong Cai, Shizhong Han, Fatih Porikli

نُشر 2026-05-15

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhuojin Li, Hsin-Pai Cheng, Hong Cai, Shizhong Han, Fatih Porikli

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول رسم جدارية ضخمة وتفصيلية للغاية على حائط. لديك فريق من الفنانين ("الرموز" أو الـ tokens) يقفون أمام الحائط، ويحتاج كل فنان منهم إلى التحدث مع كل فنان آخر لتحديد اللون الدقيق الذي سيضعه في مكانه المحدد. هذا يضمن أن تبدو اللوحة مثالية، لكن الأمر مرهق. إذا كان لديك 10,000 فنان، فسيتعين عليهم إجراء 100 مليون محادثة فقط للاتفاق على الضربة التالية للفرشاة. هكذا تعمل مولدات الصور الحالية بالذكاء الاصطناعي (المعروفة باسم Diffusion Transformers): إنها بارعة ولكنها بطيئة للغاية وتستهلك طاقة حاسوبية هائلة.

تقدم هذه الورقة البحثية طريقة جديدة تسمى CoReDiT لجعل هذه العملية أسرع دون إفساد اللوحة. وإليك كيف تعمل، مقسمة إلى ثلاث خطوات بسيطة:

1. كاشف "الفنان الملول" (التماسك المكاني)

في اللوحات التقليدية، تكون بعض المناطق مزدحمة وتفصيلية للغاية (مثل وجه أو شجرة)، بينما تكون مناطق أخرى مجرد خلفيات بسيطة ومملة (مثل سماء زرقاء أو جدار ناعم).

المشكلة: الذكاء الاصطناعي القديم يعامل جميع الفنانين بالتساوي، مما يجبر الفنانين الذين يرسمون السماء الزرقاء المملة على خوض نفس المحادثات المكثفة التي يخوضها من يرسم الوجه.
حل CoReDiT: ينظر CoReDiT إلى الفنانين ويسأل: "هل يقف هذا الفنان بجانب شخص يشبهه تماماً؟". إذا كان الفنان في منطقة مملة ومتجانسة، فإن جيرانه هم تقريباً نسخ متطابقة منه. يمنح CoReDiT هؤلاء "الفنانين الملولين" درجة تماسك (Coherence Score) عالية.
الإجراء: يخبر هؤلاء الفنانين ذوي الدرجات العالية (المكررين): "لستم بحاجة للتحدث مع الجميع الآن. خذوا استراحة". هذا يتخطى المحادثات المكلفة للأجزاء المملة من الصورة، مما يوفر وقتاً هائلاً.

2. فنان "ملء الفراغات" (إعادة البناء)

إذا أخبرت الفنانين "الملولين" فقط بالذهاب إلى منازلهم والتوقف عن العمل، فستنتهي بوجود ثقوب في جداريتك. ستبدو اللوحة مكسورة وغير متناسقة.

المشكلة: مجرد إزالة الرموز (الفنانين) يخلق فجوات بصرية.
حل CoReDiT: بدلاً من ترك ثقب، يستخدم CoReDiT الفنانين الذين بقيوا لملء الفراغات. ولأن الفنانين "الملولين" كانوا متشابهين جداً مع جيرانهم، يمكن للفنانين المتبقين تخمين ما كان سيرسمه الغائبون بسهولة.
الإجراء: الأمر يشبه لعبة "الهاتف المكسور" حيث يهمس الفنانون المتبقون باللون الصحيح للأماكن الفارغة. هذا يضمن أن تبدو الصورة النهائية سلسة ومكتملة، دون فجوات مرئية، رغم أن عدداً أقل من الفنانين قاموا بالعمل الشاق فعلياً.

3. المدير الذكي (التقليم التدريجي)

ليست جميع مراحل عملية الرسم متساوية.

المشكلة: في بداية عملية صنع الصورة، تكون الصورة مجرد ضجيج ثابت (مثل تشويش التلفاز)، لذا يبدو كل شيء متشابهاً ومكرراً تقريباً. ولكن في النهاوة، عندما يتم صقل التفاصيل، تصبح كل ضربة فرشاة مهمة للغاية. إذا قمت بقص الكثير من الفنانين في وقت مبكر جداً، فسيصاب الذكاء الاصطناعي بالارتباك. وإذا قمت بقص الكثير في النهاية، فستبدو الصورة ضبابية.
حل CoReDiT: يعمل CoReDiT كمدير ذكي يتعلم الجدول الزمني المثالي. يبدأ بالسماح للذكاء الاصطناعي باستبعاد العديد من الفنانين المكررين عندما تكون الصورة مجرد ضجيج. ومع وضوح الصورة وزيادة تفاصيلها، يتوقف المدير تدريجياً عن استبعاد الكثير من الفنانين، مما يضمن منح التفاصيل الحرجة كامل الاهتمام.
الإجراء: هو يحدد تلقائياً أي أجزاء من عقل الذكاء الاصطناعي (الكتل/Blocks) وأي مراحل من العملية (الخطوات الزمنية/Time steps) يمكنها تحمل أكبر عدد من عمليات القص، ويعدل الخطة فورياً للحفاظ على الجودة العالية.

النتائج

باستخدام هذه الطريقة، وجد المؤلفون أن:

السرعة: يعمل الذكاء الاصطناعي أسرع بمقدار 1.33 مرة على أجهزة الحوسبة السحابية القوية، وأسرع بمقدار 1.72 مرة على شرائح الهواتف المحمولة.
الكفاءة: يقلل من العمليات الحسابية الثقيلة بنسبة تصل إلى 55%.
الجودة: لا تزال الصور تبدو بجودة النسخة البطيئة، دون وجود شقوق أو عيوب غريبة واضحة.
ميزة إضافية: نظرًا لأنه يستخدم ذاكرة أقل، يمكنه حتى إنشاء صور ذات دقة أعلى على الهواتف التي قد تتعطل عادةً بسبب نفاد الذاكرة.

باختصار، CoReDiT يشبه تعيين مشرف ذكي لمشروع فني يعرف بالضبط متى يسمح للطاقم بالراحة ومتى يبقيهم يعملون بجد، مما يؤدي إلى إنتاج تحفة فنية تنتهي بسرعة أكبر بكثير.

ملخص تقني: CoReDiT

بيان المشكلة

أثبتت نماذج محولات الانتشار (Diffusion Transformers - DiTs) أداءً فائقاً في توليد الصور والفيديو من خلال نمذجة الاعتمادات طويلة المدى بفعالية عبر آليات الانتباه. ومع ذلك، فإن تكلفتها الحسابية تتزايد بشكل تربيعي مع عدد الرموز (tokens)، مما يجعل التوليد عالي الدقة وتوليد الفيديو متعدد الإطارات أمراً مكلفاً للغاية بالنسبة للمنصات المحمولة ذات الموارد المحدودة. وبينما يمثل جزء كبير من الرموز في الفضاء الكامن (latent space) مناطق زائدة عن الحاجة بصرياً (مثل الخلفيات الموحدة)، تواجه طرق تقليم الرموز الحالية ثلاثة تحديات رئيسية عند تطبيقها على استدلال الانتشار:

التحديد المحلي الفعال: تحديد الرموز ذات الأهمية المنخفضة دون التسبب في عبء حسابي تربيعي ناتج عن حساب درجات الانتباه العالمي.
الحفاظ على الدلالات: الحفاظ على الاستمرارية البصرية ومنع العيوب (مثل انقطاع النسيج أو تشوهات الحدود)، وهو أمر بالغ الأهمية للمهام التوليدية بخلاف المهام التمييزية.
الجدولة التكيفية: تحديد استراتيجية تقليم تتكيف مع مستويات التكرار المتفاوتة عبر مختلف كتل المحولات وخطوات إزالة الضجيج.

المنهجية: CoReDT

CoReDiT هو إطار عمل لتقليم الرموز المهيكل والمصمم لتسريع نماذج DiTs سابقة التدريب مع الحفاظ على دقة المخرجات. ويعمل من خلال ثلاثة مكونات أساسية:

1. اختيار الرموز القائم على التماسك المكاني

بدلاً من الاعتماد على درجات الانتباه العالمي (التي تبلغ $O(N^2)$ )، يستخدم CoReDiT درجة التماسك المكاني (Spatial Coherence - SC) لتقدير التكرار المحلي في وقت خطي ( $O(N)$ ).

الآلية: يتم تقسيم شبكة الرموز إلى شبكات غير متداخلة. لكل رمز، تُحسب درجة SC كمتوسط تشابه جيب التمام (cosine similarity) بين تمثيل الرمز الموحد ومتوسط التمثيل الموحد للشبكة الخاصة به.
المنطق: تُعتبر الرموز ذات درجات SC العالية زائدة عن الحاجة لأنها مفسرة جيداً بواسطة جيرانها المكانيين.
الاختيار: يتم اختيار أعلى $K$ من الرموز ذات درجات SC الأعلى ليتم تخطيها ( $X_S$ )، بينما تستمر الرموز المتبقية ( $X_R$ ) في طبقة الانتباه الذاتي متعدد الرؤوس (MHSA).

2. إعادة بناء الرموز الموجه بالتماسك

لمنع الانقطاعات المكانية الناتجة عن تخطي الرموز، يقوم CoReDiT بإعادة بناء مخرجات الانتباه للرموز التي تم تخطيها ( $Y_S$ ) باستخدام مخرجات الجيران الذين تم الاحتفاظ بهم ( $Y_R$ ).

التقريب: بدلاً من حساب التشابهات الزوجية لإعادة البناء (مما يضيف عبئاً إضافياً)، تقرب الطريقة أوزان التشابه باستخدام درجات SC المحسوبة مسبقاً للجيران.
الشبكات الفرعية المحلية: لتجنب التنعيم المفرط، تتم عملية إعادة البناء ضمن شبكات فرعية أصغر.
التصاميم الدقيقة:
- أحجام الشبكات المتناوبة: تتبادل أبعاد الشبكة بين الكتل المتتالية لإزاحة عيوب الحدود والسماح بانتشار المعلومات عبر حدود الشبكة.
- الاحتفاظ بـ m-Stride: يضمن نمط الخطوة (stride) الحتمي الاحتفاظ برمز واحد على الأقل في كل شبكة فرعية، مما يوفر ركائز ضرورية لإعادة البناء.

3. جدولة التقليم التدريجي والتكيفي للكتل

إدراكاً بأن التكرار يختلف عبر كتل المحولات وخطوات إزالة الضجيج، يستخدم CoReDiT استراتيجية تقليم تدريجية أثناء عملية الضبط الدقيق الخفيف.

التكيف مع الكتلة: يتم تخصيص ميزانية التقليم للكتل ذات التكرار الأعلى المقاس (المقدر بمجموع درجات SC للرموز المرشحة).
تلاشي الخطوات الزمنية: يكون التقليم أكثر حدة في خطوات إزالة الضجيج المبكرة (حيث يسود الضجيج ويكون الهيكل خشناً) ويقل في الخطوات اللاحقة (حيث يتم صقل التفاصيل الدقيقة). تُستخدم جدولة تلاشي ثنائية المرحلة للموازنة بين الكفاءة وتعقيد إدارة الرسوم البيانية للحسابات الخاصة بكل خطوة.
التدريب: يتم ضبط النموذج بدقة باستخدام فقدان التقطير (distillation loss) الذي يجمع بين فقدان مخرج النموذج الأصلي وفقدان الكتلة المقلمة لاستعادة الأداء.

المساهمات الرئيسية

تقدير التكرار في وقت خطي: تقديم درجة تماسك مكاني تحدد الرموز الزائدة في زمن $O(N)$ ، متجنبة الاختناق الحسابي لتحليل الانتباه العالمي.
الحفاظ على الشبكة الكثيفة: آلية إعادة بناء تعمل على تخليق مخرجات الانتباه المفقودة من الجيران، مما يضمن بقاء شبكة الرموز كثيفة للطبقات اللاحقة ومنع العيوب البصرية.
استراتيجية التقليم التكيفية: جدولة تدريجية متكيفة مع الكتل تخصص ميزانيات التقليم ديناميكياً بناءً على إحصائيات التكرار التجريبية عبر العمق والزمن، مما يسهل التكيف المستقر.

النتائج التجريبية

تم تقييم CoReDiT على نماذج DiT الرائدة، بما في ذلك PixArt-α و PixArt-Σ و MagicDrive-V2.

مكاسب الكفاءة:
- حقق تقليلاً يصل إلى 55% في عمليات حسابات (FLOPs) الانتباه الذاتي.
- تسريع الاستدلال: 1.33× على وحدات معالجة الرسومات السحابية (Nvidia H100) و 1.72× على وحدات المعالجة العصبية للهواتف المحمولة (Qualcomm Snapdragon 8 Elite).
- سعة الذاكرة: مكن من التوليد بدقة تصل إلى 1920 على الأجهزة المحمولة، حيث واجه النموذج الأساسي أخطاء "نفاد الذاكرة" (OOM) عند دقة 1600.
الحفاظ على الجودة:
- في نموذج PixArt-α-1024 مع تقليم بنسبة 40%، حافظ CoReDiT على FID قدره 28.7 (مقابل 27.3 للنموذج الأساسي) ودرجات CLIP/IS تنافسية. ومع التقطير، ضاقت فجوة FID لتصل إلى 27.4.
- في نموذج PixArt-Σ-2048، أدى متوسط نسبة تقليم 23% إلى تقليل زمن انتقال الانتباه الذاتي بنسبة 22% مع انخفاض طفيف فقط في مقاييس الجودة.
دراسات الاستئصال (Ablation Studies):
- أدى الاختيار العشوائي للرموز إلى تدهور كارثي في الجودة (FID 644.5)، مما يؤكد ضرورة الاختيار القائم على التماسك.
- أدى تعطيل إعادة البناء إلى فقدان كبير في الجودة (FID 30.4 مقابل 28.5)، مما يؤكد أهمية خطوة إعادة البناء.
- أدى التقليم الموحد المتبوع بالضبط الدقيق إلى أداء أسوأ من الجدولة التكيفية التدريجية المقترحة.

الأهمية والادعاءات

يزعم البحث أن CoReDiT يقدم حلاً عملياً لنشر نماذج الانتشار عالية الدقة على الأجهزة الطرفية من خلال معالجة التحديات المحددة لتقليم الرموز التوليدية. وتكمن أهميته في:

القابلية للتوسع: تمكين التوليد عالي الدقة وتوليد الفيديو على الأجهزة المحمولة عن طريق تقليل بصمة الحوسبة والذاكرة.
التوافق الهيكلي: الحفاظ على التوافق مع بنيات DiT الحالية دون الحاجة إلى تغييرات هيكلية أو وحدات توجيه معقدة.
الموازنة بين الكفاءة والجودة: إثبات أن التخطي المهيكل والموجه بالتماسك يمكن أن يقلل تكاليف الاستدلال بشكل كبير (حتى 55% من عمليات FLOPs للانتباه الذاتي) مع الحفاظ على جودة إدراكية مقاربة للنموذج الكامل.

يشير المؤلفون إلى أنه بينما يركز النهج الحالي على التكرار المكاني، فإن العمل المستقبلي يهدف إلى توسيع الكفاءة لتشمل مكونات FFN/MLP ودمج أهداف التماسك عبر الإطارات لتحسين الاتساق الزمني للفيديو.