HQ-DM: Single Hadamard Transformation-Based Quantization-Aware Training for Low-Bit Diffusion Models
تقدم الورقة البحثية HQ-DM، وهو إطار عمل جديد للتدريب الواعي بالكمية يستخدم تحويلاً واحداً لهادامارد للتخفيف بفعالية من القيم المتطرفة للتنشيط ومنع تضخيم القيم المتطرفة للأوزان، مما يتيح كمية عالية الأداء منخفضة البت (W4A4 وW4A3) لنماذج الانتشار مع تحسينات كبيرة في جودة توليد الصور مقارنة بالطرق الحالية الرائدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم فنان رقمي كيف يرسم لوحة فنية رائعة، ولكن بدلاً من إعطائه مرسماً كاملاً بفرشاة عالية الدقة، قدمت له دفتر رسومات صغيراً ومنخفض الدقة. هذا هو التحدي الذي يواجه "نماذج الانتشار" (diffusion models)، وهي نوع من الذكاء الاصطناعي الذي ينشئ صوراً مذهلة عن طريق تحويل الضجيج العشوائي (static noise) تدريجياً إلى صور واضحة، خطوة بخوة. فكر في الأمر كأنك نحات يبدأ بكتلة ضخمة من الرخام وينحت منها قطعاً صغيرة مراراً وتكراراً حتى تظهر منحوتة. المشكلة هي أن هذه العملية ثقيلة للغاية؛ فهي تتطلب حواسيب ضخمة وذاكرة كبيرة، مما يجعل من الصعب تشغيلها على الأجهزة اليومية مثل الهواتف أو أجهزة الكمبيوتر المحمول.
ولحل هذه المشكلة، يستخدم العلماء حيلة تسمى "الكمية" (quantization). تخيل أنك تأخذ صورة عالية الدقة وتصغرها لتصبح نسخة "بكسلية" (pixelated) تشغل مساحة أقل. في عالم الذكاء الاصطناعي، يعني هذا تحويل أرقام النموذج فائقة الدقة (التي تستخدم الكثير من الذاكرة) إلى أرقام أصغر وأبسط (تستخدم بتات أقل). ومع ذلك، هناك عقبة: عندما تصغر هذه الأرقام أكثر من اللازم، يصاب الذكاء الاصطناعي بالارتباك بسبب "القيم المتطرفة" (outliers). هذه القيم هي قيم نادرة ومتطرفة في البيانات، تعمل مثل نجم ساطع جداً ومبهر في سماء مظلمة. إذا حاولت وضع ذلك النجم داخل شبكة صغيرة ومنخفضة الدقة، فإنه سيشوه الصورة بأكملها، مما يؤدي إلى إنتاج صور باهتة أو غريبة. السؤال الكبير هو: كيف يمكننا تصغير النموذج دون فقدان التفاصيل التي تجعل الفن يبدو جيداً؟
هنا يأتي دور دراسة جديدة تسمى HQ-DM بحلها الذكي. فقد وجد الباحثون أن "القيم المتطرفة" التي تسبب المشاكل في نماذج الانتشار تشبه الضيوف العنيدين في حفلة يقفون عند المدخل ويعيقون الجميع. حاولت الطرق السابقة حشر هؤلاء الضيوف في الداخل أو إعادة ترتيب الأثاث، لكن ذلك غالباً ما جعل الغرفة أكثر فوضوية. اكتشف فريق HQ-DM طريقة أفضل: فهم يستخدمون أداة رياضية تسمى تحويل هادامارد المنفرد (Single Hadamard Transformation). يمكنك التفكير في هذا كتقنية "خلط" سحرية. فبدلاً من محاولة حشر النجم الساطع في صندوق صغير، يقومون بتدوير السماء بأكملها بحيث يتوزع ضوء النجم بالتساوي عبر اللوحة بأكملها. فجأة، لا توجد نقطة واحدة ساطعة جداً لدرجة يصعب التعامل معها، ويمكن للذكاء الاصطناعي تصغير الأرقام بسهولة دون فقدان جودة الصورة.
ما يجعل هذا النهج مميزاً هو كيفية تعامله مع "الأوزان" (weights - ذاكرة النموذج) مقابل "التنشيطات" (activations - البيانات التي تمر عبر النموذج). حاولت الطرق القديمة خلط كليهما، لكن هذا غالباً ما أدى إلى ظهور نقاط ساطعة جديدة في الذاكرة، مما جعل الأمور أسوأ. HQ-DM أكثر ذكاءً: فهو يقوم فقط بخلط البيانات المتحركة (التنشيطات) مباشرة قبل تصغيرها، تاركاً الذاكرة دون مساس. هذا يشبه إعادة ترتيب الضيوف في الممر دون تحريك الأثاث في غرفة المعيشة. وبسبب ذلك، يعمل هذا الأسلوب بشكل مثالي مع شرائح الكمبيوتر القياسية المصممة للعمليات الحسابية السريعة والبسيطة، مما يسمح للذكاء الاصطناعي بالعمل بشكل أسرع بكثير.
النتائج التي حققتها حيلة "الخلط" هذه مبهرة. فعندما اختبر الباحثون طريقتهم على مولد صور شهير يسمى LDM-4 باستخدام مجموعة بيانات ImageNet (وهي مجموعة من الصور بدقة 256×256 بكسل)، وجدوا أن نموذجهم يمكن تصغيره إلى أحجام صغيرة جداً دون فقدان لمسته الفنية. على وجه التحديد، عندما استخدموا إعداداً هجومياً للغاية حيث تم تصغير كل من الذاكرة والبيانات إلى 4 بت فقط (W4A4)، حسنت طريقتهم درجة جودة الصورة (Inception Score) بنسبة 12.8% مقارقة بأفضل طريقة سابقة. والأكثر إثارة للدهشة، عندما دفعوا البيانات إلى 3 بت فقط (W4A3) — وهو مستوى تفشل فيه معظم الطرق الأخرى تماماً — حسنت طريقتهم النتيجة بنسبة هائلة بلغت 467.73%.
كما تظهر الورقة البحثية أن هذه الطريقة فعالة؛ فهي لا تستغرق وقتاً طويلاً لتدريب النموذج، ولأنها تتوافق جيداً مع أجهزة الكمبيوتر القياسية، يمكنها العمل بسرعة تبلغ حوالي 1.10 إلى 1.14 مرة أسرع من المحاولات السابقة للكمية منخفضة البتات المماثلة. اختبر الباحثون ذلك على أنواع مختلفة من النماذج، بما في ذلك تلك القائمة على "المحولات" (Transformers - وهي بنية ذكاء اصطناعي مختلفة)، ووجدوا أن حيلة "الخلط" تعمل بنفس الكفاءة هناك. باختصار، تشير HQ-DM إلى أنه من خلال مجرد إعادة ترتيب البيانات قبل تصغيرها، يمكننا جعل مولدات الفن بالذكاء الاصطناعي القوية صغيرة بما يكفي لتعمل على الأجهزة التي نستخدمها كل يوم، دون التضحية بجمال الصور التي تصنعها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.