← أحدث الأبحاث
💻 computer science

Accelerating Visual On-Policy Distillation with Batched Speculative Jacobi Rollouts

تقدم هذه الورقة HB-SJD، وهو خلفية برمجية لفك التشفير من نوع (Speculative Jacobi Decoding) بنظام الدفعات، تعمل على تسريع عملية التقطير البصري في الوقت الفعلي (visual on-policy distillation) عبر تمكين المعالجة المتوازية لعدة رموز وأنماط تنفيذ تكيفية، مما يقلل زمن التدريب بشكل كبير مع الحفاظ على جودة التوليد دون تغيير إطار عمل التقطير.

المؤلفون الأصليون: Bingqi Shan, Zhehao Yu, Kenhong Lin, Baoquan Zhang

نُشر 2026-08-20
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Bingqi Shan, Zhehao Yu, Kenhong Lin, Baoquan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، هناك صراع مستمر بين إنشاء نماذج ذكية بما يكفي لإنتاج صور مذهلة وبين إبقائها صغيرة بما يكفي لتعمل بسرعة. فالأنظمة الضخمة، التي تُسمى غالباً "المعلمين"، يمكنها إنتاج صور دقيقة للغاية من خلال التنبؤ بكل قطعة صغيرة من الصورة واحدة تلو الأخرى، وبناء الصورة بأكملها من نقطة بداية واحدة. ومع ذلك، فإن هذه العملية التي تتم خطوة بخطوة بطيئة ومكلفة. ولجعل هذه الأنظمة أسرع، يستخدم الباحثون تقنية تُسمى "تقطير المعرفة"، حيث يتعلم نموذج "طالب" أصغر وأبسط محاكاة "المعلم". وهناك نسخة أحدث وأكثر فعالية من هذه العملية، تُعرف باسم "التقطير في السياسة المتبعة" (on-policy distillation)، والتي تطلب من الطالب التدرب عبر توليد أمثلة تدريبية خاصة به في الوقت الفعلي. يضمن ذلك أن يتعلم الطالب بالضبط كيف سيتصرف عندما يقوم بإنشاء الفن فعلياً، بدلاً من مجرد حفظ الأمثلة القديمة. والمشكلة هي أن جلسة التدريب هذه بطيئة بشكل مؤلم؛ إذ لا يزال يتعين على الطالب بناء صوره قطعة صغيرة تلو الأخرى، مما يخلق عنق زجاجة يبطئ عملية التعلم بأكملها.

لقد وجد فريق من الباحثين من شنزن طريقة لكسر عنق الزجاجة هذا دون تغيير القواعد الأساسية لكيفية تعلم الطالب. فقد قدموا طريقة جديدة تسمى HB-SJD، والتي تعمل كمحرك أسرع لجلسات تدريب الطالب. فبدلاً من إجبار الطالب على بناء صورة واحدة "توكن" (أو وحدة بصرية صغيرة) في كل مرة، يسمح هذا النظام الجديد للنموذج باقتراح عدة قطع مستقبلية من الصورة في وقت واحد ثم التحقق مما إذا كانت تلك التخمينات صحيحة. فكر في الأمر مثل طالب يؤدي اختباراً: بدلاً من كتابة إجابة واحدة، وانتظار المعلم لتصحيحها، ثم كتابة الإجابة التالية، يكتب الطالب صفحة كاملة من الإجابات دفعة واحدة، ويقوم المعلم بسرعة بتحديد أي منها صحيح. بعد ذلك، يحتفظ الطالب بالإجابات الصحيحة ويعيد فقط كتابة الإجابات التي كانت خاطئة، مما يجعله يتقدم بسرعة أكبر بكثير.

اكتشف الباحثون أن مجرد تشغيل هذه الطريقة الأسرع على مجموعة من الصور في نفس الوقت لم يكن كافياً. ففي الإعداد القياسي، إذا انتهى توليد صورة واحدة بسرعة، فسيتعين عليها الانتظار حتى تنتهي أبطأ صورة في المجموعة قبل أن يتمكن النظام من الانتقال إلى الخطوة التالية. وكانت فترة الانتظار هذه تهدر طاقة حوسبية قيمة. ولحل هذه المشكلة، صمم الفريق نظامهم بحيث يمكن لكل صورة أن تتقدم بسرعتها الخاصة. فإذا انتهت صورة ما، فإنها تتنحى جانباً، ويستمر النظام في العمل على الصور المتبقية دون توقف. علاوة على على ذلك، وجدوا أن أفضل طريقة لتشغيل النظام تتغير مع تناقص عدد الصور النشطة. فعندما يتم معالجة العديد من الصور، يعمل النظام بشكل أفضل من خلال إبقاء المجموعة كاملة نشطة. ولكن مع انتهاء الصور وتصاغر المجموعة، ينتقل النظام إلى وضع أكثر رشاقة يعالج فقط الصور النشطة المتبقية، متجنباً الأعباء الإضافية لإدارة الخانات الفارغة.

وعند اختبار هذا النهج الجديد على نماذج توليد الصور، ثبتت فعاليته العالية. فقد وجد الباحثون أنه يمكنه تقليل الوقت المطلوب للطالب لتوليد صور التدريب الخاصة به إلى النصف تقريباً، مع سرعات تتراوح بين 1.4 إلى 1.6 مرة أسرع من الطريقة التقليدية. والأهم من ذلك، أن هذه السرعة لم تأتِ على حساب الجودة؛ فقد كانت الصور التي أنتجتها نماذج الطلاب التي تم تدريبها بهذه الطة الجديدة حادة وواقعية تماماً مثل تلك التي تم تدريبها بالطريقة القديمة الأبطأ. وقد عمل النظام باستمرار وبشكل جيد سواء كانت الصور قصيرة أو طويلة، وسواء كانت مجموعة الصور التي يتم معالجتها صغيرة أو كبيرة، وفي مراحل مختلفة من عملية التدريب. ومن خلال استبدال المحرك الذي يولد بيانات التدريب فقط، نجح الباحثون في جعل عملية التعلم بأكملها أسرع بشكل ملحوظ، مما أثبت أنه يمكنك تسريع تدريب الذكاء الاصطنا الاصطناعي دون المساس بجودة النتيجة النهائية.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →