Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging
يقدم Any-OPD إطار عمل مبتكر للتقطير على السياسة (on-policy distillation) غير المتجانس بين نماذج مطابقة التدفق الكامنة (latent flow-matching models) التعسفية عبر الربط بينها من خلال تمثيل رؤية مجمد ومستقل عن النموذج ومطابقة مستمرة لمستوى الضجيج، مما يمكّن طالباً بحجم 2.5 مليار من منافسة أداء معلم بحجم 12 مليار حيث يفشل الانحدار الكامن التقليدي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا يرسم فيه الفنانون بالفرشاة فحقة، بل بالرياضيات. هذا هو مجال توليد الصور بالذكاء الاصطناعي، وهو مجال تتعلم فيه الحواسيب كيفية إنشاء الصور من الصفر عبر دراسة ملايين الأمثلة. وللقيام بذلك، تستخدم نماذج الذكاء الاصطنا الحديثة حيلة ذكية تسمى مطابقة التدفق (flow matching). فكر في الأمر كأنه نهر يتدفق من شلال صاخب وفوضوي (ضجيج نقي) وصولاً إلى بحيرة هادئة وصافية (صورة مثالية). يتعلم الذكاء الاصطناعي المسار الدقيق لهذا النهر حتى يتمكن من توجيه أي قطرة ماء من الضجيج إلى صورة جميلة.
ومع ذلك، هناك عقبة. ففنانو الذكاء الاصطناعي الأكثر قوة يشبهون الفيلة الضخمة بطيئة الحركة: فهي ضخمة، وتتطلب حواسيب فائقة لتشغيلها، وتستغرق وقتاً طويلاً لإنشاء صورة واحدة. نحن نريد سرعة وكفاءة السنجاب الرشيق، ولكننا نريد أيضاً عبقرية الفيل الفنية. الحل هو التقطير (distillation): تعليم نموذج طالب صغير وسريع كيف يقلد المعلم الكبير والبطيء. لكن المشكلة تكمن في أنه، عادةً، يجب أن يتحدث المعلم والطالب اللغة نفسها تماماً، وأن يستخدموا الخريطة الداخلية ذاتها، ويتبعوا نفس الساعة الزمنية. إذا كانوا من "عائلات" مختلفة من الذكاء الاصطناعي، فقد يبدون وكأنهم يتحدثون لهجات مختلفة أو يعيشون في مناطق زمنية مختلفة. وحتى الآن، كان محاولة تعليم سنجاب كيف يصبح فيلاً باستخدام مخططات مختلفة تماماً أمراً مستحيلاً.
يقدم هذا البحث Any-OPD، وهي طريقة جديدة تعمل كمترجم عالمي ومدرب يتلاعب بالزمن. فقد وجد الباحثون أنك لست بحاجة لأن يتشارك المعلم والطالب في خرائطهما الداخلية أو ساعاتهما ليتعلما من بعضهما البعض. فبدلاً من إجبارهما على مقارنة ملاحظاتهما الداخلية السرية (والتي ستكون مجرد لغو غير مفهوم للطرف الآخر)، تسمح تقنية Any-OPD لهما بمقارنة الصور النهائية التي يصنعانها باستخدام "ناقد فني" من طرف ثالث (نموذج رؤية مجمد يسمى DINOv2) يفهم معنى الصورة، وليس مجرد البكسلات.
اختبر الفريق ذلك عبر أخذ نموذج طالب صغير يمتلك 2.5 مليار معلمة (SD3.5-Medium) وتعليمه محاكاة معلم ضخم يمتلك 12 مليار معلمة (FLUX.1-dev). هذان النموذجان مختلفان تماماً: فهما يستخدمان هياكل داخلية مختلفة، وطرقاً مختلفة في التعامل مع الضجيج، وجداول زمنية مختلفة. حاولت الطرق القياسية فرض مقارنة مباشرة بين بياناتهما الداخلية، مما أدى إلى انهيار عملية التدريب وتحولها إلى كتلة ضبابية مشوشة. ومع ذلك، تجاوزت تقنية Any-OPD ذلك عبر الاكتفاء بمقارنة الصور النهائية في "فضاء معنى" مشترك.
كانت النتائج مذهلة. فالطالب الصغير، بعد تدريبه باستخدام Any-OPD، لم يصبح أفضل قليلاً فحسب؛ بل أصبح فناناً ماهراً. لقد حسن قدرته على إنشاء صور يفضلها البشر (مقاسة بدرجة تسمى PickScore) من 0.846 إلى 0.884، وقفزت درجة تفضيل البشر (HPSv3) من 9.12 إلى 10.97. وفي الواقع، بدأ هذا الطالب الصغير ينافس، وفي بعض الحالات يتفوق على، أداء معلمه العملاق ذي الـ 12 مليار معلمة، كل ذلك بينما يعمل بجزء ضئيل من الحجم والتكلفة.
يستبعد البحث صراحةً فكرة أنه يمكنك ببساطة مقارنة البيانات الداخلية الخام (التمثيلات الكامنة - latents) أو تفاصيل البكسل بدقة عند اختلاف النماذج. لقد أظهروا أن محاولة إجراء "انحدار بكسل مباشر" (pixel regression) عبر عائلات النماذج المختلفة تؤدي إلى فشل التدريب تماماً. بدلاً من ذلك، أثبتوا أنه من خلال تثبيت الطالب أولاً ثم استخدام نظام مطابقة مستوى الضجيج لمحاذاة خطواتهما في الزمن، يمكنك بنجاح نقل المعرفة بين أي نموذجين، بغض النظر عن مدى اختلافهما. وهذا يشير إلى أنه في المستقبل، لن نكون مقيدين بنموذج واحد ضخم فقط؛ بل يمكننا أخذ أفضل معلم متاح، بغض النظر عن الجهة التي صنعته، وتعليم أي نموذج صغير نحتاج لنشره ليكون بنفس الجودة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.