💻 computer science

Poly-OPD: Heterogeneous Multi-Teacher On-Policy Distillation for Capability-Selectable Flow Models

يُعد Poly-OPD إطار عمل للتقطير القائم على السياسة متعدد المعلمين غير المتجانس، والذي يدمج نقاط القوة المتكاملة من نماذج تحويل النص إلى صورة غير المتوافقة في نموذج طالب واحد مدمج يعتمد على مطابقة التدفق، وذلك عبر جسر الفضاءات الكامنة بواسطة إعادة الترميز على مستوى البكسل والإشراف باستخدام DINOv2، مع توظيف محولات متوافقة مع التدرج ومنهج تعليمي مدرك للفجوات لتحقيق أداء فائق في كل من اتباع التعليمات التركيبية والمواءمة الجمالية.

المؤلفون الأصليون: Siming Fu, Haojun Xu, Ruizhe He, Zheming Fu, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Linjiang Huang, Si Liu

نُشر 2026-08-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Siming Fu, Haojun Xu, Ruizhe He, Zheming Fu, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Linjiang Huang, Si Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يُصنع فيه الفن بواسطة آلات تتعلم من خلال التخمين والتصحيح، وهو مجال يُعرف باسم توليد الصور من النصوص. في هذا المرسم الرقمي، "المعلمون" هم نماذج ضخمة ومعقدة تحول الكلمات إلى صور. ولكن هنا تكمن العقبة: تماماً مثل الخبراء البشر، تمتلك هذه الآلات تخصصات مختلفة. فبعضها رسامون بارعون يبدعون مشاهد واقعية مذهلة الجمال، لكنهم قد يغفلون عن تفاصيل صغيرة مثل "ثلاث قطط" أو "كرة حمراء على اليسار". والبعض الآخر محاسبون صارمون يتبعون التعليمات بدقة، لكنهم قد ينتجون صوراً تبدو مسطحة أو غريبة بعض الشيء. المشكلة الكبرى هي أن هؤلاء الخبراء يتحدثون "لغات" داخلية مختلفة؛ فهم يستخدمون مخططات رياضية وحسابية مختلفة لبناء صورهم، لذا لا يمكنك ببساطة أن تطلب منهم تبادل الملاحظات أو دمج عقولهم بسهولة. إذا كنت تريد صورة جميلة ودقيقة تماماً في آن واحد، فعادة ما يتعين عليك تشغيل حاسوبين ضخمين ومكلفين في نفس الوقت، وهو أمر بطيء ومبدد للموارد. وقد حاول العلماء اكتشاف كيفية دمج هؤلاء الخبراء المختلفين في نموذج واحد أصغر وأذكى يمكنه القيام بالوظيفتين معاً دون أن يصاب بالارتباك.

تقدم هذه الورقة البحثية طريقة مبتكرة جديدة تسمى Poly-OPD، والتي تعمل كمترجم ومدرب بارع، حيث نجحت في دمج "معلمين" مختلفين تماماً في نموذج طالب واحد مدمج. لقد أخذ الباحثون معلماً "جميلاً" (FLUX.1-dev) ومعلماً "دقيقاً" (Z-Image)، وعلموا نموذجاً طالباً أصغر (نسخة بـ 2.5 مليار معلمة من SD3.5) كيف يكون كلاهما معاً. وتكمن الخدعة السحرية في أنه بدلاً من إجبار الطالب على نسخ الأفكار الداخلية للمعلمين (والتي تكون بلغات غير متوافقة)، يسمح النظام للطالب برسم صورة، ثم يحول تلك الرسمة إلى لغة "بكسل" مشتركة يفهمها الجميع، وبعد ذلك يطلب من المعلم تصحيحها. المعلم لا يكتفي بالقول "عمل جيد" فحسب، بل يقوم فعلياً بإعادة رسم الصورة لتصحيح الأخطاء، ويتعلم الطالب من هذا التصحيح. ولضمان عدم ارتباك الطالب عند محاولة تعلم أسلوبين مختلفين في وقت واحد، يستخدم النظام أجزاءً "قابلة للتبديل" خاصة في دماغه؛ فهو يتشارك الأجزاء التي تتعامل مع الانتباه العام (مثل النظر إلى المشهد ككل) ولكنه يحتفظ بأجزاء منفصلة للمهام المحددة (مثل العد أو التلوين). علاوة على ذلك، فإن النظام ذكي فيما يتعلق بما يتدرب عليه: فهو يلاحظ المهارات التي لا يزال الطالب سيئاً فيها، ويقضي وقتاً أطول في التدريب عليها، بدلاً من إضاعة الوقت في أشياء يعرفها الطالب بالفعل.

النتائج مثيرة للإعجاب حقاً. فباستخدام هذه الطريقة، لم يتعلم النموذج الطالب الصغير أن يكون متوسط المستوى فحسب، بل أصبح في الواقع أفضل من كلا معلميه الضخمين في مهام محددة. في اختبار يسمى GenEval، والذي يتحقق مما إذا كان النموذج يتبع تعليمات معقدة مثل "قطة على يمين مضرب تنس"، قفزت درجة الطالب من 67.3 إلى 73.3، متفوقاً على معلمه الذي يمتلك 12 مليار معلمة ومعلمه الذي يمتلك 6 مليارات معلمة. وفي اختبار للجمال البصي والتفضيل البشري (HPSv3)، ارتفعت الدرجة من 9.34 إلى 11.35. وتشير الورقة البحثية إلى أن هذا النجاح يعود إلى نهج "السياسة المباشرة" (on-policy)، حيث يتعلم الطالب من أخطائه الخاصة التي يصححها المعلم، بدلاً من مجرد حفظ رسومات المعلم المثالية. وقد وجد الباحثون أنه إذا حاولوا إجبار الطالب على التعلم من البيانات الداخلية للمعلم مباشرة، فإن العملية تفشل بسبب عدم تطابق "اللغات". كما اكتشفوا أنه إذا لم يستخدموا الأجزاء القابلة للتبديل الخاصة، فإن المهارات ستتضارب، وسيسوء أداء النموذج. في النهاية، يظهر Poly-OPD أنه يمكنك بناء نموذج واحد صغير وقابل للتبديل، يمكنه التنقل بين كونه فناناً جميلاً ومهندساً دقيقاً، جامعاً بين أفضل ما في العالمين دون الحاجة إلى تشغيل حاسوبين ضخمين.

أبحاث مشابهة