23511 ورقة بحثية
تقدم هذه الورقة البحثية "توجيه التنشيط غير المؤلم" (Painless Activation Steering - PAS)، وهو أسلوب مؤتمت بالكامل وخفيف الوزن يقوم ببناء ناقلات التنشيط من مجموعات البيانات المصنفة دون تدخل بشري لتوجيه النماذج اللغوية الكبيرة بفعالية نحو السلوكيات المرغوبة، متفوقاً على التقنيات الحالية في القدرة على التحكم والكفاءة مع إظهار فعالية محددة للمهام الموجهة نحو السلوك.
تقترح هذه الورقة آلية توجيه متعددة الوسائط جديدة لا تتطلب تدريباً، تستفيد من تضمينات الوسائط لفرض محاذاة موحدة عبر الفيديو والصوت والنص، مما يؤدي إلى تحسين الجودة الإدراكية والتماسك الدلالي لتوليد الفيديو إلى صوت دون الحاجة إلى إعادة تدريب مكلفة.
تقدم هذه الورقة "نماذج المستشار" (Advisor Models)، وهي طريقة لتدريب نماذج صغيرة مفتوحة الأوزان لتوليد نصائح لغوية طبيعية ديناميكية لكل حالة على حدة، مما يعمل بفعالية على توجيه وتعزيز أداء النماذج اللغوية الكبيرة الأمامية غير القابلة للوصول (black-box) من خلال التحسين البارامتري دون تعديل أوزانها.
تقدم هذه الورقة البحثية "الاشتقاق التنازلي المتساوي" (Egalitarian Gradient Descent - EGD)، وهو تعديل بسيط يعمل على تطبيع التدرجات لضمان سرعة تطور موحدة عبر جميع الاتجاهات الرئيسية، مما يثبت نظرياً وتجريبياً أنه يسرع بشكل كبير أو يقضي تماماً على ظاهرة "الاستيعاب المفاجئ" (grokking) حيث يتحسن أداء التعميم فجأة بعد ركود طويل.
تقدم هذه الورقة البحثية نموذج G-GBM، وهو نموذج تعزيز التدرج البياني الاستقرائي (inductive graph gradient boosting machine) الذي يجمع بفعالية بين متانة تعزيز التدرج والميزات البيانية غير المتجانسة القابلة للتفسير ليتفوق على الأساليب الرائدة أو يضاهيها في كشف الاحتيال التأميني مع معالجة تحديات مثل عدم توازن الفئات والبيانات الديناميكية.
تقدم هذه الورقة استراتيجية "النمو المتعامد" التي تعيد تدوير نقاط فحص نماذج "خليط الخبراء" (Mixture-of-Experts) المتقاربة الموجودة عبر توسيع عمقها وعرضها، مما يثبت أن هذا النهج يتفوق بشكل كبير على التدريب من الصفر تحت ميزانية حوسبية متطابقة من خلال الاستفادة من "التكاليف الغارقة" السابقة لتحقيق دقة أعلى.
تقدم هذه الورقة إطار عمل Split-Client، وهو طريقة تحسين من الدرجة الثانية متكيفة مع التأخير تعمل على فك الارتباط بين حسابات التدرج والانحناء لتحقيق تسريع فائق في وقت التنفيذ الفعلي ومعدلات تقارب خالية من الضبط عبر مطابقة أداء Lazy Hessian الأمثل مع تقديم تقارب أسرع تحت ظروف هيكلية محددة.
تُثبت هذه الورقة أن نماذج المحولات ذات الدقة الثابتة هي بطبيعتها أكثر إيجازاً بشكل أسي من المنطق الزمني الخطي، والشبكات العصبية المتكررة، والأتمتة المحدودة، وهي خاصية تجعل مشكلات التحقق الأساسية مثل الفراغ والتكافؤ من فئة EXPSPACE-complete.
تقدم هذه الورقة دالات المجموع الرتيبة والقابلة للفصل (MAS) للحفاظ على ترتيب احتواء المجموع، وتضع حدوداً نظرية لوجودها وأبعادها، وتقترح نموذجاً عصبياً "ضعيف الـ MAS" مستقراً للمجموعات الأرضية اللانهائية، وتثبت فعاليتها في مهام احتواء المجموع من خلال كل من ضمانات التقريب الشامل والنتائج التجريبية.
يُعد SemanticOpt إطار عمل مبتكر يعزز النماذج اللغوية الكبيرة من أجل التحسين الدلالي للصندوق الأسود عبر ضبطها بدقة على مسارات بايزية مهيكلة ومثرية بسياق لغوي طبيعي، مما يمكنها من الاستفادة بفعالية من المعرفة بالمجال والتفوق على كل من المحسنات الكلاسيكية والمحسنات القائمة على النماذج اللغوية الكبيرة في السيناريوهات التجريبية المكلفة.