23609 ورقة بحثية
تتناول هذه الورقة أوجه القصور في حدود الخصوصية الفضفاضة والمتباعدة الموجودة حالياً في التعلم الاتحادي مع الخصوصية التفاضلية من خلال توظيف تحليل -DP وتقنيات الاستيفاء المزاح لإثبات أن خوارزمية Noisy-FedAvg تحقق حداً تقاربياً وثيقاً للخصوصية، بينما تحافظ خوارزمية Noisy-FedProx على حد أدنى ثابت ومستقر، مما يؤسس قاعدة نظرية متينة لموثوقية تدريب التعلم الاتحادي ذي الخصوصية التفاضلية طويل الأمد.
تقترح الورقة البحثية Stylus، وهو إطار عمل لا يتطلب تدريباً يعيد توظيف نماذج انتشار الصور المدربة مسبقاً لتحقيق نقل نمط موسيقي عالي الدقة على المخططات الطيفية لـ "ميل" (Mel-spectrograms) عبر التلاعب بآليات الانتباه الذاتي واستخدام إعادة بناء حافظة للطور، متفوقاً بذلك على الأساليب الحالية ذات الصفر من التدريب (zero-shot) في كل من الحفاظ على المحتوى والجودة الإدراكية.
تثبت هذه الورقة أن نماذج المحولات (transformers) يمكنها استكمال البيانات المحدودة من متواليات المدخلات والمخرجات في بدقة عبر بناء نموذج ذي تعقيد مستقل عن طول المدخلات، وذلك باستخدام طبقات متبادلة وآليات انتباه منخفضة الرتبة لتوفير ضمانات نظرية لمهام تعلم تسلسل إلى تسلسل.
تُقيّم هذه الدراسة ستة نماذج متطورة لمراقبة الأرض متعددة المصادر لتكشف أن متانتها تجاه البيانات المفقودة تعتمد على طبيعة المهمة، وتكامل المصادر، وتصميم النموذج، بينما تتحدى الافتراض القائل بأن استخدام جميع البيانات المتاحة يحسن الأداء دائمًا.
تُعد VIPO خوارزمية جديدة للتعلم التعزيزي غير المتصل القائم على النموذج، تعمل على تعزيز دقة النموذج وتحقيق أداء رائد من خلال دمج التغذية الراجعة ذاتية الإشراف لمعاقبة عدم الاتساق بين تقديرات القيمة المستمدة من البيانات غير المتصلة وتلك التي يتنبأ بها النموذج المتعلم.
تقترح الورقة البحثية إطار العمل A³، وهو إطار تقريب منخفض الرتبة لما بعد التدريب يعمل تحليلياً على تقليص الأبعاد الخفية لمكونات المحولات (QK وOV وMLP) لتقليل الفقد الوظيفي، مما يحقق ضغطاً وأداءً فائقين مع عدم وجود أي عبء تشغيلي مقارنة بالطرق الحالية.
تعمم هذه الورقة البحثية خوارزمية تقريبية من مرحلتين لاستخراج أفضل عنصر (Top-K) عبر اختيار أفضل عنصر لكل قسم بدلاً من اختيار أفضل عنصر واحد فقط، مما يوفر حداً نظرياً أدق للاستدعاء (recall) ويحقق تسريعاً بمقدار رتبة عشرية على Cloud TPUv5e مع الحفاظ على نفس الاستدعاء المتوقع.
يقدم MaskPro إطاراً احتمالياً جديداً ذا مساحة خطية يتعلم التوزيعات الفئوية لتوليد تخلخل (N:M) بكفاءة في النماذج اللغوية الكبيرة عبر أخذ عينات N-way بدون استبدال، مع استخدام متوسط متحرك لبواقي الخسارة لاستقرار التدريب وتحقيق كفاءة فائقة في الذاكرة ومتانة مقارنة بالطرق الحالية القائمة على الجشع أو التدرج.
تقدم هذه الورقة "مجدول إزالة القناع بالتوسع" (DUS)، وهو أسلوب مخصص للاستدلال فقط يقوم بتقسيم مواضع التسلسل إلى مجموعات غير متجاورة لإزالة القناع بشكل متوازٍ لتقليل كسب الإنتروبيا المشتركة، مما يحقق تسريعًا في توليد النصوص يصل إلى 5.8 ضعفًا في نماذج اللغة ذات الانتشار المقنع دون المساس بالجودة أو تعديل المُنقي الأساسي.
يُعد LoRA-Mixer إطار عمل معياري لخليط من الخبراء (Mixture-of-Experts) يعمل على تعزيز التكيف متعدد المهام عبر توجيه خبراء LoRA المخصصين لكل مهمة إلى طبقات إسقاط الانتباه واستخدام فقد تخصص التوجيه التكيفي (Routing Specialization Loss)، محققاً أداءً فائقاً وكفاءة في المعلمات عبر مختلف الاختبارات المرجعية مقارنة بالنماذج المرجعية المتطورة.