27306 ورقة بحثية
تقترح هذه الورقة البحثية "المراجع العالمي الاتحادي" (FedGR)، وهي طريقة مبتكرة تستفيد من الذاكرة البطيئة المتأصلة في النموذج العالمي تجاه الملصقات الصاخبة لتصحيح ضجيج الملصقات وتنظيم التدريب المحلي بشكل تعاوني، مما يحقق متانة فائقة ضد ضجيج الملصقات غير المتجانس في التعلم الاتحادي مقارنة بالنماذج المرجعية الرائدة.
تقدم هذه الورقة البحثية "ضبط أهداف التفضيل" (PGT)، وهو إطار عمل لما بعد التدريب يعمل على مواءمة السياسات المشروطة بالأهداف والمجمدة مع تفضيلات المهام من خلال تحسين تضمينات أهداف كامنة مستمرة بدلاً من تحديث معاملات السياسة، مما يحقق أداءً فائقاً ومتانة أعلى مقارنة بكل من مطالبات الخبراء والضبط الدقيق الكامل على معيار Minecraft SkillForge.
تجادل هذه الورقة بأن النماذج اللغوية الكبيرة مدفوعة جزئياً بمعالجة المعلومات القائمة على التمثيل بدلاً من مجرد الحفظ، وتقترح تقنيات عملية لاستقصاء هذه التمثيلات لحل المآزق النظرية وفهم القدرات المعرفية لهذه الأنظمة بشكل أفضل.
تقدم هذه المساهمة نهجاً حتمياً من أسفل إلى أعلى لاستخلاص حدود الخطأ المعتمدة على المسافة في الشبكات العصبية الشريطية (spline neural networks)، بما في ذلك شبكات كولموغوروف-أرنولد، من خلال تحليل أخطاء الخلايا العصبية الفردية وانتشارها عبر التركيبات، مما يثبت سرعة وموثوقية متفوقتين مقارنة بالنماذج الاحتمالية المرجعية في تطبيقات مثل تقدير الشكل والملاحة الآمنة.
تُثبت هذه المقالة انتشار الفوضى وتوفر معدلات تقارب صريحة للحد ذي المجال المتوسط لنماذج "خليط الخبراء" (Mixture-of-Experts) المدربة عبر التدفق المتدرج، وذلك من خلال إثبات تقاربها التقاربي إلى معادلة استمرارية غير خطية وتطبيق هذه النتائج على الشبكات الكمومية العصبية.
تقدم هذه الورقة RAMEN، وهي خوارزمية تحقق تحديداً متيناً بشكل مزدوج لآثار العلاج من بيئات رصدية متعددة عبر الاستفطادة من فرضيات عدم التجانس والتباين دون الحاجة إلى معرفة الرسم البياني السببي الأساسي.
تقدم هذه الورقة البحثية DiffMI، وهو هجوم قلب نموذج (model inversion attack) جديد لا يتطلب تدريباً، يستفيد من نماذج الانتشار (diffusion models) لإعادة بناء الهويات الوجهية غير المرئية من التضمينات (embeddings) بكفاءة وأمانة، متفوقاً بشكل كبير على الأساليب الحالية القائمة على شبكات الخصومة التوليدية (GANs) في كل من معدل النجاح والقدرة على التكيف.
تقارن هذه الدراسة بين استراتيجيات الاستكشاف والاستغلال لنماذج اللغات الكبيرة، والبشر، والخوارزميات في مهام "المتعدد الأذرع" (multi-armed bandit)، وتجد أنه بينما يجعل تمكين "التفكير" نماذج اللغات الكبيرة أكثر شبهاً بالبشر في البيئات المستقرة، إلا أنها لا تزال تعاني لتحقيق القدرة البشرية على التكيف والاستكشاف الموجه في البيئات المعقدة وغير المستقرة.
يُعد TokenWeave نظاماً مبتكراً يحقق تداخلاً فعالاً بين الحوسبة والاتصال في عمليات الاستنتاج الموزعة للنماذج اللغوية الكبيرة ذات الدفعات الصغيرة، وذلك عبر دمج عملية RMSNorm مع اتصالات AllReduce باستخدام ميزات متخصصة في وحدات معالجة الرسومات، مما يقلل زمن الاستجابة ويزيد من معدل الإنتاجية حتى عندما يكون عدد الرموز لكل تكرار منخفضاً بقدر 1024 رمزاً.
تقدم هذه المساهمة RelSC، وهي مجموعة بيانات مرجعية مبتكرة لمهام الانحدار على الرسوم البيانية مستمدة من رسوم بيانية برمجية مع تسميات وقت التشغيل، والمتاحة في كل من نسختي الرسوم المتجانسة ومتعددة العلاقات لتقييم كيفية تأثير قرارات التمثيل الهيكلي على أداء النموذج.