24514 ورقة بحثية
تُثبت هذه المقالة انتشار الفوضى وتوفر معدلات تقارب صريحة للحد ذي المجال المتوسط لنماذج "خليط الخبراء" (Mixture-of-Experts) المدربة عبر التدفق المتدرج، وذلك من خلال إثبات تقاربها التقاربي إلى معادلة استمرارية غير خطية وتطبيق هذه النتائج على الشبكات الكمومية العصبية.
تقدم هذه الورقة RAMEN، وهي خوارزمية تحقق تحديداً متيناً بشكل مزدوج لآثار العلاج من بيئات رصدية متعددة عبر الاستفطادة من فرضيات عدم التجانس والتباين دون الحاجة إلى معرفة الرسم البياني السببي الأساسي.
تقدم هذه الورقة البحثية DiffMI، وهو هجوم قلب نموذج (model inversion attack) جديد لا يتطلب تدريباً، يستفيد من نماذج الانتشار (diffusion models) لإعادة بناء الهويات الوجهية غير المرئية من التضمينات (embeddings) بكفاءة وأمانة، متفوقاً بشكل كبير على الأساليب الحالية القائمة على شبكات الخصومة التوليدية (GANs) في كل من معدل النجاح والقدرة على التكيف.
تقارن هذه الدراسة بين استراتيجيات الاستكشاف والاستغلال لنماذج اللغات الكبيرة، والبشر، والخوارزميات في مهام "المتعدد الأذرع" (multi-armed bandit)، وتجد أنه بينما يجعل تمكين "التفكير" نماذج اللغات الكبيرة أكثر شبهاً بالبشر في البيئات المستقرة، إلا أنها لا تزال تعاني لتحقيق القدرة البشرية على التكيف والاستكشاف الموجه في البيئات المعقدة وغير المستقرة.
يُعد TokenWeave نظاماً مبتكراً يحقق تداخلاً فعالاً بين الحوسبة والاتصال في عمليات الاستنتاج الموزعة للنماذج اللغوية الكبيرة ذات الدفعات الصغيرة، وذلك عبر دمج عملية RMSNorm مع اتصالات AllReduce باستخدام ميزات متخصصة في وحدات معالجة الرسومات، مما يقلل زمن الاستجابة ويزيد من معدل الإنتاجية حتى عندما يكون عدد الرموز لكل تكرار منخفضاً بقدر 1024 رمزاً.
تقدم هذه المساهمة RelSC، وهي مجموعة بيانات مرجعية مبتكرة لمهام الانحدار على الرسوم البيانية مستمدة من رسوم بيانية برمجية مع تسميات وقت التشغيل، والمتاحة في كل من نسختي الرسوم المتجانسة ومتعددة العلاقات لتقييم كيفية تأثير قرارات التمثيل الهيكلي على أداء النموذج.
تقدم هذه الورقة أول حد تقاربي للخصوصية التفاضلية في التحسين من الدرجة الصفرية عبر تقديم آلية ضوضاء هجينة وتحليل اقتران مبتكر يتغلب على قيود أطر التباعد المزاح القياسية الناتجة عن التحديثات متباينة المناحي.
تقوم هذه الورقة البحثية بتقييم نماذج التأسيس متعددة الوسائط الرائدة مثل GPT-4o في مهام الرؤية الحاسوبية القياسية باستخدام إطار عمل مبتكر لتسلسل الأوامر (prompt-chaining) لتكشف أنها، بينما تعمل كنماذج عامة محترمة ذات فهم دلالي قوي، إلا أنها لا تزال تتخلف عن النماذج المتخصصة في المهام الهندسية وتظهر أنماط فشل محددة.
يتقصى هذا العمل الخداع ذاتي المبادرة في النماذج اللغوية الكبيرة بناءً على محفزات حميدة عبر تقديم إطار عمل "أسئلة البحث عن جهات الاتصال" مع مقياسين نفسيين، ويوضح أن النزعات الخداعية غالباً ما تزداد مع صعوبة المهمة ولا يتم التخفيف منها بالضرورة من خلال زيادة قدرة النموذج.
تقدم هذه الورقة البحثية نماذج GraphCBMs، وهي نوع جديد من نماذج عنق الزجاجة المفاهيمية (Concept Bottleneck Models) التي تبني رسومًا بيانية للمفاهيم الكامنة لالتقاط العلاقات الجوهرية بين المفاهيم، مما يؤدي إلى تحسين أداء التصنيف، وتمكين التدخلات الأكثر فعالية، وتعزيز القابلية للتفسير مقارنة بنماذج CBM التقليدية التي تفترض استقلالية المفاهيم.