26236 ورقة بحثية
تجادل هذه الورقة بأن النماذج اللغوية الكبيرة مدفوعة جزئياً بمعالجة المعلومات القائمة على التمثيل بدلاً من مجرد الحفظ، وتقترح تقنيات عملية لاستقصاء هذه التمثيلات لحل المآزق النظرية وفهم القدرات المعرفية لهذه الأنظمة بشكل أفضل.
تقدم هذه المساهمة نهجاً حتمياً من أسفل إلى أعلى لاستخلاص حدود الخطأ المعتمدة على المسافة في الشبكات العصبية الشريطية (spline neural networks)، بما في ذلك شبكات كولموغوروف-أرنولد، من خلال تحليل أخطاء الخلايا العصبية الفردية وانتشارها عبر التركيبات، مما يثبت سرعة وموثوقية متفوقتين مقارنة بالنماذج الاحتمالية المرجعية في تطبيقات مثل تقدير الشكل والملاحة الآمنة.
تُثبت هذه المقالة انتشار الفوضى وتوفر معدلات تقارب صريحة للحد ذي المجال المتوسط لنماذج "خليط الخبراء" (Mixture-of-Experts) المدربة عبر التدفق المتدرج، وذلك من خلال إثبات تقاربها التقاربي إلى معادلة استمرارية غير خطية وتطبيق هذه النتائج على الشبكات الكمومية العصبية.
تقدم هذه الورقة RAMEN، وهي خوارزمية تحقق تحديداً متيناً بشكل مزدوج لآثار العلاج من بيئات رصدية متعددة عبر الاستفطادة من فرضيات عدم التجانس والتباين دون الحاجة إلى معرفة الرسم البياني السببي الأساسي.
تقدم هذه الورقة البحثية DiffMI، وهو هجوم قلب نموذج (model inversion attack) جديد لا يتطلب تدريباً، يستفيد من نماذج الانتشار (diffusion models) لإعادة بناء الهويات الوجهية غير المرئية من التضمينات (embeddings) بكفاءة وأمانة، متفوقاً بشكل كبير على الأساليب الحالية القائمة على شبكات الخصومة التوليدية (GANs) في كل من معدل النجاح والقدرة على التكيف.
تقارن هذه الدراسة بين استراتيجيات الاستكشاف والاستغلال لنماذج اللغات الكبيرة، والبشر، والخوارزميات في مهام "المتعدد الأذرع" (multi-armed bandit)، وتجد أنه بينما يجعل تمكين "التفكير" نماذج اللغات الكبيرة أكثر شبهاً بالبشر في البيئات المستقرة، إلا أنها لا تزال تعاني لتحقيق القدرة البشرية على التكيف والاستكشاف الموجه في البيئات المعقدة وغير المستقرة.
يُعد TokenWeave نظاماً مبتكراً يحقق تداخلاً فعالاً بين الحوسبة والاتصال في عمليات الاستنتاج الموزعة للنماذج اللغوية الكبيرة ذات الدفعات الصغيرة، وذلك عبر دمج عملية RMSNorm مع اتصالات AllReduce باستخدام ميزات متخصصة في وحدات معالجة الرسومات، مما يقلل زمن الاستجابة ويزيد من معدل الإنتاجية حتى عندما يكون عدد الرموز لكل تكرار منخفضاً بقدر 1024 رمزاً.
تقدم هذه المساهمة RelSC، وهي مجموعة بيانات مرجعية مبتكرة لمهام الانحدار على الرسوم البيانية مستمدة من رسوم بيانية برمجية مع تسميات وقت التشغيل، والمتاحة في كل من نسختي الرسوم المتجانسة ومتعددة العلاقات لتقييم كيفية تأثير قرارات التمثيل الهيكلي على أداء النموذج.
تقدم هذه الورقة أول حد تقاربي للخصوصية التفاضلية في التحسين من الدرجة الصفرية عبر تقديم آلية ضوضاء هجينة وتحليل اقتران مبتكر يتغلب على قيود أطر التباعد المزاح القياسية الناتجة عن التحديثات متباينة المناحي.
تقوم هذه الورقة البحثية بتقييم نماذج التأسيس متعددة الوسائط الرائدة مثل GPT-4o في مهام الرؤية الحاسوبية القياسية باستخدام إطار عمل مبتكر لتسلسل الأوامر (prompt-chaining) لتكشف أنها، بينما تعمل كنماذج عامة محترمة ذات فهم دلالي قوي، إلا أنها لا تزال تتخلف عن النماذج المتخصصة في المهام الهندسية وتظهر أنماط فشل محددة.