24235 ورقة بحثية
تحدد هذه الورقة عدم الكفاءة الاجتماعية في أسواق نماذج اللغات الكبيرة كخدمة (LLM-as-a-service) حيث يتم تحفيز المزودين على الإفراط في استخدام الحوسبة المكلفة أثناء وقت الاختبار، وتقترح آلية مزاد عكسي من السعر الثاني لمواءمة التسعير مع القيمة الحدية، وهو ما تم التحقق منه من خلال تجارب على عائلات نماذج مختلفة عبر معايير الرياضيات والعلوم.
تقدم هذه الورقة إطار عمل لـ "مونت كارلو" المتسلسل القائم على الانتشار، والذي يقدر بكفاءة درجات وكثافات التوزيعات المستهدفة عبر تطوير متغيرات مساعدة على طول مسارات الانتشار، معززاً بمتغيرات تحكم لتقليل التباين، وتم التحقق من صحته عبر عمليات عشوائية ومجموعات بيانات متنوعة.
تقدم الورقة البحثية ESSAM، وهو إطار عمل لضبط المعلمات الكامل بكفاءة في استهلاك الذاكرة يجمع بين استراتيجيات التطور والتعظيم الواعي بالحدة لتحقيق أداء تنافسي في الاستدلال الرياضي على النماذج اللغوية الكبيرة مع تقليل استخدام ذاكرة وحدة معالجة الرسومات بشكل كبير مقارنة بطرق التعلم المعزز التقليدية مثل PPO وGRPO.
تقدم هذه الورقة البحثية CGF-Softmax، وهي إعادة صياغة مبتكرة لدالة softmax باستخدام دالة التوليد التراكمي التي تلغي عمليات القسمة المتجانسة وطرح الحد الأقصى المكلفة، مما يتيح استدلالاً فعالاً ودقيقاً يحافظ على الخصوصية لنماذج المحولات (transformer) تحت التشفير المتجانس مع تقليل العمق الضربي بشكل كبير.
تقدم هذه الورقة إطاراً نظرياً يوضح أن ضجيج الدفعات الصغيرة (mini-batch noise) يغير بشكل جوهري الانحياز الضمني لمعلمات الزخم في خوارزمية "آدم" (Adam)، كاشفةً أنه في حين أن التكوين القياسي يكون مثالياً للدفعات الصغيرة، فإن الدفعات الأكبر تتطلب تعديل ليكون أقرب إلى لتجنب التنظيم العكسي (anti-regularization) وتحسين التعميم.
تقدم هذه الورقة التنبؤ التوافقي البايزي (BCP)، وهو إطار عمل يصيغ التنبؤ التوافقي كمسألة تحسين لمخاطر القرار لتوليد مجموعات تنبؤ ذات كثافة احتمالية قصوى، قد تكون منفصلة وفعالة، مع ضمانات تغطية للعينات المحدودة، حتى في ظل عدم ملاءمة النموذج.
تقترح الورقة البحثية إطار عمل CaRE، وهو إطار تعلم مستمر قابل للتوسع يستخدم آلية خليط من الخبراء (Mixture-of-Experts) ذات توجيه ثنائي المستوى للتعامل بفعالية مع تسلسلات مهام طويلة للغاية تتجاوز 300 مهمة، مصحوباً بتقديم مجموعة بيانات OmniBenchmark-1K الصعبة للتقييم.
تُظهر هذه الورقة أن الشبكة العصبية المتكررة المدربة على التنبؤ بالرموز المتسلسلة في المشاهد ثنائية الأبعاد تطور تلقائياً آليات التكامل المساري وربط موقع الكائن الديناميكي، مما يُمكّن من التعلم المرن ضمن السياق والتنبؤ القوي بالمشاهد الجديدة.
تقدم هذه الورقة ميزات المانيفولد العشوائية (MRFs)، وهي نموذج جديد يستفيد من التجزئة المانيفولدية وميزات الرسم البياني العشوائية لتوليد تقريبات موجبة، ومحدودة، ومتصلة للدوال ثنائية المتغيرات على المانيفولدات العامة، مع إرساء صلة نظرية عميقة بين الميزات العشوائية المنفصلة والمتصلة وتبسيط تقريبات نواة غاوس لتطبيقات مثل محولات الانتباه الخطي (linear-attention Transformers).
تستنتج هذه الورقة نظرياً وتتحقق من صحة جداول معدل التعلم المثلى لنماذج الميزات العشوائية باستخدام نظرية التحكم الأمثل، حيث تحدد مراحل تدريب "سهلة" و"صعبة" متميزة تملي ما إذا كانت استراتيجيات التحلل متعدد الحدود أو استراتيجيات الإحماء-الاستقرار-التحلل تحقق أداءً فائقاً مقارنة بالمعايير المرجعية القياسية.