23697 ورقة بحثية
تقدم هذه الورقة أول ضمانات نظرية بأن النماذج التوليدية القائمة على الدرجة المتكافئة (equivariant score-based generative models) تتعلم التوزيعات المتماثلة بكفاءة، وذلك من خلال إثبات أن دمج الانحياز الاستقرائي المتكافئ يؤدي إلى حدود تعميم متفوقة ويلغي الحاجة إلى تعزيز البيانات مقارنة بالنهج غير المتكافئ.
تقدم هذه الورقة مؤشراً وظيفياً جديداً وموضوعياً قائماً على الشكل، مستخلصاً من بيانات المستشعرات القابلة للارتداء وتحليل المكونات الرئيسية القائم على الشكل، والذي يتتبع بفعالية الوظيفة الحركية لدى الأطفال ويرتبط بالمؤشرات السريرية في الأطفال المصابين باضطرابات عصبية عضلية مثل ضمور العضلات الدوقي (DMD) وضمور العضلات الشوكي (SMA)، مما يقدم أداة واعدة للمراقبة الطولية المنزلية.
تُثبت هذه الورقة أن هدف الترتيب (المزدوج مقابل النقطي) هو المحدد الرئيسي لجودة المحاذاة في خوارزميات المحاذاة المباشرة، متفوقاً على الدرجة القياسية المحددة التي يتم تحسينها أو تكوين مرحلة التدريب، وذلك عند تقييمه ضمن إطار موحد يوحد مراحل الضبط الدقيق الموجه (SFT) والمعلمات الفائقة.
تقدم هذه الورقة DP-GIBO، وهو إطار عمل محلي للتحسين البايزي ذو خصوصية تفاضلية يستخدم نماذج بديلة من العمليات الغاوسية لتقريب التدرجات بخصوصية، مما يتيح ضبط المعلمات الفائقة بشكل فعال وقابل للتوسع في المساحات عالية الأبعاد مع التفوق على طرق البحث العشوائي الخاص والتحسين البايزي العالمي الحالية.
تقدم هذه الورقة البحثية نموذج OrderFusion، وهو نموذج تنبؤ احتمالي شامل المعلمات وفعال من حيث عدد المعلمات، يستخدم منهجية دمج أوامر مبتكرة لالتقاط هيكل التفاعل الكامل لدفاتر طلبات الكهرباء المستمرة خلال اليوم، مما يجعله يتفوق على النماذج المرجعية التقليدية في التنبؤ بالأسعار عبر ظروف سيولة السوق المتغيرة مع ضمان تقديرات كمية غير متقاطعة.
تثبت هذه الورقة نظرياً أن نماذج "ترانسفورمر" (Transformers) أحادية الطبقة وثنائية الرؤوس يمكنها تعلم دالات "إكس أور" (XOR) المتفرقة باستخدام معاملات لوغاريتمية متعددة فقط، مما يتغلب على عقبة المعاملات الخطية في الشبكات العصبية ذات التغذية الأمامية عبر الاستفادة من آلية "softmax attention" الدقيقة للاكتشاف السريع للميزات والتعميم القوي.
تقترح هذه الورقة نموذجاً إحصائياً هرمياً يستفيد من توليدات متعددة لمعالجة تباين أخذ العينات في تقييم النماذج اللغوية الكبيرة، مما يؤدي إلى تحسين دقة الدرجات، وتمكين تحليل دقيق لصعوبة مستوى المطالبة، وتسهيل ضبط جودة المعايير من خلال تصور البيانات.
تتقصى هذه الورقة تحديات صياغة الأوامر (prompting) من خلال تأطيرها كعملية بحث عن تسلسلات التكييف المثلى في متنبئات التسلسل، كاشفةً من خلال تجارب منضبطة وتحليل للنماذج الرائدة أن الأوامر المثلى غالباً ما تكون غير بديهية، ويصعب تحديدها حتى مع البحث الشامل، وغالباً ما تكون دون المستوى الأمثل عند استخدام الطرق القياسية القائمة على الأمثلة.
مستلهماً من نهج "Rainbow" لخوارزمية "DQN"، تقدم هذه الورقة "Simulus"، وهو وكيل نموذج عالم معياري يجمع بين مرونة التجزئة (tokenization)، والتحفيز الجوهري، وإعادة التشغيل ذات الأولوية، والتحويل من الانحدار إلى التصنيف لتحقيق كفاءة عينة هي الأفضل في فئتها عبر مختلف معايير التعلم المعزز البصرية، والمستمرة، والرمزية.
تؤسس هذه الورقة لأساس نظري لتكميم ذاكرة التخزين المؤقت (KV-cache) متعدد الدقة في النماذج اللغوية الكبيرة من خلال إثبات أن إعطاء الأولوية لدقة أعلى للمفاتيح (keys) على القيم (values) يقلل بصرامة من خطأ التكميم ويحافظ على الدقة، مما يحول تخصيص البتات من ضبط تجريبي إلى مبدأ تصميم مدفوع بالهندسة.