23088 ورقة بحثية
تقدم الورقة البحثية تقنية "توجيه الانتباه الموجه بالمتشعب" (MAGS)، وهي تدخلٌ أثناء الاستدلال يعتمد على تتبع المسار، يعمل ديناميكيًا على تصحيح أخطاء الاستدلال في النماذج اللغوية الكبيرة عبر إسقاط تنشيطات رؤوس الانتباه مرة أخرى على متشعب صحة مُتعلم منخفض الأبعاد عند اكتشاف انحرافات، مما يجعلها تتفوق على طرق التوجيه الثابتة عبر اختبارات معايير الرياضيات، والبرمجة، والتوليد الجزيئي.
تقترح هذه الورقة إطار عمل "باك-بيزي" (PAC-Bayesian) للتكيف وقت الاختبار، يفسر كرات "التباعد الأقصى للمتوسط" (MMD) كأطقم اعتقادية لاستخلاص حدود تعميم تعتمد صراحة على مقدار انزياح التوزيع، مما يوفر طريقة منهجية لتقدير عدم اليقين المعرفي وتوجيه قرارات التكيف.
تقدم الورقة البحثية DivSkill-SQL، وهو إطار عمل لتحسين المهارات المتبقية يقوم ببناء مجموعات متكاملة من نماذج (Text-to-SQL) عبر تدريب مهارات جديدة بشكل تكراري على الإخفاقات السابقة دون ضبط دقيق للنموذج، مما يؤدي إلى تحسين دقة Pass@K بشكل كبير وتقليل الهلوسة عبر مختلف لهجات SQL والمهام.
تقدم الورقة البحثية **stable-worldmodel (swm)**، وهي منصة مفتوحة المصدر مصممة لتوحيد وتوحيد معايير أبحاث نمذجة العالم من خلال توفير طبقة بيانات عالية الأداء، وتطبيقات أساسية قابلة لإعادة الإنتاج، واختبارات تعميم منهجية للتغلب على تحديات التجزئة وقابلية إعادة الإنتاج الحالية.
تحدد هذه الورقة فجوات متباينة القياس ومعايرة حرجة في مقدرات عدم اليقين القائمة على الإنتروبيا للنماذج اللغوية الكبيرة في مرحلة ما بعد التدريب، وتقترح "تحسين السياسة المعاير المعتمد على الهندسة" (GCPO)، وهو إطار عمل مبتكر يدمج مقاييس مدركة للهندسة ومعايرة قائمة على المكافأة لتتبع تباين التدرج بشكل أكثر دقة وتحسين استقرار التحسين.
تُثبت هذه الورقة أن اختيار المُحسِّن يغير بشكل جوهري قوانين القياس الطيفي لنماذج المحولات (Transformer)، كاشفةً أن مُحسِّنات مثل Muon يمكنها تحقيق استفادة أفضل بكثير من السعة الطيفية في الأنماط الصعبة التعلم مقارنة بـ AdamW، مما يجعل من عملية التحسين محوراً حرجاً ومستقلاً لنمو التمثيل يضاهي في أهميته التصميم المعماري.
تقدم هذه الورقة البحثية تقدير الكثافة الرمزية (SDE)، وهو إطار عمل غير مُوجّه يكتشف تلقائياً دوال كتلة احتمالية ذات صيغ مغلقة وقابلة للتفسير للتوزيعات المنفصلة من خلال الجمع بين الأولويات الخاصة بالمجال والبحث التطوري، وقد تم التحقق من صحته عبر مجموعة بيانات معيارية جديدة وتطبيقات واقعية تظهر تحسناً في ملاءمة النموذج.
تقدم هذه الورقة البحثية تدريب الاتساق على السياسة (On-Policy Consistency Training - OPCT)، وهو أسلوب محاذاة مبتكر يحسن بشكل كبير من سلامة النماذج اللغوية الكبيرة ضد التملق والاختراقات، مع تجنب تدهور القدرات وضعف التعميم الذي تسببه عادةً أساليب الضبط الدقيق الخاضعة للإشراف غير المتصلة (offline) التقليدية.
تقدم هذه الورقة انتباه البوابة الطاقية (EGA)، وهو تعديل فعال من حيث المعلمات لنماذج المحولات يقوم ببوابة تجميع القيم بناءً على الطاقة الطيفية المتعلمة لتضمينات الرموز لإعطاء الأولوية للرموز ذات الكثافة المعلوماتية، محققاً تحسينات متسقة في خسارة التحقق على معايير النمذجة اللغوية، مع الكشف عن أن عتبات الطاقة المثلى تتوافق مع الجزء المستقر من كلمات المحتوى في النصوص الإنجليزية.
تتناول هذه الورقة تحدي الاكتشاف السببي في نماذج المتجهات ذات الانحدار الذاتي الهيكلية الغاوسية الخطية ذات تباين الضجيج المتساوي من خلال إرساء إطار نظري للتكافؤ الرصدي واقتراح خوارزمية ENVAR، وهي خوارزمية قائمة على التناثر تحدد رسماً بيانياً سببياً ممثلاً ضمن فئة التكافؤ، والتي تم التحقق من صحتها باستخدام كل من البيانات الاصطناعية وبيانات التصوير بالرنين المغناطيسي الوظيفي (fMRI).