22999 ورقة بحثية
تجسّر هذه الورقة الفجوة النظرية في فهم الشبكات العصبية التلافيفية الخاضعة للإشراف في المسائل العكسية للتصوير من خلال اشتقاق صيغة تحليلية قابلة للتفسير لمُقدِّر متوسط الخطأ التربيعي الأدنى محلي التباين (LE-MMSE) الذي يدمج الانحيازات الاستقرائية للشبكات العصبية التلافيفية ويتنبأ بدقة بمخرجات الشبكة عبر مهام وبنيات متنوعة.
تكشف هذه الورقة أن النماذج اللغوية الكبيرة تظهر انحيازاً منهجياً للسلطة، حيث تصبح أكثر عرضة للتأييدات الخاطئة وتُظهر ثقة أعلى في الإجابات الخاطئة كلما زادت الخبرة المتصورة للمصدر، ولكنها تثبت أن هذا الانحياز مشفر ميكانيكياً ويمكن التخفيف من حدته من خلال التوجيه لتحسين الأداء حتى عندما يقدم الخبراء معلومات مضللة.
تقدم هذه الورقة FluidGym، وهي أول مجموعة اختبارات مستقلة، وقابلة للتفاضل بالكامل، ومعززة بمعالجات الرسوميات (GPU)، ومبنية بالكامل باستخدام PyTorch، لتوحيد معايير تقييم ومقارنة خوارزميات التعلم المعزز للتحكم النشط في التدفق واسع النطاق.
تحدد هذه الورقة المعدل الأمثل لـ "الندم البسيط" (simple regret) في سياق "المنافسة الدنيا-القصوى" (minimax optimal) لنطاقات اللوجستيك العشوائية، مبينةً أنه محكوم بمقلوب ميل دالة السجمويد عند الإجراء الأمثل، وتقترح خوارزميتين تدركان الانحناء تحققان هذا الحد عبر الاستفادة من الإجراءات ذات المكافآت المنخفضة والمعلوماتية.
تقدم هذه الورقة RankTuner، وهو إطار عمل للضبط الدقيق يستخدم إشارة معايرة احتمالية-إنتروبية مبتكرة تسمى مؤشر الرتبة النسبي لإعادة وزن الرموز ديناميكيًا، مما يحسن الاستدلال الرياضي، وتوليد الكود، ونقل المعرفة خارج نطاق التوزيع من خلال تركيز التحديثات على الرموز التي لم تُتعلم حقًا مع مراعاة عدم اليقين الجوهري.
تقترح الورقة البحثية إطار عمل ECHO، وهو إطار للتعلم التعزيزي في وقت الاختبار يجمع بين مقاييس الإنتروبيا والثقة للتحكم التكيفي في عمليات التدفق ذات الهيكل الشجري وتحسين تحديثات السياسة، مما يؤدي إلى منع انهيار التدفق وتخفيف الانحياز في المراحل المبكرة لتحسين أداء الاستدلال في ظل ميزانيات حوسبة محدودة.
تقدم الورقة البحثية MaskLAM، وهي طريقة تعمل على تحسين نماذج الأفعال الكامنة في ظل وجود مشتتات بصرية عبر قصر هدف إعادة البناء في مرحلة ما قبل التدريب على بكسلات العميل من خلال التجزئة صفرية المعرفة، مما يجبر النموذج على تعلم الديناميكيات التي يتحكم فيها العميل فقط دون الحاجة إلى تغييرات هيكلية إضافية أو تسميات للأفعال.
تقترح هذه الورقة "التعلم المستمر بمنطقة الثقة" (Trust Region Continual Learning)، وهي طريقة هجينة تجمع بين إعادة التشغيل التوليدي وقيود مقياس فيشر التي تعمل ضمنياً كمتعلم ميتا (meta-learner) لتمكين التقارب السريع مجدداً نحو الأمثليات السابقة للمهام والاحتفاظ المتفوق دون الحاجة إلى تحسين ثنائي المستوى صريح.
تثبت هذه الورقة رياضياً وتتحقق تجريبياً من أن التدريب المسبق المفرط يمكن أن يعيق حوسبياً عملية الضبط الدقيق باستخدام (LoRA) على نماذج المؤشر الواحد عن طريق إحداث مرحلة بحث مطولة، مما يكشف أن التدريب المسبق القوي لا يؤدي دائماً إلى تسريع التحسين اللاحق حتى عندما تكون المهام متوافقة تماماً.
تحدد هذه الورقة أن تقادم التدرج في التوازي الأنبوبي غير المتزامن يتفاقم بسبب عدم المحاذاة بين قاعدة متجهات القيم الذاتية لهيسيان (Hessian) ونظام الإحداثيات، وتقترح إطار عمل "تدوير القاعدة" لإعادة محاذاة هذه القواعد، مما يقلل بشكل كبير من دورات التدريب ويستعيد قابلية التوسع للتدريب الموزع واسع النطاق.