22999 ورقة بحثية
تستخدم هذه الورقة تحليلاً مستوحى من الاستدلال السببي للكشف عن أن التعميم غير المتسق لطرق تحسين الأوامر المؤتمتة ينبع من تفاعلات منهجية بين أنماط تعديل محددة (مثل التعديلات التي تزيد من التعقيد) وخصائص المهام، بدلاً من كونه ناتجاً عن عشوائية في عملية التحسين.
يُعد WINDQuant إطار عمل يعتمد على التعلم المعزز يعمل على تحسين التكميم العالمي مختلط الدقة للنماذج اللغوية الكبيرة من خلال تخصيص عروض بت دقيقة ديناميكياً لكتل الأعمدة، مما يوازن بفعالية بين قيود الذاكرة ذات البتات المنخفضة للغاية مع الحد الأدنى من تدهور الدقة دون الحاجة إلى إعادة تدريب مكلفة.
تقدم هذه الورقة MemFail، وهو معيار تشخيصي يفكك أنظمة ذاكرة النماذج اللغوية الكبيرة إلى عمليات التلخيص، والتخزين، والاسترجاع لعزل وتقييم أوضاع فشل محددة، متجاوزاً بذلك مقاييس الدقة الإجمالية لتقديم رؤى دقيقة حول مفاضلات تصميم النظام.
تقدم الورقة البحثية SILO، وهو إطار عمل للتقليد ذاتي التحسين على مستوى المسار يجمع بين سياسات التحرير الهرمية، والبحث الشعاعي العشوائي، ودرجة لياقة مسح الألانين لتحقيق تحسين فائق لتسلسل البروتين في ظل ميزانيات أوراكل ضيقة مقارنة بالنماذج المرجعية القائمة على التعلم المعزز والنماذج التوليدية.
توسع هذه الورقة مفاهيم المعايرة (calibration) والمعايرة التوافقية (calibeating) من قواعد التسجيل التربيعية إلى الفئة الأوسع من قواعد التسجيل الملائمة، حيث تؤسس علاقاتهما النظرية، وتوفر طرقاً لضمان المعايرة التوافقية الملائمة، وتثبت تكافؤهما مع اتخاذ القرار الشامل الذي لا يندم (universal no-regret decision-making).
تثبت هذه الورقة نظرياً أن نماذج المحولات (transformers) يمكنها تقريب التوزيعات التنبؤية اللاحقة في سياقها عبر تنفيذ خوارزميات الانحدار الاشتقاقي لنموذج العملية الغاوسية، مع تحليل كيفية تأثير الخيارات الهيكلية مثل التطبيع وعمق الانتباه على قدراتها على الاستقراء وحدود الخطأ.
تقترح الورقة البحثية إطار عمل APEX، الذي يعمل على تحسين التنبؤ بمجال الموجات ذات التردد الأعلى في ظل ندرة الإشراف المستهدف عبر الاستفادة من سعة مُعامل عصبي ذي تردد أدنى كمرساة هيكلية، ومُعزز مطابقة تدفق شرطي موجه بمرجع طوري لإعادة بناء التفاصيل التذبذبية المفقودة.
تقدم الورقة البحثية STARS، وهو إطار تدريب يعمل على تثبيت الديناميكيات المتكررة في النماذج اللغوية الحلقية (Looped Language Models) عبر تقييد الحالات الكامنة بنقاط ثابتة مستقرة تقاربيًا من خلال تنظيم نصف قطر الطيف لجاكوبي (Jacobian Spectral Radius Regularization)، مما يتيح توسيع النطاق الموثوق أثناء وقت الاختبار وتحسين الأداء في مهام الاستدلال المعقدة.
تقدم هذه الورقة بدائل تعلم آلي تقرب بدقة وكفاءة تكاليف مسارات الدفع المنخفض والقدرة على الوصول من خلال الاستفيد من قانون قياس وتحويل متشابه ذاتياً للتعميم عبر بيئات مدارية متنوعة دون الحاجة إلى إعادة التدريب.
تقدم هذه الورقة نموذج "المحول المتكرر الكامن" (LRT)، وهو بنية خفيفة الوزن تعزز النماذج ذات التوليد الذاتي عبر إعادة استخدام الحالات الخفية عالية المستوى كذاكرة متكررة دون زيادة عمق الاستدلال، وتقترح استراتيجية تدريب متوازية متداخلة لزيادة نطاق هذا النهج بكفاءة، مما يؤدي إلى تحسين أداء نمذجة اللغة والتعلم في السياق مع حد أدنى من الزيادة في عدد المعلمات.