25186 ورقة بحثية
تقارن هذه الدراسة بين تقنية تقطير الطبقة الخفية (Hidden Layer Distillation) والأساليب القائمة على اللوجيت (logit-based methods) في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة، وتجد أنه بينما تعمل باستمرار على تحسين مستوى الحيرة (perplexity)، إلا أنها لا تتفوق بشكل موثوق على التقطير المعرفي القياسي في المهام اللاحقة، مما يشير إلى الحاجة إلى مزيد من الاختراقات للاستفادة الكاملة من إشارات التمثيل الوسيط.
تحدد هذه الورقة أن الضبط الدقيق الخاضع للإشراف القياسي لمحاكيات المستخدم يؤدي إلى انحياز الاستشراف المسبق ويتسبب في "انهيار القدرة على التحكم" تحت تأثير تحولات السياسة، وتقترح إطار عمل للاستدلال السببي مع تدابير تخفيف تدريبية محددة لاستعادة الاتساق السببي وتمكين التقييم القوي وغير المنحاز للوكلاء الحواريين.
تقدم هذه الورقة البحثية طريقة "Covariance-Aware GRPO"، وهي طريقة خالية من المعلمات الفائقة تعمل على استقرار التدريب وتحسين أداء الاستنتاج من خلال تقليل وزن تحديثات الرموز (tokens) المتطرفة ديناميكيًا عبر إعادة وزن الميزة باستخدام نواة غاوسية بناءً على التباين بين احتمالات الرموز والمزايا.
تقدم هذه الورقة SharpEuler، وهو أداة عينات لمطابقة التدفق (flow matching) لا تتطلب تدريباً، تعمل على تحسين كفاءة الاستدلال من خلال تخصيص خطوات التكامل بشكل تكيفي للمناطق ذات الحدة العالية في حقل السرعة، مما يؤدي إلى تحسين جودة العينات وتغطية الأنماط دون زيادة عدد تقييمات النموذج.
تحل هذه الورقة التناقضات في النتائج التجريبية حول كيفية تعامل النماذج اللغوية الكبيرة مع التناقضات بين معرفة التدريب والمستندات المقدمة من خلال اقتراح والتحقق من إطار عمل ثلاثي الأنظمة يميز بين التحديث أحادي المصدر، والتكامل التنافسي، والاختيار المناسب للمهمة، مبرهنةً على أن سلوك النموذج محكوم بشكل يمكن التنبؤ به باتساق الأدلة، واليقين البارامتري، ومتطلبات صياغة المهمة.
تقدم هذه الورقة EpiCastBench، وهو إطار عمل شامل للتقييم المرجعي يتميز بـ 40 مجموعة بيانات وبائية متعددة المتغيرات منسقة وبروتوكولات تقييم معيارية لتسهيل المقارنة الصارمة والتقدم لمختلف نماذج التنبؤ من أجل اتخاذ القرارات المتعلقة بالصحة العامة.
تقدم هذه الورقة البحثية "التوجيه الواعي بالبيئة" (GAR)، وهو إطار عمل للتحسين متعدد الأهداف المقيد يعمل على تقليل انبعاثات ثاني أكسيد الكربون لعمليات استنتاج النماذج اللغوية الكبيرة (LLM) من خلال توجيه الطلبات ديناميكيًا إلى نماذج غير متجانسة مع الالتزام الصارم بأهداف مستوى الخدمة المتعلقة بالدقة وزمن الاستج</strong>استجابة.
تقدم هذه الورقة إطار عمل متكامل لنموذج المربعات الصغرى الجزئية الاحتمالية يتغلب على اختناقات التحسين الحالية من خلال الجمع بين تقدير فضاء الضجيج الفرعي وتحسين "متعدد ستيفل" الدقيق، محققاً تقارباً مثالياً في الحد الأدنى والحد الأقصى (minimax-optimal)، ومعايرة عدم يقين ذات صيغة مغلقة، وأداءً تنبؤياً فائقاً في اختبارات البيانات متعددة الأوميكس.
تقدم هذه الورقة البحثية "التفكير كفء الميزانية" (BET)، وهو إطار عمل ثنائي المراحل يعمل على تحسين حسابات وقت الاختبار لنماذج الاستدلال الكبيرة من خلال تعلم تخصيص الميزانيات ديناميكيًا بناءً على العوائد المتوقعة بدلاً من الصعوبة المتصورة، مما يحقق تقليلاً كبيراً في عدد الرموز (tokens) مع تحسين الأداء من خلال سلوكيات "الحل القصير"، و"الطي اللطيف"، و"نداء البطل" التكيفية.
يُعد Seirênes إطار عمل للتعلم التعزيزي القائم على اللعب الذاتي التنافسي، والذي يعزز متانة الاستنتاج في النماذج اللغوية الكبيرة عبر تدريب نموذج واحد على توليد سياقات مشتتة وحل المشكلات ضمنها في آن واحد، مما يحول التداخل السياقي إلى منهج تعليمي تطوري مشترك يعمل على تحسين الأداء عبر مختلف المعايير المرجعية وكشف نقاط الضعف في النماذج الأخرى.