11750 ورقة بحثية
يُعد EvolveRouter إطار عمل قابل للتدريب يعمل على تعزيز الإجابة على الأسئلة متعددة الوكلاء من خلال التطور المشترك لمطالبات الوكلاء واستراتيجيات التوجيه عبر عملية صقل ذاتية الحلقة وآلية تعاون تكيفية، مما يجعله يتفوق على النماذج المرجعية المتطورة في كل من الدقة والكفاءة.
تقدم الورقة البحثية CovQValue، وهو أسلوب تخطيط مدفوع بالفضول يعامل بنية فروع الكود كبيئة مجهولة ويستخدم قيم Q المقدرة بواسطة النماذج اللغوية الكبيرة (LLMs) لاختيار خطط توليد اختبارات غنية بالمعلومات، متفوقاً بشكل كبير على النهج الجشع في تحقيق تغطية فروع أعلى في كل من المعايسات الحالية والمقترحة حديثاً.
تقدم هذه الورقة "متن المقابلات النوعية" (Qualitative Interview Corpus) لتقييم عشرة مقاييس مقترحة لجودة الاستجابة في المقابلات تجريبياً، كاشفةً أن الارتباط المباشر بأسئلة البحث هو أقوى مؤشر على مساهمة الاستجابة في نتائج الدراسة، في حين أن مقاييس معالجة اللغات الطبيعية الشائعة مثل الوضوح والإخبارية القائمة على المفاجأة ليست كذلك.
تقدم هذه الورقة خوارزمية تدريب أسرع بشكل ملحوظ لطرق التجزئة BoundlessBPE وSuperBPE من خلال تجميع مرشحي الدمج الفائق (supermerge) حسب التكرار وتوظيف صياغة ثنائية المرحلة، مما يحقق تسريعًا بمقدار 600 ضعف مقارنة بالتنفيذات السابقة مع الحفاظ على نتائج متطابقة.
تؤسس هذه الورقة نظرية رياضية لترميزات الموضع في نماذج المحولات (Transformers)، حيث تثبت ضرورتها للمهام الحساسة للترتيب، وتوضح أن التدريب يفصل المواضع بشكل جوهري، وتبني ترميزاً أمثلاً عبر القياس متعدد الأبعاد الذي يقلل من الإجهاد وعدد المعلمات، مع التحقق التجريبي الذي يُظهر تفوق (ALiBi) على الترميزات الجيبية والدورانية.
تقدم الورقة البحثية XMark، وهي طريقة علامة مائية متعددة البتات مبتكرة للنصوص المولدة بواسطة النماذج اللغوية الكبيرة (LLM)، تتغلب على القيود الحالية من خلال تحقيق دقة فك تشفير عالية حتى مع عدد محدود من الرموز (tokens) مع الحفاظ على جودة النص عبر توزيع "لوجيت" (logit) أقل تشوهاً.
تُظهر هذه الدراسة أن نماذج اللغة المعتمدة على المحولات ذاتية الانحدار، على الرغم من تحقيقها استرجاعًا مثاليًا للنماذج الأولية من الدرجة الأولى، تفشل في استحثاث فرضيات مفرطة من الدرجة الثانية حول السمات المحددة للفئة في ظل ظروف تدريب بمقياس نمائي، معتمدةً بدلاً من ذلك على مطابقة القوالب من الإطار إلى السمة بدلاً من التجريد الهيكلي.
تقدم هذه الورقة مساراً مفتوح المصدر للضبط الدقيق للذاكرة المتناثرة (SMF) يقوم بتجهيز النماذج مسبقة التدريب بطبقات ذاكرة صريحة وآلية اختيار فجوات تعتمد على تباعد كيه إل (KL divergence) لتمكين التعلم المستمر بكفاءة على الأجهزة الاستهلاكية مع تقليل النسيان الكارثي إلى أدنى حد.
يُعد DualDiffusion إطار عمل للفك التخميني (speculative decoding) لنماذج الانتشار المقنعة (Masked Diffusion Models)، حيث يجمع بين نماذج مسودة سريعة وتقريبية ونماذج تحقق دقيقة لتقليل خطوات الاستدلال بشكل كبير مع الحفاظ على جودة توليد عالية، مما يؤدي إلى تحسين المقايضة بين الجودة والكفاءة مقارنة بطرق التقريب والتخزين المؤقت الحالية.
تثبت هذه الورقة تجريبيًا وجود خبراء متخصصين في مجالات محددة ضمن نماذج اللغات الكبيرة القائمة على "خليط الخبراء" (MoE)، وتستغل هذا الاكتشاف لاقتراح إطار عمل DSMoE، وهو إطار عمل لا يتطلب إعادة تدريب ويعزز الأداء في مجالات معينة دون زيادة تكاليف الاستدلال أو اشتراط إعادة التدريب.