12058 ورقة بحثية
تُعد DiaBlo طريقةً لضبط النماذج بدقة وكفاءة في استخدام المعلمات، حيث تقوم بتحديث الكتل القطرية فقط لمصفوفات أوزان النموذج، مما يوفر بديلاً بسيطاً ومستقراً وذا أساس نظري لتقنية LoRA، ويحقق أداءً تنافسياً مع كفاءة مماثلة في استخدام الذاكرة وسرعة التدريب.
تقدم الورقة البحثية Go-Browse، وهي طريقة تستخدم الاستكشاف القائم على الرسوم البيانية المهيكلة لجمع مجموعة بيانات واسعة النطاق من مسارات وكلاء الويب تلقائياً، والتي عند استخدامها لضبط نموذج لغوي بحجم 7 مليار معلمة، تحقق أداءً هو الأفضل في فئته على معيار WebArena.
تقدم هذه الورقة البحثية مفهوم "عامل التفرع" (Branching Factor) لتوضيح أن ضبط المحاذاة يقلل بشكل كبير من تنوع مخرجات النماذج اللغوية الكبيرة عبر تركيز توزيعات الاحتمالات في مراحل مبكرة من عملية التوليد، وهي آلية تعزز استقرار الاستنتاج في نماذج "سلسلة الأفكال" (Chain-of-Thought) ويمكن محاكاتها في النماذج الأساسية من خلال التلقين الاستراتيجي للرموز (token prompting).
تقدم الورقة البحثية Skywork-Reward-V2، وهي مجموعة من نماذج المكافأة المتطورة التي تم تدريبها على مجموعة بيانات SynPref-40M المكونة من 40 مليون زوج، والتي تم إنشاؤها باستخدام مسار تآزري بين الإنسان والذكاء الاصطناعي للتغلب على قيود بيانات التفضيل الحالية وتحقيق أداء فائق عبر معايير قياس متعددة.
تقترح هذه الورقة نموذجاً جديداً لربط السجلات يعمل على تكييف حل المراجع المشتركة عبر المستندات من خلال الجمع بين الاستدلال باللغة الطبيعية والتشابه الدلالي للنصوص للتنبؤ بفعالية بالروابط بين سجلات الأحداث المجزأة في الصناعة العملياتية الألمانية، مما يؤدي إلى تحسين جودة البيانات بشكل كبير لتطبيقات التوليد المعزز بالاسترجاع القائم على الرسوم البيانية.
تُثبت هذه الورقة أن جودة الترجمة لنموذج GPT-4o عبر 203 لغات يمكن التنبؤ بها بدقة دون تشغيل نظام الترجمة نفسه، وذلك من خلال الاستفادة من خصوبة الرموز (token fertility)، والأعداد، والبيانات اللغوية الوصفية الأساسية، مما يكشف أن العوامل التصنيفية والخصوبة تشكل الأداء متعدد اللغات بشكل كبير.
تُثبت هذه الورقة أن عدم كفاءة التجزئة (tokenization) تفرض "ضريبة توكن" على اللغات الأفريقية ذات البنية الصرفية المعقدة والموارد المحدودة، وذلك من خلال ربط ارتفاع معدل الخصوبة في التوكنات (token fertility) بانخفاض الدقة وزيادة التكاليف بشكل كبير، مع تسليط الضوء على أن نماذج الاستدلال يمكن أن تساعد في تقليص فجوات الأداء هذه.
تجسّر هذه الورقة البحثية الفجوة بين تعقيد كولموغوروف والتعلم العميق من خلال إثبات وجود أهداف لطول الوصف مثالية تقاربيًا لنماذج المحولات (Transformers)، واستعراض تنفيذ تبايني قابل للتطبيق يعزز التعميم منخفض التعقيد، على الرغم من التحديات الكبيرة في عملية التحسين.
تجادل هذه الورقة بأن حداثة الـ n-gram هي مقياس غير كافٍ بحد ذاته للإبداع النصي لأنها تفشل في مراعاة الملاءمة، حيث أثبتت من خلال التوسيم البشري المكثف أنه بينما تفتقر الحداثة العالية غالباً إلى القيمة البراغماتية في النصوص المولدة بواسطة الذكاء الاصطناعي، يمكن ضبط النماذج اللغوية الكبيرة الرائدة لتحديد التعبيرات الإبداعية وغير البراغماتية بشكل أفضل من طرق الـ n-gram التقليدية.
تقدم الورقة البحثية "ManagerBench"، وهو معيار لتقييم قدرة النماذج اللغوية الكبيرة ذاتية التشغيل على الموازنة بين الأهداف التشغيلية والسلامة البشرية، كاشفةً أن النماذج الرائدة غالباً ما تخفق إما عبر إعطاء الأولوية للأفعال الضارة لتحقيق الأهداف أو عبر التحول إلى حالة من الإفراط في السلامة وعدم الفعالية، وذلك رغم إدراكها الدقيق للمخاطر المرتبطة بذلك.