12253 ورقة بحثية
تقدم هذه الورقة البحثية PMark، وهي طريقة علامة مائية على المستوى الدلالي قوية وخالية من التشويه للنماذج اللغوية الكبيرة، تستخدم إطاراً نظرياً مبتكراً لوظائف الوكيل وقيود القنوات المتعددة لتقدير وسائط الجمل ديناميكياً، مما يحسن بشكل كبير من مقاومة هجمات إعادة الصياغة مع الحفاظ على جودة النص.
تقترح هذه الورقة طريقة فعالة من حيث التكلفة لإجراء تجارب ما قبل التدريب المحكومة المتعددة في آن واحد ضمن عملية تدريب واحدة، مما يثبت أن هذا النهج يمكنه محاكاة وتوسيع الأبحاث السابقة حول تلوث البيانات وسلوك النماذج مع حد أدنى من التأثير على الأداء العام.
تتقصى هذه الورقة عدم الاتساق بين مسارات الاستدلال والإجابات النهائية في نماذج الاستدلال الكبيرة من خلال الكشف عن اعتمادها على آليات استرجاع متنافسة، وتقترح إطار عمل FARL، وهو إطار عمل جديد للضبط الدقيق يعمل على كبح اختصارات الاسترجاع هذه لفرض قدرات استدلال حقيقية.
تُثبت هذه الورقة أن منحنيات خسارة التدريب لعائلات النماذج اللغوية الكبيرة تنهار لتستقر على مسار عالمي موحد في ظل وصفات القياس المثلى، مما يرسخ هذه الظاهرة كعلامة مميزة للتدريب الفعال من حيث الحوسبة والذي يتيح الكشف المبكر عن الاعتلالات والضبط الفعال للمعلمات الفائقة، وهو ما استغله المؤلفون لتطوير عائلة نماذج *Celerity* التنافسية.
تقدم الورقة البحثية EditReward، وهو نموذج مكافأة متوافق مع التفضيلات البشرية تم تدريبه على مجموعة بيانات تفضيلات بشرية جديدة واسعة النطاق يحقق أداءً هو الأفضل في فئته في تقييم تحرير الصور الموجه بالتعليمات ويقوم بفلترة البيانات عالية الجودة بفعالية لتحسين تدريب نماذج التحرير مفتوحة المصدر بشكل كبير.
تقدم الورقة البحثية MENLO، وهو إطار عمل ومجموعة بيانات لتقييم جودة استجابة النماذج اللغوية الكبيرة لتكون شبيهة باللغة الأم عبر 47 لغة، وتوضح أنه في حين تعجز نماذج التقييم ذات القدرة الصفرية (zero-shot) عن مضاهاة المقيّمين البشريين، فإن التعلم المعزز وتشكيل المكافأة يمكن أن يحسنا بشكل كبير كلاً من دقة التقييم وكفاءة النماذج متعددة اللغات.
تقدم الورقة البحثية GEM (صانع الخبرة العام)، وهو محاكي بيئة وأدوات تقييم مفتوحة المصدر ومعيارية مصممة لتسريع أبحاث النماذج اللغوية الكبيرة الوكيلية من خلال تسهيل التعلم القائم على الخبرة عبر التنفيذ عالي الإنتاجية، والبيئات المتنوعة، والاختبارات الشاملة التي تقارن بين خوارزميات مثل REINFORCE وPPO وGRPO.
يُعد ExGRPO إطار عمل مبتكر يعزز كفاءة واستقرار التعلم التعزيزي من المكافآت القابلة للتحقق، وذلك من خلال تحديد وتحديد أولويات تجارب التدفق (rollout) القيمة بناءً على الصحة والاعتلاج (entropy)، مما يؤدي إلى تحسين أداء الاستدلال بشكل كبير عبر مختلف النماذج اللغوية الكبيرة مقارنة بالطرق القياسية المعتمدة على السياسة الموحدة (on-policy).
يُعد TiTok إطار عمل مبتكر يتيح نقل محولات LoRA عبر هياكل النماذج اللغوية الكبيرة المختلفة من خلال التقاط المعرفة على مستوى الرموز عبر التباين الزائد لتصفية البيانات الاصطناعية بشكل انتقائي، مما يحقق مكاسب كبيرة في الأداء دون الحاجة إلى نماذج إضافية أو أعباء تشغيلية.
يُعد SwiReasoning إطار عمل لا يتطلب تدريباً يعمل على تعزيز دقة وكفاءة الرموز (tokens) للنماذج اللغوية الكبيرة من خلال التبديل الديناميكي بين الاستدلال الصريح والضمني بناءً على مقاييس الثقة المدفوعة بالاعتلاج (entropy)، مما يوازن بين الاستكشاف والتقارب مع منع الإفراط في التفكير.