11158 ورقة بحثية
تتناول هذه الورقة البحثية ضعف تعليق النصوص بواسطة النماذج اللغوية الكبيرة تجاه تغيرات الأوامر (prompts) عبر اقتراح إطار عمل عام يسمى "درجة استقرار الأوامر" (PSS)، والذي يُطوع مقاييس الموثوقية التقليدية لتشخيص مشكلات الاستقرار، ويتضمن حزمة بلغة بايثون للتنفيذ العملي.
يُعد TokenButler متنبئاً خفيف الوزن وواعياً بالاستعلام، يقوم بتحديد الرموز (tokens) الحرجة ديناميكياً لإدارة ذاكرة التخزين المؤقت لـ KV بكفاءة عبر تقطير توزيعات الانتباه السببي المقنع، محققاً دقة استرجاع تقارب الدقة المثالية (near-oracle) وخفضاً كبيراً في زمن الاستجابة دون طرد الرموز بشكل دائم.
تكشف هذه الدراسة أنه على الرغم من المشهد اللغوي المتنوع في الصين، فإن نماذجها اللغوية الكبيرة ذات الأوزان المفتوحة تظهر ملفات أداء متعددة اللغات مشابهة بشكل صارخ للنماذج الغربية — حيث تتفوق في اللغات العالمية الرئيسية مثل الماندرين والفرنسية والألمانية بينما تخفق غالباً في دعم لغات الأقليات مثل الكازاخية والأويغورية — مما يشير إلى أن ممارسات القياس العالمي وموارد التدريب المشتركة تدفع نحو تجانس قدرات اللغة على حساب الأولويات المحلية.
تقترح الورقة البحثية KG-HTC، وهي طريقة تصنيف نصوص هرمي بنمط التعلم الصفري، تدمج الرسوم البيانية للمعرفة مع النماذج اللغوية الكبيرة عبر التوليد المعزز بالاسترجاع لمعالجة تحديات مثل فضاءات التصنيف الضخمة وتوزيعات الذيل الطويل بفعالية، مما يظهر تحسينات ملحوظة في الأداء مقارنة بالنماذج المرجعية على مجموعات بيانات متعددة.
تقدم الورقة البحثية VideoGameBench، وهو معيار قياسي حيث يتعين على نماذج الرؤية واللغة لعب ألعاب فيديو من حقبة التسعينيات باستخدام المدخلات البصرية الخام والتعليمات عالية المستوى فقط، مما يكشف أن حتى النماذج المتطورة تعاني بشكل كبير في اللعب في الوقت الفعلي بسبب القيود في الإدراك، والملاحة المكانية، وزمن انتقال الاستدلال.
تقدم الورقة البحثية "Smoothie"، وهي طريقة انتشار (diffusion) مبتكرة لتوليد النصوص تعمل على تنعيم تضمينات الرموز (token embeddings) تدريجياً بناءً على التشابه الدلالي لسد الفجوة بفعالية بين الفضاءات الكامنة المستمرة وفك تشفير الرموز المنفصلة، محققةً جودة توليد متفوقة مقارنة بنماذج الانتشار الحالية.
تقدم هذه الورقة Prefix-RFT، وهي طريقة ضبط دقيق هجينة تدمج بين الضبط الدقيق الخاضع للإشراف والضبط الدقيق بالتعزيز من خلال أخذ عينات البادئة للتغلب على قيود كل نهج على حدة، مما يظهر أداءً فائقًا ومتانة في مهام الاستدلال الرياضي.
تقدم هذه الورقة البحثية RLCR (التعلم التعزيزي مع مكافآت المعايرة)، وهو نهج تدريب مبتكر يعزز مكافآت الصحة الثنائية بنتيجة "براير" (Brier score) لتحسين الدقة والثقة المعايرة للنماذج اللغوية في آن واحد، مما يقلل من الهلوسة وتدهور المعايرة الذي غالباً ما يسببه التعلم التعزيزي القياسي.
تقدم هذه الورقة البحثية "توجيه التنشيط غير المؤلم" (Painless Activation Steering - PAS)، وهو أسلوب مؤتمت بالكامل وخفيف الوزن يقوم ببناء ناقلات التنشيط من مجموعات البيانات المصنفة دون تدخل بشري لتوجيه النماذج اللغوية الكبيرة بفعالية نحو السلوكيات المرغوبة، متفوقاً على التقنيات الحالية في القدرة على التحكم والكفاءة مع إظهار فعالية محددة للمهام الموجهة نحو السلوك.
تقدم هذه الورقة "نماذج المستشار" (Advisor Models)، وهي طريقة لتدريب نماذج صغيرة مفتوحة الأوزان لتوليد نصائح لغوية طبيعية ديناميكية لكل حالة على حدة، مما يعمل بفعالية على توجيه وتعزيز أداء النماذج اللغوية الكبيرة الأمامية غير القابلة للوصول (black-box) من خلال التحسين البارامتري دون تعديل أوزانها.