24008 ورقة بحثية
تقدم هذه الدراسة مراجعة شاملة لخوارزميات التحسين للنماذج اللغوية الكبيرة، حيث تصنف الأساليب من النهج الكلاسيكية من الدرجة الأولى إلى المحسنات المتقدمة القائمة على المصفوفات مثل Muon، مع الدعوة إلى إجراء تقييم مرجعي صارم ومراعٍ للحجم يقيم بشكل مشترك التقارب، والاستقرار، وكفاءة الذاكرة، وتعقيد التنفيذ.
تقدم هذه الورقة البحثية "SeqRejectron"، وهي خوارزمية للتعلم بالتقليد الانتقائي تتيح للوكلاء الامتناع بأمان عن التصرف في ظل تحولات ديناميكية تعسفية من خلال بناء قاعدة توقف خالية من الأفق مع ضمانات مثبتة لتعقيد العينات.
تُثبت هذه الورقة أن فهم الأدوار الدلالية يظهر جزئياً في نماذج المحولات المكونة من فك تشفير فقط (decoder-only transformers) والمجمدة أثناء مرحلة ما قبل التدريب، كما يتضح من خلال المسابير الخطية، رغم أن الأداء الكامل يتطلب الضبط الدقيق، كما يصبح التمثيل الداخلي لهذه الأدوار موزّعاً بشكل متزايد مع زيادة حجم النموذج.
تقترح الورقة البحثية إطار عمل DARE، وهو إطار موحد يطور تقدير الصعوبة مع السياسة من خلال أخذ العينات بأهمية ذاتية التقييس وتخصيص الحوسبة التكيفي لتحسين كفاءة التدريب، والأداء النهائي، وإيجاز الاستدلال في آن واحد عبر مستويات صعوبة المهام المتفاوتة.
تضع هذه الورقة البحثية أول حدود عليا لتعقيد العينات السريع من رتبة لتعقيد "المناديب السياقية غير المتصلة" (offline contextual bandits) مع تنظيم "كاي إل" الأمامي (forward-KL regularization) في ظل حالة تركيز السياسة الواحدة، موحدةً بذلك بين إعدادات الجداول (tabular) والتقريب الوظيفي العام من خلال تحليل تحليلي محدب مبتكر، ومثبتةً دقة هذه المعدلات عبر حدود دنيا مطابقة.
يُعد Flame3D إطار عمل لا يتطلب تدريباً، يُمكّن من الاستدلال التكويني للمشاهد ثلاثية الأبعاد بنمط "الصفر محاولة" (zero-shot) عبر تمثيل المشاهد كذكريات بصرية-نصية قابلة للتحرير، وتمكين النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الجاهزة من تخليق أدوات مكانية مخصصة ديناميكياً للاستدلال مفتوح النهايات.
توحد هذه الورقة نتائج استحالة العدالة المتنوعة تحت هندسة فضاء هيلبرت للنواة التركيبية (RKHS) مشتركة، مظهرةً أن عدم تساوي معدلات الأساس يؤدي إلى جعل قيود العدالة الخطية غير محددة بشكل زائد، مما يفضي إلى رؤى جديدة حول ثنائية كلاينبيرغ-موليناثان-راغافان، و"نظرية بوكيمون" فيما يتعلق بالانتهاكات المتبقية المقاسة بمسافة التباعد المتوسط المربع الأدنى (MMD)، والحدود الجوهرية لتعلم الميزات العادلة.
يقدم ProactBench معياراً مرجعياً جديداً لتقييم المبادرة الحوارية —وهي قدرة النماذج اللغوية الكبيرة على تحديد الاحتياجات الضمنية للمستخدم والعمل بناءً عليها— وذلك من خلال تفكيكها إلى مراحل: الناشئة، والحرجة، والاستردادية، وإثبات أن أداء مرحلة الاسترداد يمثل إشارة تقييم متميزة وصعبة لا تلتقطها المعايير المرجعية الحالية.
تقترح هذه الورقة نموذج تهديد وإطار تقييم موحد لتحليل ومقارنة تقنيات الحفاظ على الخصوصية للتعلم الموزع في أنظمة إنترنت الأشياء بشكل منهجي، مع تسليط الضوء على المقايضات بين متانة الخصوصية وكفاءة النظام، بينما تستعرض إمكانات الأساليب خفيفة الوزن القائمة على مرشح بلوم (Bloom Filter).
تُثبت هذه الورقة أن فشل النماذج اللغوية الكبيرة في عدّ الرموز المتكررة لا ينبع من عدم القدرة على تمثيل العدد الصحيح داخلياً، بل من آلية "طبقة بيرسبترون متعدد الطبقات" (MLP) محفزة بتنسيق محدد تقوم باستبدال التمثيل الدقيق بإجابة خاطئة ثابتة أثناء عملية توليد المخرجات.