11611 ورقة بحثية
تستقصي هذه الورقة تجريبياً كيف تؤثر مجموعات بيانات ما قبل التدريب والبارامترات الفائقة على نماذج Expanded-SPLAE لعمليات الاسترجاع، كاشفةً أن النماذج التي تم تدريبها مسبقاً على مجموعات نصوص عامة وبمعدلات تعلم أعلى تحقق فعالية متفوقة حتى في ظل التقليم الصارم، رغم انخفاض دقة نموذج اللغة (MLM) وزيادة تكاليف الاسترجاع.
تقترح هذه الورقة إطار عمل متعدد الوكلاء يعتمد على النماذج اللغوية الكبيرة (LLM) يعمل على تخصيص الإشراف على المحتوى من خلال محاكاة الحساسيات الفردية للمستخدمين عبر وكلاء متخصصين، محققاً تحسناً في الدقة بنسبة 32% مقارنة بالأنظمة المركزية التقليدية، مع تقديم نهج قابل للتوسع للموازنة بين حوكمة المنصة واستقلالية المستخدم.
تقدم الورقة البحثية MIRL، وهو إطار عمل للتعلم التعزيزي الموجه بالمعلومات المتبادلة، والذي يعمل على تحسين استدلال نماذج الرؤية واللغة باستخدام المعلومات المتبادلة كإشارة فحص مسبق لتخصيص ميزانيات أخذ العينات بكفاءة ومكافآت مفككة لتحسين الإدراك البصري بشكل محدد، مما يقلل من الهلوسة ويحقق دقة أعلى بعدد أقل من المسارات الكاملة.
تقترح هذه الورقة قانون قياس توجيهي جديد يأخذ في الاعتبار تكرار البيانات وفرط التخصيص في الأنظمة المقيدة بالبيانات، مظهرةً أنه بعد نقطة معينة، يكون زيادة سعة النموذج أكثر فعالية من تكرار البيانات بشكل إضافي، وأن اضمحلال الأوزان القوي يخفف بشكل كبير من فرط التخصيص.
تقدم هذه الورقة البحثية إطار عمل \textsc{NH-CROP}، وهو إطار تسعير آني متين لأصول بيانات اللغة الخاضعة للحوكمة، يقرر ديناميكيًا ما إذا كان سيستحوذ على معلومات تكلفة دقيقة بناءً على قيمة قراره المقدرة، مما يثبت أن التسعير الأمثل غالبًا ما يعتمد على إدارة عدم اليقين المعايرة بدلاً من التحقق المتكرر.
تقدم هذه الورقة RefusalGuard، وهو إطار عمل للضبط الدقيق يحافظ على الهندسة ويخفف من تدهور السلامة في النماذج اللغوية من خلال تقييد التحديثات في فضاء التمثيل الخفي لمنع تشويه البنى ذات الصلة بالسلامة مع الحفاظ على أداء المهام.
تقدم هذه الورقة لغة وصف السياق الوكيل (ACDL)، وهي لغة رسمية وأداة تصور معيارية مصممة لوصف وتوصيل بنية وديناميكيات وتطور سياقات المدخلات في أنظمة النماذج اللغوية الكبيرة الوكيلية بدقة، مما يعالج الافتقار الحالي لمعيار موحد لهندسة السياق.
تقترح الورقة البحثية "مويرا" (Moira)، وهو إطار عمل للتعلم التعزيزي الهرمي القائم على اللغة، يستخدم النماذج اللغوية الكبيرة لكل من اختيار الأزواج عالي المستوى والتنفيذ منخفض المستوى، مع تحسينهما حصرياً من خلال تحديثات الأوامر النصية بناءً على التغذية الراجعة النصية لمعالجة تحديات تخصيص الائتمان في تداول الأزواج.
تقدم هذه الورقة البحثية التوجيه الدلالي المعزز بالنماذج اللغوية الكبيرة، وهي طريقة تتيح للمحللين إعادة تشكيل إسقاطات تمثيل النصوص منخفضة الأبعاد عبر تجميع الوثائق الأمثلة والاستفادة من نموذج لغوي كبير لتوسيع القصد الدلالي ليشمل النصوص ذات الصلة، مما يؤدي إلى إنشاء مساحات عمل قابلة للتفسير وتعتمد على القصد دون الحاجة لإعادة تدريب النماذج الأساسية.
تُثبت هذه الورقة أن توجيه تحسين ما قبل التدريب نحو القيم الصغرى الأكثر تسطحاً من خلال طرق مثل تقليل الحدة (Sharpism-Aware Minimization)، أو معدلات التعلم الكبيرة، أو فترات التخميد القصيرة، يقلل بشكل كبير من النسيان الكارثي ويحسن الأداء في المهام اللاحقة عبر مختلف أحجام النماذج والمهام ما بعد التدريب.