11158 ورقة بحثية
تقترح هذه الورقة البحثية \ourmethod، وهو إطار دفاعي مبتكر يقضي على الأبواب الخلفية غير المعروفة في النماذج اللغوية الكبيرة دون معرفة مسبقة بالمحفزات، وذلك عبر تجميعها مع أبواب خلفية معروفة محقونة في فضاء التمثيل يتبعها ضبط دقيق للاسترداد، مما يحقق انخفاضاً كبيراً في معدلات نجاح الهجمات مع الحفاظ على فائدة النموذج.
تقدم هذه الورقة انتباه الخطية من الرتبة العليا (HLA)، وهو آلية سببية قابلة للتوسع تحقق تفاعلات من رتبة أعلى بتعقيد زمني خطي من خلال الحفاظ على إحصاءات كافية موجزة للبادئات، مما يتغلب على التكلفة التربيعية للانتباه القياسي مع الحفاظ على القدرة التعبيرية للبنيات المتكررة.
تقترح هذه الورقة إطار عمل "التخمين ثم التحقق" الذي يوضح قدرة النماذج اللغوية الكبيرة على ترجمة الإشارات المعجمية الدقيقة وغير البديهية إلى ظواهر لغوية مفهومة بشرياً، تكون قائمة على أسس تجريبية، وقابلة للتعميم، وأكثر قدرة على التنبؤ بالمراجعات الخادعة من المعرفة السابقة أو التعلم داخل السياق.
تقدم هذه الورقة البحثية PEFT-Bench، وهو معيار موحد وشامل مصمم لتقييم طرق الضبط الدقيق بكفاءة المعلمات (PEFT) المتنوعة عبر 27 مجموعة بيانات لمعالجة اللغات الطبيعية، مع اقتراح مقياس عقوبات التكلفة الناعمة لـ PEFT (PSCP) لتقييم الأداء بشكل شامل مقابل التكاليف الحسابية مثل المعلمات القابلة للتدريب، وسرعة الاستدلال، واستخدام الذاكرة.
تُظهر هذه الورقة أن نماذج الانتشار تعاني جوهرياً في مهام التوليد المقيد بسبب عدم قدرتها على أخذ عينات من المناطق الممكنة ذات الأبعاد المنخفضة، وتقترح نهجاً تتابعياً ذاتي الانحدار معززاً بالتعلم التعزيزي وبحث شجرة مونت كارلو كبديل أكثر فعالية لاستيفاء القيود الهندسية والفيزيائية الصارمة.
تُعد PEFT-Factory إطار عمل موحداً ونمطياً مشتقاً من LLaMA-Factory، يعمل على توحيد تنفيذ وتقييم وقياس أداء 19 طريقة متنوعة من طرق الضبط الدقيق بكفاءة المعلمات عبر 27 مجموعة بيانات، وذلك لتعزيز قابلية التكرار والمقارنة في عمليات تكييف النماذج اللغوية الكبيرة.
تقدم الورقة البحثية d-TreeRPO، وهو إطار عمل موثوق للتعلم التعزيزي لنماذج الانتشار اللغوية يعالج ندرة المكافأة وفجوات تقدير الاحتمالات من خلال عمليات التدحرج ذات الهيكل الشجري، والمكافآت الخطوية القابلة للتحقق، والتقطير الذاتي المجدول زمنياً، محققاً مكاسب أداء كبيرة عبر معايير استدلال متعددة.
تقدم هذه الورقة طريقة خالية من التدريب تسمى "الاستدلال غير المتزامن" (Asynchronous Reasoning)، والتي تستفيد من التضمينات الموضعية لتمكين النماذج اللغوية الكبيرة من التفكير والاستماع وتوليد الاستجابات في آن واحد وفي الوقت الفعلي، مما يقلل زمن الاستجابة بشكل كبير مع الحفاظ على دقة الاستدلال.
تقترح هذه الورقة إطار عمل هجين يجمع بين النماذج اللغوية الكبيرة المدربة مسبقاً وعملية عصبية خفيفة الوزن قائمة على الانتشار لمعالجة تتابعات الأخطاء وعدم الكفاءة الحسابية في الانحدار المشروط بالنص، وذلك باستخدام طريقة أخذ عينات مبتكرة خالية من التدرج لإنتاج تنبؤات أفضل معايرة وأكثر اتساقاً محلياً.
تعمل هذه الورقة على تعزيز كسر حماية النماذج اللغوية الكبيرة (LLM jailbreaking) من خلال إثبات أن تجميع متغيرات "الاستكمال المسبق" (prefill) البسيطة يعزز معدلات نجاح الهجوم بشكل كبير، وتقديم تقنية "الدمية الرديفة" (sockpuppetting)، وهي طريقة هجينة مبتكرة تعمل على تحسين اللاحقات العدائية ضمن كتلة رسالة المساعد لتحقيق أداء فائق ومستقل عن نوع المطالبة.