26708 ورقة بحثية
تُثبت هذه الورقة أن حقن متجهات التضمين العشوائية الخالية من التدريب في مدخلات النماذج اللغوية الكبيرة يعزز بفعالية أداء الاستدلال من خلال زيادة تنوع الرموز في المراحل المبكرة وتوسيع نطاق Pass@N، وهي آلية تُحسن كلاً من دقة الاستدلال ونتائج التدريب دون الحاجة إلى مطالبات ناعمة متعلمة.
تُظهر هذه الدراسة أنه في حين نجحت عملية التحسين البايزي ذات الحلقة المفتوحة في تحسين الكفاءة الديناميكية الهوائية بنسبة 10.9% من خلال التحكم في النفاث المستقر على جناح ذي رفع عالٍ من طراز 30P30N، فإن التعلم المعزز العميق ذو الحلقة المغلقة حقق مكاسب ضئيلة بسبب دالة مكافأة يهيمن عليها الجزاء مما حد من الاستكشاف.
تقيم هذه الورقة مدى فعالية النماذج اللغوية الكبيرة في التوليد التلقائي لمخططات الكيانات والعلاقات من المتطلبات المكتوبة باللغة الطبيعية، حيث وجدت أنها تؤدي بشكل ملائم في السيناريوهات البسيطة، إلا أن موثوقيتها تنخفض بشكل كبير مع زيادة التعقيد بسبب تصاعد التناقضات والأخطاء الدلالية، مما يشير إلى أنها ليست ناضجة بما يكفي بعد لنمذجة قواعد البيانات المعقدة دون تحقق واسع النطاق.
تقيم هذه الورقة أحد عشر نموذجاً من الشبكات العصبية العميقة المدربة مسبقاً على مجموعة بيانات ImageNet لتصنيف الصور من خلال تحسين طبقات مخرجاتها ومعاملاتها عبر خمس مجموعات بيانات مستهدفة، وتقييم أدائها بناءً على الدقة، ووقت التدريب، وحجم النموذج لتوجيه الاختيار الأمثل للنموذج.
تقدم الورقة البحثية BadSKP، وهو هجوم باب خلفي مبتكر يستغل القناة المشروطة بالرسم البياني للنماذج اللغوية الكبيرة المعززة بالرسوم البيانية للمعرفة من خلال التلاعب بتضمينات العقد لتجاوز الارتكاز الدلالي، محققاً بذلك معدلات نجاح عالية للهجوم حيث تفشل الهجمات التقليدية القائمة على النصوص.
تكشف هذه الورقة أن تحديد سقف القدرة (power capping) غير فعال لعملية فك التشفير التكراري (autoregressive decode) في النماذج اللغوية الكبيرة بسبب اختناقات مرتبطة بالذاكرة تترك فائض القدرة في وحدة معالجة الرسومات غير مستغل، وتثبت أن قفل تردد وحدات الحوسطة (SM clock locking) هو استراتيجية متفوقة تستعيد ما يصل إلى 32% من طاقة فك التشفير مع تقليل فقدان الإنتاجية عبر بنيات الانتباه المتنوعة.
تقترح هذه الورقة البحثية إطار عمل CR^2، وهو إطار توجيه ثنائي المراحل بين الجهاز والحافة للاستدلال اللاسلكي للنماذج اللغوية الكبيرة (LLM)، والذي يجمع بين بوابة هامش خفيفة الوزن على الجهاز وبين التحكم في مخاطر التوافق (conformal risk control) لتحسين المقايضة بين زمن الاستجابة والطاقة والدقة مع إدارة مخاطر القبول الخاطئ صراحةً تحت قيود الموارد.
تقدم هذه الورقة البحثية SkillSafetyBench، وهو معيار مرجعي يوضح أن المهارات القابلة لإعادة الاستخدام والقطع البرمجية المحلية يمكن أن تؤدي إلى سلوكيات غير آمنة للوكيل حتى من طلبات المستخدمين الحميدة، مما يكشف أن سلامة الوكيل تعتمد بشكل حاسم على كيفية تفسير النماذج للمهارات وثقتها في سياقات سير العمل بدلاً من مجرد الاعتماد على التوافق على مستوى النموذج.
بالاستناد إلى مفهوم فيجوتسكي حول منطقة التطور القريب، تجادل هذه الورقة بأن النماذج اللغوية الكبيرة تنخرط في "تفكير بدائي" من خلال الممارسات بدلاً من التمثيلات الموزعة، مما يشير إلى أن هلوساتها تشبه الأحلام، وأن المنطق السليم الشبيه بالمنطق البشري ينبثق من التفاعل بدلاً من اشتراطه لضوابط خارجية.
تقترح هذه الورقة إطار عمل فعالاً وتكيفياً للتعرف على الأنشطة البشرية يستفيد من النماذج اللغوية الكبيرة مسبقة التدريب والمجمدة كركائز زمنية، والتي يتم الربط بينها عبر إسقاط تلافيفي مهيكل وتكييفها عبر التكيف منخفض الرتبة (LoRA) لتحقيق أداء قوي، وكفاءة في البيانات، ونقل قوي عبر مجموعات البيانات المختلفة مع تقليل التكاليف الحسابية بشكل كبير.