23608 ورقة بحثية
تقترح هذه الورقة إطار عمل لتحديد وتحويل طبقات التنميط الطبقي (Layer Normalization) إلى طبقات (RMSNorm) الأكثر كفاءة في الشبكات العصبية العميقة التعسفية، وذلك عن طريق دمج عملية التمركز رياضياً في الطبقات الخطية السابقة، مما يحقق تسريعاً في الاستدلال بنسبة تتراوح بين 2% إلى 12% بدقة تامة أو شبه تامة دون المساس بأداء النموذج.
توسع هذه الورقة البحثية فهم انحدار كيريدج النواة عالي الأبعاد من خلال تقديم عائلة جديدة من نوى الضرب، مبرهنةً على أنها تُظهر ظواهر رئيسية لوحظت سابقاً فقط في سياقات تقييدية، بما في ذلك الأمثلية الدنيا القصوى (minimax optimality)، وتأثيرات التشبع، وسلوك الهبوط المتعدد.
تتقصى هذه الورقة كيفية معالجة النماذج اللغوية الكبيرة للمساحة الجغرافية النسبية من خلال توظيف تقنية "رقع التنشيط" (activation patching)، وهي تقنية في التفسير الآلي، لمعالجة المخاوف المتعلقة بالسلامة الناجمة عن الفهم المحدود للآليات الداخلية لهذه النماذج في التطبيقات الجغرافية.
تقدم الورقة البحثية RxEval، وهو معيار مرجعي تحدي على مستوى الوصفات الطبية يتكون من 1,547 سؤالاً من نوع الاختيار من متعدد، والذي يقيم قدرة النماذج اللغوية الكبيرة على التوصية بثلاثيات محددة (الدواء-الجرعة-الطريق) بناءً على مسارات تفصيلية للمرضى، مما يكشف عن فجوات كبيرة في الاستدلال السريري للنماذج الحالية ومدى التزامها بمعلومات المريض.
تُثبت هذه الورقة أن الضبط الدقيق لمؤثر عصبي مشترك لأنظمة فيزيائية مختلفة يكشف عن اتجاه قابل لإعادة الاستخدام والمعايرة في فضاء الأوزان، مما يُمكّن طريقة "الدمج المشروط بالمعايرة" (CCM) المقترحة من دمج الخبراء وتقليل أخطاء التوزيع خارج النطاق بشكل كبير عبر الاستيفاء الديناميكي على طول هذا المعامل الفيزيائي دون تدريب إضافي.
تتناول هذه الورقة الطبيعة متعددة الأوجه لأداء الأوامر البرمجية (prompts) من خلال صياغة اختيار الأوامر كمسألة "بانديت" استكشاف نقي متعددة الأهداف، مقترحةً خوارزميات مبتكرة لاستعادة مجموعة باريتو وتحديد أفضل أمر برمجي قابل للتنفيذ، وهي خوارزميات مضمونة نظرياً ومثبتة تجريبياً في تفوقها على النماذج المرجعية الحالية عبر نماذج لغوية كبيرة متعددة.
تحدد هذه الورقة ظاهرة "عنق زجاجة الفعل" (Action Bottleneck) حيث يؤدي التخصيص الموحد للائتمان في التعلم التعزيزي الوكيل إلى سوء تخصيص إشارات التدريب عبر المبالغة في التأكيد على رموز الاستدلال، وتقترح ActFocus، وهي طريقة بسيطة لإعادة وزن الرموز مستندة إلى طاقة مستوى الرمز، والتي تحسن الأداء بشكل كبير من خلال إعطاء الأولوية لرموز الفعل دون تكاليف حوسبة إضافية.
تُثبت هذه الورقة أن قوانين القياس السلسة في الشبكات متعددة الطبقات تنبثق من استعادة تسلسلية، طبقة تلو الأخرى، للميزات التركيبية الكامنة، حيث تحقق خوارزمية طيفية مقترحة أداءً فائقاً عبر اكتشاف الميزات القوية عند أحجام عينات صغيرة قبل استعادة الميزات الأضعف تدريجياً، مما يؤدي إلى اضمحلال صريح في الخطأ وفق قانون القوة.
تقدم هذه الورقة مساراً مؤتمتاً يستخدم التجميع المتين تجاه إعادة الصياغة ومصنف XGBoost لتحديد وتصنيف وترتيب فرص إعادة الهيكلة في مجموعات اختبار التطوير القائم على السلوك، مما يثبت أن المصنف يتفوق بشكل كبير على كل من النماذج القائمة على القواعد ونماذج اللغات الكبيرة المرجعية في اكتشاف المتواليات الفرعية للخطوات القابلة للاستخراج عبر مجموعة ضخمة من ملفات Gherkin.
تُعد Woodelf++ خوارزمية موحدة عالية الأداء تُسرع بشكل كبير حساب مخططات الاعتماد الجزئي (Partial Dependence Plots)، ومخططات الاعتماد الجزئي المشتركة (Joint-PDPs)، وقيم التباين في الاعتماد الجزئي من أي رتبة (Any-Order-PDIVs) لمجموعات أشجار القرار، محققةً تسريعاً يصل إلى خمس مراتب عشرية مقارنة بالطرق الحالية مثل scikit-learn.