22999 ورقة بحثية
تقدم هذه الورقة البحثية SC-SDPO، وهو متغير جديد من تحسين سياسة التقطير الذاتي، يقوم بوزن أسئلة التدريب ديناميكيًا بجذر التباين المتوقع لمعدل النجاح لإنشاء منهج تعليمي ضمني مدرك للصعوبة، مما يحقق مكاسب أداء ثابتة في معايير الاستدلال واستخدام الأدوات مع الحفاظ على استقرار ديناميكيات التدريب.
تقدم الورقة البحثية UniMaia، وهو إطار عمل فعال من حيث المعلمات يوجه شبكة سياسة شطرنج Lc0 مجمدة باستخدام مطالبات لغوية لتحقيق قدرة تحكم شبيهة بالبشر على أسلوب اللعب وقوته مع الحفاظ على الأداء الخاص بالمجال دون الحاجة إلى تدريب متعدد الوسائط شامل، وذلك دون الحاجة إلى تدريب متعدد الوسائط من طرف إلى طرف.
تكشف هذه الورقة أنه في حين أن تسلسل التفكير في النماذج اللغوية هو عرض مستقر إلى حد كبير وغير متغير بالقرار لاستعراض المعرفة، مما يؤدي إلى الفشل في تفسير خياراتها بأمانة أثناء صراعات المعرفة، فإن الثقة ذاتية التقييم تقدم إشارة ضعيفة ولكنها حقيقية للتنبؤ بالقرارات، مما يشير إلى أن مراقبة الثقة أكثر فعالية من تحليل الحجج الاستدلالية نفسها.
تقدم هذه الورقة مهمة استرجاع الحقائق في السياق (IC-recall) لدراسة كيفية استفادة نماذج المحولات (transformers) من المعرفة الحقائقية المخزنة مسبقاً أثناء التعلم في السياق، مما يثبت أن الضبط الدقيق الخاضع للإشراف على نموذج ذي طبقة واحدة يتقارب نحو نمط انتباه زوجي محدد باستخدام عينات لوغاريتمية متعددة فقط لاستنتاج العلاقات الخفية واسترجاع الإجابات بنجاح.
تقترح هذه الورقة إطار عمل LoRP، وهو إطار عمل لتقليم العمق بضربة واحدة وبدون تدريب، يقوم بتخصيص إزالة الطبقات ديناميكيًا بناءً على "درجة محلية التمثيل" (Representation Locality Score) مبتكرة لتقليل الفائض في النماذج اللغوية الكبيرة بفعالية مع الحفاظ على الأداء.
تقدم الورقة البحثية إطار CARL، وهو إطار للتعلم التعزيزي المدرك للكفاءة يقوم بتعيين الائتمان على مستوى القطعة لقرارات استخدام الأدوات من خلال تفكيك عمليات التدحرج للنموذج عند الحدود الطبيعية، مما يمكّن النماذج اللغوية الكبيرة من التعلم ذاتياً متى تعتمد على المعرفة البارامترية مقابل الأدوات الخارجية ويحسن الدقة بشكل كبير مع تقليل استدعاءات الأدوات غير الضرورية، لا سيما في النماذج الأصغر حجماً.
تقترح هذه الورقة هجوماً من نوع الباب الخلفي يعتمد على كثافة العينات ويخصصها لكل عينة، حيث يعمل على تحسين بناء المحفز عبر توجيه العينات المسمومة إلى مناطق منخفضة الكثافة في توزيع البيانات النظيفة، مما يحقق معدلات نجاح هجوم وقوة ضد دفاعات الضبط الدقيق وتقليم الخلايا العصبية تتفوق على الأساليب الحالية.
تقدم هذه الورقة البحثية "المشفرات التلقائية المتناثرة زمنياً والمتبقية" (Residualized Temporal Sparse Autoencoders)، وهي إطار عمل مبتكر يعمل على تفكيك مسارات تنشيط نماذج الانتشار إلى حالة أولية ومتبقيات غير قابلة للتنبؤ خطياً، وذلك لتمكين اكتشاف وتحليل سمات قابلة للتفسير، متناثرة وذات بنية زمنية.
تقدم هذه الورقة المشفّرات التلقائية المتناثرة المتبقية (ReSAEs)، وهي طريقة تدرب مشفرات تلقائية متناثرة متعددة الطبقات على البواقي غير المفسرة بين طبقات المحولات المقترنة لتقليل تكرار فك التشفير وتحسين فعالية التدخلات متعددة الطبقات بشكل كبير مقارنة بالنهج التقليدي لكل طبقة على حدة.
يُعد DecomposeRL إطار عمل للتحقق من الادعاءات شبه مُشرف وقابل للتتبع، يستفيد من قمع تنقية البيانات والتعلم التعزيزي القائم على GRPO لتدريب نموذج مدمج بحجم 7 مليار بارامتر، محققاً أداءً يضاهي النماذج المرجعية الأكبر حجماً بكثير مع إنتاج مسارات استدلال قابلة للتفسير.