22999 ورقة بحثية
تقترح هذه الورقة نموذجاً للتعلم العميق يتكون من ثلاثة مكونات تدمج بين الترميز العصبي المتكافئ، والوصف الرمزي العصبي للأجسام، واتخاذ القرار المتكرر لمحاكاة أداء التدوير الذهني البشري وأوقات الاستجابة بدقة، وهو ما تم التحقق من صحته من خلال كل من الدراسات السابقة وتجارب الواقع الافتراضي التفاعلية الجديدة.
تحدد هذه الورقة ثغرة "قابلية تحقق غير متماثلة" هيكلية في عملية نقل أجهزة الترميز (tokenizer transplantation) عبر النماذج اللغوية الكبيرة، حيث يمكن هندسة ناقلات معاملات محددة كـ "رموز كاسرة" (breaker tokens) تظل خاملة في النموذج المانح ولكنها تُحفز عمليات إعادة بناء عالية البروز في النموذج الأساسي، مما يؤدي إلى التهرب من فحوصات دمج الأوزان القياسية وتدابير التخفيف القائمة على تقنية (LoRA).
تقدم هذه الورقة تقنية "خرائط تنشيط الأفق" (Horizon Activation Mapping - HAM)، وهي تقنية تفسير بصري محايدة للنماذج تقوم بتحليل متوسطات معيار التدرج عبر السلاسل الزمنية الفرعية لتمكين الاختيار الدقيق للنماذج، والتحقق من صحتها، والمقارنات بين العائلات المختلفة لمختلف بنيات الشبكات العصبية في التنبؤ بالسلاسل الزمنية.
تقدم الورقة البحثية "Rulers"، وهو إطار عمل ثلاثي المراحل أثناء الاستنتاج يعمل على تحويل المعايير البشرية إلى مواصفات مغلقة، ويفرض استناداً هيكلياً للأدلة، ويطبق معايرة لاحقة للتغلب على أوضاع الفشل الشائعة وتحقيق تقييم أكثر موثوقية ومواءمة للبشر من قبل النماذج اللغوية الكبيرة عبر مهام تقييم النصوص المتنوعة.
تقترح هذه الورقة وتحلل خوارزمية من الدرجة صفر تجمع بين متدرات امتداد لوفاز (Lovász extension subgradients) والتنعيم الغاوسي لحل مسائل الحد الأدنى-الأقصى (min-max) غير الملساء التي تتضمن دالات محدبة-تحتية (submodular-concave)، مع إثبات التقارب إلى نقطة سرج في الإعداد غير المتصل (offline setting) وتحديد حد فجوة ثنائية عبر الإنترنت (online duality gap) يبلغ .
تقدم هذه الورقة البحثية "إلغاء تعلم التمثيل" (Representation Unlearning)، وهو إطار عمل يحقق إلغاء تعلم للآلة بكفاءة وموثوقية من خلال تعلم تحويل في فضاء التمثيل لضغط المعلومات المتعلقة بالبيانات المنسية مع الحفاظ على الفائدة للبيانات المستبقاة، مما يوفر بديلاً أكثر استقراراً وكفاءة من حيث الحوسبة لطرق تعديل المعلمات التقليدية.
تقدم هذه الورقة إطاراً موحداً يكمّم تشابه التمثيل من خلال منظور المعلومات القابلة للاستخدام، مما يؤسس روابط رسمية بين أداء التجميع والمعلومات المتبادلة الشرطية، مع إثبات أن تشابه التمثيل نسبي للقدرة التنبؤية وهو كافٍ ولكنه ليس ضرورياً للتشابه الوظيفي.
تُثبت هذه الورقة أن "التدريب المسبق الإجرائي"، الذي يتضمن تعريض النماذج اللغوية في البداية لنسبة ضئيلة من البيانات الهيكلية المجردة الناتجة عن اللغات والخوارزميات الصورية، يعزز قدراتها على الاستنتاج بشكل كبير، ويسرع التقارب، ويقلل التكاليف الحسابية مقارنة بالتدريب المسبق القياسي باستخدام اللغة الطبيعية.
تقترح هذه الورقة إطار عمل REKD، وهو إطار لتقطير المعرفة يعزز الأداء التنبؤي وقابلية التفسير لنماذج استخراج المبررات من خلال تدريب شبكات طالب أصغر للتعلم من مبررات وتنبؤات نموذج معلم أكثر قدرة، مما يتغلب على التحديات الحسابية لتعلم مجموعات الميزات الفرعية تحت الإشراف عن بُعد.
تقترح هذه الورقة طريقة غير خاضعة للإشراف قائمة على القواعد لتقسيم المسارات واكتشاف هياكل مهارات هرمية في بيئات عالية الأبعاد مثل ماينكرافت، مما يثبت أن الهياكل الهرمية الناتجة ذات المعنى الدلالي تتفوق على النماذج المرجعية الحالية وتسرع عملية التعلم التعزيزي في المهام اللاحقة.