23088 ورقة بحثية
تقدم هذه الورقة أول دليل سببي على أن النماذج اللغوية الكبيرة تكتسب معرفة بعدم القبول اللغوي من خلال الاستباق الإحصائي، مما يثبت أن التعرض للأشكال التقليدية يثبط البدائل الممكنة بنيوياً ولكن غير المسجلة عبر التنافس التوزيعي بدلاً من مجرد التجذر الفعلي.
تقدم هذه الورقة "التوجيه المتناثر القائم على النماذج الأولية" (Prototype-Based Sparse Steering)، وهو إطار عمل يطبق المشفّرات التلقائية المتناثرة (Sparse Autoencoders) على تنشيطات استعلامات النماذج اللغوية الكبيرة (LLM)، ويستخدم التحسين القائم على التدرج لمحاذاة الميزات المتناثرة مع نماذج أولية مستهدفة، مما يتيح تحكماً دقيقاً وقابلاً للتفسير في كل من قيود التخطيط المنطقي والفروق الأسلوبية الدقيقة مثل التعقيد المعرفي.
تقدم الورقة البحثية TIME، وهو تمثيل فيديو ذاتي الإشراف تم تدريبه حصرياً على بيانات حركة اصطناعية عبر مشفر تلقائي مقنع، والذي يحقق أداءً رائعاً في التعلم الصفري بما يصل إلى 10,000 مرة أقل من بيانات التدريب من خلال التغلب على قيود القابلية للتوسع والاعتماد على اللغة التي تعاني منها نماذج الفيديو الحالية.
تعيد هذه الورقة صياغة انهيار النموذج بوصفه ظاهرة انتقال ثقافي عبر تطبيق نظرية التعلم المتكرر لإثبات أن التدريب الذاتي غير المفلتر يسبب تدهوراً غير رتيب في التركيب اللغوي، وهو اكتشاف تم التحقق من صحته عبر نماذج ولغات متعددة ويقدم مبادئ ملموسة لتصميم مسارات تدريب ذاتي قوية.
تقدم هذه الورقة Orbax، وهي مكتبة نقاط تفتيش (checkpointing) موزعة، نمطية، وأصلية لـ JAX، تعمل على تجريد تعقيدات النظام وتقدم أداءً أسرع بكثير في عمليات الحفظ والتحميل مقارنة بمنافسيها من PyTorch.
تقدم هذه الورقة "عقد الإسناد"، وهو إطار مفاهيمي يحل حالات الغموض في إسناد الميزات للنماذج اللغوية التوليدية من خلال التعريف الصريح للمخرجات، والميزات المؤهلة، والعملية التوليدية، والشروط الثابتة، ودرجة النموذج، مما يعيد صياغة الخلافات حول الإسناد باعتبارها اختلافات في عقود تفسيرية بدلاً من كونها عيوباً خوارزمية.
تعد ThriftAttention آلية انتباه انتقائية مختلطة الدقة تقوم ديناميكيًا بحساب جزء صغير فقط من كتل الاستعلام والمفتاح الحرجة بدقة FP16 بينما تعالج البقية بدقة FP4، مما يستعيد بفعالية جودة السياق الطويل لتكون قريبة من أداء FP16 الكامل دون التضحية بكفاءة الاستدلال منخفض البت.
تقدم الورقة البحثية KAPLAN-HR، وهي شبكة كولموغوروف-أرنولد تعتمد على B-spline لتحليل البقاء، والتي تتعلم تلقائياً التفاعلات المعقدة بين المتغيرات والآثار المتغيرة زمنياً دون تحديد يدوي، مما يوفر معدلات تقارب مستقلة عن الأبعاد وأداءً تنبؤياً فائقاً عبر مجموعات البيانات السريرية.
تُثبت هذه الورقة أنه في نماذج الميزات غير المقيدة وغير المنتظمة والعميقة، يؤدي العمق وحده إلى فرض انحياز ضمني منخفض الرتبة يعزز أكواد "softmax" على حساب ظاهرة "الانهيار العصبي" الملاحظة تقليدياً، وذلك عبر تغيير ديناميكيات التدريب وتقليص حوض الجذب للحلول عالية الرتبة.
تقدم هذه الورقة GPLD، وهو منظم ديناميكيات كامن مُعاقب بالتدرج لنموذج DreamerV3 يفرض سلاسة محلية في تعلم الانتقال عبر عقوبة جاكوبي صفية، مما يؤدي إلى تحسين كفاءة العينات واتساق التعلم في بيئات التحكم المستمر.