24017 ورقة بحثية
تقدم هذه الورقة VIGOR، وهو أسلوب تعلّم تعزيزي خالٍ من المُحقِّق (verifier-free) يستفيد من مكافآت معيار التدرج الجوهري المستمدة من نموذج السياسة نفسه لتحسين أداء النماذج اللغوية الكبيرة في الاستدلال الرياضي وتوليد الكود بشكل فعال دون الاعتماد على مُحقِّقات خارجية أو تسميات ذهبية.
تقترح هذه الورقة نسختين من خوارزمية "بوروتا" (Boruta) لاختيار الميزات مع تسريع عبر وحدة معالجة الرسومات، مما يثبت أنها تحسن كفاءة الحوسبة بشكل كبير لمجموعات البيانات الضخمة مع الحفاظ على دقة مماثلة للطريقة الأصلية القائمة على وحدة المعالجة المركزية، رغم أن النسخة القائمة على الشوائب قد تبالغ في تقدير أهمية بعض الميزات.
إن G-Zero هو إطار عمل تطوري مشترك وخالٍ من المتحقق (verifier-free)، يتيح التحسين الذاتي مفتوح النهاية للنماذج اللغوية الكبيرة عبر استخدام مكافأة "تلميح-" (Hint-) جوهرية لتدريب نموذج "المقترح" (Proposer) على توليد استعلامات وتلميحات تحدّية، والتي يتعلم منها نموذج "المولد" (Generator) عبر خوارزمية التفضيل المباشر (DPO)، مما يتجاوز قيود الحكام الخارجيين.
تقدم هذه الورقة إطار عمل ميكانيكا عامل التوحيد-التوسع (OpMech)، الذي يستخدم مقياس "فجوة-الترتيب" القابل للحوسبة ليعمل كإشارة تحكم مبدئية في الوقت الفعلي لتحديد التقارب والتوقف التكيفي في أنظمة التعلم المتنوعة، مما يستبدل بفعالية الطرق الاستدلالية بضمانات قائمة على الأدلة.
تُثبت هذه الورقة أن التجميع المتوسط عبر الرموز المولدة تلقائياً يؤدي إلى تمثيلات دلالية متفوقة مقارنة بحالات الرموز الفردية، مما يكشف أن المعلومات موزعة عبر عملية التوليد بدلاً من كونها ممركزة في موضع واحد.
تقترح هذه الورقة البحثية "الخياطة الهندسية رباعية الأبعاد" (Geometric 4D Stitching)، وهي إطار عمل فعال يحدد بوضوح المناطق الهندسية المفقودة ويملؤها بغرز رباعية الأبعاد مستندة إلى معالم واقعية لمعالجة التناقضات في طرق التوليد رباعي الأبعاد الحالية، مما يتيح توسيع وتعديل المشاهد بسرعة وجودة عالية على وحدة معالجة رسوميات واحدة.
تقترح هذه الورقة وتثبت الفرضية القائلة بأن البشر يتعلمون تجريدات قابلة لإعادة الاستخدام في البيئات غير المستقرة من خلال "الضغط الاستشرافي" (prospective compression) من أجل التحسين للمهام المستقبلية، وهو سلوك تفشل الخوارزميات الاسترجاعية والنماذج القائمة على النماذج اللغوية الكبيرة في التقاطه.
تُثبت هذه الورقة أن المحسنات مثل AdamW وMuon تُحدث مجمعات حلول ذات فقد صفري متميزة، وغالباً ما تكون منفصلة، في الشبكات العصبية، مما يكشف أن اتصال الأنماط يعتمد بشكل أساسي على مُحسن محدد وعلى تنظيمه الضمني بدلاً من كونه خاصية عالمية لمشهد الفقد.
تحدد هذه الورقة البحثية "انحراف الانتباه" كقصور رئيسي في نماذج فك التشفير التخميني ذات التوليد الذاتي، حيث ينزاح الانتباه من النص الأصلي (prompt) إلى الرموز المولدة بسبب المسارات المتبقية غير المعيرة، وتقترح إصلاحات معمارية مثل "التطبيع البعدي" (post-norm) و"تطبيع RMS لكل حالة مخفية" (per-hidden-state RMSNorm) والتي تحسن بشكل كبير أطوال القبول عبر مختلف المهام وأطوال السياق.
تُعد Lakestream طبقة بيانات (data plane) خالية من الوسيط (brokerless) وأصلية في تخزين الكائنات (object-store-native) لتدريب النماذج التأسيسية الضخمة، حيث تقدم دفعات عالمية معاملاتية (Transactional Global Batches) وخوارزمية التزام تكيفي لامركزية (Decentralized Adaptive Commit) لتوفير اتساق شبيه بخصائص ACID، وعزل للفشل، واستيعاب عالي الإنتاجية مع زمن انتقال أقل من الحلول الحالية القائمة على طوابير الرسائل أو الحلول المتمركزة (colocated).