22512 ورقة بحثية
تتقصى هذه الورقة حدود العرض والعمق اللانهائيين لشبكات الترميز التنبؤي، حيث تستنتج بارامترات مستقرة تمنع انفجارات التدريب وتثبت أن تدرجات الترميز التنبؤي تتقارب مع تدرجات الانتشار العكسي في الشبكات الواسعة، مما يقدم آلية تعلم محلية ذات صبغة بيولوجية للبنى العميقة.
تقدم هذه الورقة نموذجاً مسنداً (spiked model) عالي الأبعاد وقابلاً للحل، يوضح أن المشفرات التلقائية غير الخطية يمكنها استعادة البنى الكامنة التي لا يمكن للطرق الخطية مثل تحليل المكونات الرئيسية (PCA) رؤيتها، حتى عندما يؤدي تعلم التمثيل المتفوق هذا إلى خسارة إعادة بناء اختبار أعلى.
تقدم هذه الورقة البحثية SPD Learn، وهي مكتبة بايثون موحدة ونمطية تسهل التعلم العميق الهندسي لفك التشفير العصبي من خلال توفير مؤثرات مصفوفات SPD مستقرة عددياً وطبقات قائمة على التبسيط (trivialization) لفرض قيود المتشعب مع ضمان التكامل السلس مع أدوات التصوير العصبي والتعلم الآلي الحالية.
تقدم هذه الورقة إطاراً موحداً لمعالجة الكهروسكونية في جهود الذرات البينية لتعلم الآلة من خلال اعتبار النماذج الحالية تقريبات خشنة لنظرية وظيفية الكثافة، مما يحدد فضاء تصميم أوسع للنماذج ذاتية الاتساق التي تم التحقق من صحتها مقابل أنظمة صعبة مثل الواجهات البينية بين المعدن والماء والفراغات المشحونة لتسليط الضوء على قيود النهج الحالية.
تقدم هذه الورقة البحثية مرشح السلامة التنبؤي المدرك لعدم اليقين (UPSi)، وهو إطار عمل مبتكر يدمج الشبكات العصبية التجميعية الاحتمالية مع التحقق الصارم القائم على المجموعات الممكن الوصول إليها لتوفير استكشاف قابل للتوسع ومضمون السلامة للتعلم التعزيزي القائم على النماذج دون التضحية بالأداء.
تقترح الورقة البحثية "خبير القفل المساري" (Path-Lock Expert - PLE)، وهو حل على مستوى البنية التحتية يستبدل طبقات التغذية الأمامية المفردة بخبيرين مقفلين دلالياً لأنماط استدلال متميزة، مما يقضي فعلياً على تسرب الاستدلال ويحسن الدقة في سيناريوهات عدم التفكير مع الحفاظ على أداء قوي في أنماط التفكير.
تقدم هذه الورقة الكمية غير المتماثلة إحصائياً (SLQ)، وهي طريقة تكميم على مستوى الطبقات تحقق دقة خالية من فقدان المهام عند أقل من 4 بت لكل معلمة، ودقة أمانة خالية من فقدان التوزيع عند 5-6 بت، مع تقديم تسريع في الاستنتاج بمعدل 1.7-3.7 ضعفاً مقارنة بـ FP16.
تكشف هذه الورقة أن تكميم ذاكرة التخزين المؤقت لـ KV منخفض البت يمكن أن يؤدي إلى تدهور صامت في محاذاة سلامة النماذج اللغوية الكبيرة بسبب الضعف الهندسي لميزات السلامة في الفضاءات الفرعية للتنشيط، وتقترح بروتوكول تقليص لكل قناة (PCR) لا يتطلب تدريباً يشخص أوضاع فشل محددة لاستعادة ما يصل إلى 97% من المحاذاة المفقودة مع حد أدنى من الأعباء الإضافية.
تقدم هذه الورقة Full-Stack FP4، وهو إطار عمل معياري يوسع نطاق تكميم NVFP4 ليتجاوز عمليات الإسقاط الخطي ليشمل حالات المحسن المستقرة، وحسابات Root/Muon، والاهتمام مختلط الدقة، محققاً أداءً يقارب BF16 في مرحلة ما قبل التدريب مع مكاسب كبيرة في الذاكرة والسرعة على بطاقة RTX 5090 واحدة.
تقدم هذه الورقة UI-MOPD، وهو إطار عمل مبتكر يستفيد من التقطير متعدد المعلمين في السياسة الموحدة (multi-teacher on-policy distillation) ومن مجموعة بيانات Uni-GUI التي تم إنشاؤها حديثاً لتدريب وكيل واجهة مستخدم رسومية موحد وعابر للمنصات، مما يدمج بفعالية الخبرات المتخصصة في أجهزة المكتب والهواتف المحمولة مع التغلب على التحديات المتعلقة بندرة البيانات واختلاف تقاليد التفاعل.