23088 ورقة بحثية
تقدم الورقة البحثية AMUSE، وهو مُحسِّن جديد يجمع بين التقدم السريع لـ Muon وبين المتوسط الخالي من الجدولة (Schedule-Free averaging) لاستقرار التدريب وإلغاء الحاجة إلى جداول معدل التعلم، مما يحقق أداءً فائقاً عبر مهام الرؤية واللغة.
تقدم هذه الورقة دراسة منهجية لحقن الأعطال الكهرومغناطيسية على جهاز Intel Neural Compute Stick 2، كاشفةً أن الاضطرابات الناتجة عن نبضة واحدة يمكن أن تؤدي إلى تدهور حاد ومستمر في الدقة وتوقف الجهاز عن العمل بطريقة تتملص من آليات الكشف القياسية على مستوى واجهة برمجة التطبيقات (API)، مما يثبت عدم كفاية فحوصات سلامة وقت التحميل لعمليات نشر الذكاء الاصطناعي عند الحافة في التطبيقات الحرجة للسلامة.
تحلل هذه الورقة مزادات السعر الأول المتكررة حيث يتلاعب "الشلن" بالتغذية الراجعة بدلاً من التخصيص، وتقترح خوارزمية هجينة تحقق ندمًا أمثل بمقدار عبر الجمع بين حذف الفترات القوي وإزالة الانحياز المتفائل، مع إثبات أن مثل هذا التلاعب المقتصر على التغذية الراجعة يزيد بشكل كبير من الصعوبة الإحصائية لتعلم تقديم العطاءات.
تقترح هذه الورقة البحثية طريقة Qreg+NWLU، وهي طريقة تعتمد على إعادة تكرار البيانات القائمة على القيمة للتعلم التعزيزي المستمر متعدد الدورات، والتي تتغلب على قيود النهج المتمحور حول الفاعل من خلال إدخال جمع مستمر لقيم Q وتنظيم "عدم الانتظار" الفوري للتخفيف بفعالية من النسيان الكارثي وتعزيز نقل المعرفة.
تُثبت هذه الورقة أن اختيار ترميز الرسوم البيانية (graph tokenization) يحدد بشكل جوهري قدرة التعبير في نماذج المحولات (transformer expressivity) ومتطلبات العمق، وذلك من خلال إرساء مقايضات نظرية متميزة — مثل الفقدان مقابل سوء التكيّف (lossiness versus ill-conditioning) — بين التمثيلات الطيفية، وتمثيلات المسار العشوائي، وتمثيلات التجاور، مع إثبات أن التحويل بين هذه الرؤى غير المتوافقة يكون غالباً مستحيلاً بالنسبة للنماذج ذات العمق المحدود.
تُثبت هذه الورقة أن اختناقات "الفائز يأخذ الكل" (Winner-Take-All) في الشبكات العصبية العميقة تفرض استخراج عوامل كامنة فئوية، رمزية للغاية ومنفصلة، في تعلم المهام المتعددة، مما يعزز التعميم ويجسر الفجوة بين الذكاء الاصطناالي الرمزي والذكاء الاصطالي دون الرمزي.
تُثبت هذه الورقة أن أخذ عينات العقد العشوائية (Random Node Sampling)، على الرغم من استبعاده للهيكل المحلي للرسم البياني، يتفوق على التدريب على الرسم البياني الكامل وعلى أخذ العينات المعقدة المدركة للهيكل، وذلك من خلال تقليل هدف مُنظّم ضمني بتباين تدرج أقل، كما كشف تحليل الخطأ العكسي لتدريب التدرج الاشتقاقي العشوائي المصغر (mini-batch SGD).
تؤسس هذه الورقة إطاراً نظرياً عالي الأبعاد يوضح أنه في النماذج الخطية المعممة المنتظمة، يمكن أن يؤدي زيادة قوة محفزات الباب الخلفي للتدريب، على نحو متناقض، إلى تحسين دقة الاختبار النظيفة وتقليل نجاح الهجوم بسبب عتبات الضوضاء ذات العينات المحدودة، حيث تتماشى المحفزات الأكثر ضرراً مع المتجه الذاتي الأدنى لمغايرة البيانات.
تُظهر هذه الورقة أنه بينما تشير المسابير الخطية إلى أن نموذج "ترانسفورمر" مُدرب على استخراج الأرقام الأساسية يقوم بحساب وسائط حسابية مرحلية، فإن الاختبارات السببية تكشف أن المسار الحسابي الفعلي يعتمد على تدفقات مدخلات منفصلة تتحد في مرحلة متأخرة، مما يسلط الض الضوء على تباين كبير بين الأدلة التمثيلية والآلية السببية.
تحلل هذه الورقة كيفية فشل التوصيفات متعددة الأنماط المختلفة في التعلم بالتقليد السلوكي القائم على تقسيم الأفعال تحت قيود متباينة، حيث تُظهر أن السياسات ذات المتغيرات الكامنة تعاني من المقايضة بين التنظيم والحفاظ على النمط، بينما تتقيد السياسات التوليدية في فضاء الأفعال بسلاسة خرائط النقل الخاصة بها.