26757 ورقة بحثية
تُثبت هذه الورقة أن التخفيف الطيفي للرسوم البيانية (spectral graph sparsification) يحافظ على البنية الهندسية للتضمينات المتعلمة في الشبكات العصبية الرسومية ذات المرشحات متعددة الحدود، وذلك من خلال إثبات أن عملية التخفيف تسبب اضطرابات محدودة في المرشحات والتمثيلات الخفية، مما يضمن استقرار ديناميكيات التدريب وقابلية التفسير في المهام اللاحقة.
تقدم هذه الورقة "تسرب اللاحقة المعياري" (mPL) وإطار التحكم التكيفي الخاص به (AmPL) لمعالجة الثغرات الأمنية المتعلقة بالخصوصية في الخصوصية التفاضلية المعيارية في إعدادات الاستهلاك المشترك، حيث يمكن للأدلة المجمعة أن تكشف عن معلومات حساسة رغم وجود حمايات لكل سجل.
تقدم هذه الورقة نهجاً قائماً على TinyLM معززاً بتقنيات الضبط الدقيق وقت الاختبار مثل التدريب وقت الاختبار (Test-Time-Training) وحاصل ضرب الخبراء (Products of Experts) لحل ألغاز ARC-AGI-2 البصرية، محققةً دقة بنسبة 21.7% على مجموعة التقييم.
تقدم هذه الورقة إطار عمل يتكون من أخذ عينات النواة المتماثلة ومحرك تضمين الخبراء لتنقية أزواج التدريب ودمج خبراء التضمين، مما يؤدي بفعالية إلى تقليص الفجوة بين الأنماط وتحسين استرجاع الوسائط المتعددة وأداء النماذج في المهام اللاحقة على مجموعات البيانات غير المتجانسة.
تقدم هذه الورقة إطاراً منهجياً لتقليل الأضرار الجانبية في توجيه التنشيط من خلال صياغته كمسألة تحسين مقيدة تأخذ في الاعتبار التكاليف غير الموحدة للاضطرابات عبر اتجاهات الميزات باستخدام مصفوفة العزم الثاني التجريبية للتنشيطات.
تقدم هذه الورقة نظرية غير تقاربية لتعميم التعلم العميق بناءً على تقسيم نواتج فضاء المخرجات بواسطة نواتج التانغنت العصبية التجريبية، والتي تفسر ظواهر مثل الإفراط الحميد في التخصيص والتدقيق (grokking)، مع تقديم مسبق شرطة عملي يعتمد على نسبة الإشارة إلى الضجيج (SNR) يعمل على تسريع التدريب وكبح الحفظ دون الحاجة إلى بيانات التحقق.
تكشف هذه الورقة عن دورة تكرارية من تخفيف التركيز في ديناميكيات تدريب نماذج المحولات (Transformer)، مما يفسر كيف يتقدم تعلم الانتباه على البيانات الماركوفية عبر مراحل متميزة من تكثيف الرتبة، والتركيز المدفوع بالتردد، وإعادة توزيع الكتلة، وكسر التماثل لبدء دورات تعلم لاحقة.
تقدم هذه الورقة البحثية البعد الطيفي لهسيان الموضع (LHSD)، وهي طريقة قابلة للتوسع تعمل على تقدير البعد الجوهري الموضعي بمتانة في الفضاءات عالية الأبعاد من خلال تطبيق تصفية طيفية على هسيان كثافة اللوغاريتم للتمييز بين الاتجاهات المماسية والضجيج، مما يتيح الكشف الفعال عن الحفظ في نماذج الانتشار واسعة النطاق.
تقدم هذه الورقة البحثية تدفقات هرمية مشروطة تعسفياً (ARCH)، وهو إطار عمل للتدفق الهرمي يتغلب على قيود نماذج العمليات النقطية ذات الترتيب الذاتي الحالية من خلال تمكين التكييف المرن مع الأحداث المرصودة التعسفية لتوحيد وتحسين الأداء عبر مهام التنبؤ المكاني الزماني، والاستدلال العكسي، واستعادة المسار.
تحدد هذه الورقة وتخفف من أثر "مصب الانتباه" (attention sink) المنهجي في نماذج الترجمة الآلية العصبية متعددة اللغات، حيث تمتص الرموز غير المحتوية على محتوى كتلة الانتباه المتقاطع بشكل غير متناسب، وذلك عبر تقديم منهجية تصفية تكشف عن أنماط لغوية كانت محجوبة سابقاً وتحسن بشكل كبير من موثوقية تحليلات التفسير القائمة على الانتباه.