23164 ورقة بحثية
يقدم TabKDE طريقة عالية القابلية للتوسع والكفاءة لتوليد بيانات جدولية اصطناعية من خلال الجمع بين تحويلات الكوبولا وتقديرات كثافة النواة، محققاً دقة تضاهي نماذج التعلم العميق المعقدة مع تطلب وقت تدريب ومساحة تخزين ضئيلين للغاية.
تتناول هذه الورقة مشكلة عدم صلاحية التفسيرات المقابلة للواقع (counterfactual explanations) في ظل حدوث انزياح المفاهيم (concept drift) في تدفقات البيانات، وذلك عبر اقتراح مخطط تحديث خفيف الوزن ومستقل عن النموذج يعمل على إصلاح التفسيرات الحالية بكفاءة أكبر من إعادة إنشائها، مما يحافظ على صلاحيتها ومعقوليتها.
إن LLMForge هو إطار عمل للبحث عن البنى العصبية المدرك للأجهزة، والذي يستفيد من تقنية "الانتباه بمتعدد الرؤوس اللانهائية" ونموذج تكلفة متعدد الخلفيات لتوليد نماذج لغوية ذات معلمات أقل من المليار بشكل تلقائي ومُحسّن لتناسب قيود أجهزة الحافة المحددة، محققاً تحسينات كبيرة في كفاءة الطاقة، وزمن الاستجابة، ودقة النموذج مقارنة بالنماذج المرجعية الحالية.
تحدد هذه الورقة البحثية انحرافاً سلبياً جوهرياً في الأوزان ناتجاً عن التفاعل بين الخسائر القياسية والتنشيطات ذات الانحياز الإيجابي، مما يؤدي إلى تشتت عالٍ في التنشيط ومنحدرات حادة في الدقة في الشبكات العميقة، مما دفع المؤلفين لاقتراح clipped ReLU و GELU كحلول فعالة توازن بين التشتت والاستقرار والأداء.
تضع هذه الورقة إطاراً رياضياً صارماً لتدريب نماذج المحولات (transformers) ذات العمق والاتساع اللانهائيين في نظام المجال المتوسط (mean-field regime)، وذلك عبر نمذجة ديناميكياتها كمعادلة تفاضلية جزئية عصبية (neural PDE)، وإثبات جودة التحديد (well-posedness) للمرور الأمامي والخلفي، وتوضيح أن تدفق التدرج (gradient flow) يتقارب نحو القيم الصغرى العالمية تحت شروط محددة من حقن نواتج تدرج النماذج العصبية (Neural Tangent Kernel injectivity).
تقدم هذه الورقة PEIRA، وهي طريقة تعلم ذاتي غير تبايني (non-contrastive) تُنشئ هدفاً محدد المعالم عبر أثر (trace) مُنظّم خطي أمثل لضمان ديناميكيات تدريب مستقرة وغير منهارة تتوافق مع الفضاءات الفرعية للارتباط الخطي القانوني غير الخطي الرائدة، محققةً أداءً تنافسياً على ImageNet-1K وCIFAR-10.
تقدم هذه الورقة إطار عمل "Agent Bazaar" لتقييم وتحسين التوافق الاقتصادي لوكلاء النماذج اللغوية الكبيرة (LLM) المستقلين في الأسواق، مبرهنةً على أنه بينما تفشل النماذج الرائدة غالباً في منع المخاطر النظامية مثل عدم الاستقرار الخوارزمي والخداع عبر هجمات "Sybil"، فإن التعلم المعزز المستهدف باستخدام منهج تعليمي تكيفي يمكن أن ينتج نموذجاً بحجم 9 مليارات معلمة يتفوق بشكل كبير على النماذج الحالية في الحفاظ على استقرار السوق ونزاهته.
تُبين هذه الورقة أنه في إطار تجريبي توافقي، تقابل تذاكر اليانصيب الفائزة عائلات من مواقع فضاء الميزات المتوافقة التي تكون بالفعل قريبة من الرموز النهائية عند التهيئة، مما يشير إلى أن ظاهرة تذكرة اليانصيب محكومة بهندسة فضاء الميزات الخفية بدلاً من هويات الشبكات الفرعية المحددة في فضاء الأوزان.
تُثبت هذه الورقة أن تعلم الميزات في المراحل المبكرة في الشبكات العصبية ذات الطبقتين يعيد تشكيل فضاء الدوال المستحث بشكل جوهري عبر تحويل توزيع الميزات إلى توزيع غاوسي مدبب معتمد على الهدف، مما يخلق نواة متكيفة مع البيانات تعمل على تضخيم الاتجاهات المتوافقة مع الإشارة انتقائياً وخلط القيم الذاتية بدلاً من مجرد إعادة قياس نواة ثابتة.
تُثبت هذه الورقة أن كلاً من نماذج تعزيز التدرج (gradient boosting) ونماذج الذاكرة الطويلة قصيرة المدى (LSTM) لا يمكنهما تحقيق دقة تنبؤية ذات دلالة إحصائية فوق معدل الأساس البالغ 51.8% عند التنبؤ باتجاه عقود MNQ الآجلة خلال اليوم باستخدام بيانات OHLCV لمدة أربع سنوات بفاصل خمس دقائق، مما يشير إلى أن مجموعات البيانات أحادية الأداة هذه غير كافية للتعلم الآلي المالي المتسلسل الموثوق.