27306 ورقة بحثية
تُثبت هذه الورقة أن استخدام نوافذ منزلقة قصيرة في البنى الهجينة يجبر النماذج على الاستفادة بشكل أفضل من آليات الذاكرة طويلة المدى، وأن تغيير أحجام النوافذ عشوائياً أثناء التدريب يحسن الأداء بشكل كبير في كل من مهام السياق القصير والطويل مقارنة بنهج النوافذ الثابتة.
تقدم هذه الورقة أول إطار نظري رسمي للتعلم التعزيزي المستمر تحت اتخاذ القرار الواعي بالمخاطر من خلال إثبات عدم توافق مقاييس المخاطر الكلاسيكية مع التعلم المستمر واقتراح فئة جديدة من "مقاييس المخاطر الإرغودية" التي نجحت في سد هذه الفجوة، مدعومة بالتحقق التجريبي.
تُقدم الورقة البحثية إطار عمل GALA، وهو إطار عمل اتحادي لتعلم التكيف مع النطاقات المتعددة غير الخاضع للإشراف وقابل للتوسع، يستخدم تقليل التباين المجموعي والوزن المصدري الديناميكي للتغلب على الاختناقات الحسابية في الإعدادات عالية التنوع، والذي تم التحقق من صحته من خلال أداء رائد في معيار جديد مكون من 18 مجموعة بيانات يسمى Digit-18.
تتقصى هذه الورقة تحديات التعميم المتميزة المتمثلة في التركيبية والتكرارية في النماذج اللغوية الكبيرة باستخدام المنطق القياسي كمعيار، كاشفةً أنه بينما تتعامل النماذج اللغوية الكبيرة مع التكرارية بشكل جيد، فإنها تعاني مع التركيبية، وتقترح بنية هجينة عصبية-رمزية تتغلب بفعالية على هذه القيود من خلال الجمع بين الكفاءة العصبية والاكتمال الرمزي.
تُظهر هذه الورقة أن دمج تناظرات المهام من خلال البنيات المتكافئة، لا سيما تلك التي تمتلك تمثيلات من رتب عليا، يحسن بشكل كبير قوانين القياس للجهود بين الذرية، مما يشير إلى أن التحيزات الاستقرائية الأساسية يجب هندستها صراحةً بدلاً من ترك النماذج تكتشفها مع توسع نطاقها.
تقترح هذه الورقة البحثية "أخذ عينات دمج الضجيج" (Noise Combination Sampling)، وهي طريقة مبتكرة تعمل على تخليق متجه ضجيج أمثل من فضاء جزئي للضجيج لدمج المعلومات الشرطية بشكل طبيعي في نماذج الانتشار، مما يؤدي إلى حل المشكلات العكسية الخطية بمتانة واستقرار فائقين دون الحاجة إلى ضبط المعلمات الفائقة خطوة بخطوة.
تعد TetraJet-v2 طريقة تدريب للنماذج اللغوية الكبيرة تعتمد على التكميم الكامل بـ 4 بت من البداية إلى النهاية، حيث تستخدم دقة NVFP4 عبر جميع الطبقات الخطية وتستحدث تقنيتي OsciReset وOutControl لتثبيط تذبذب الأوزان والتحكم في القيم المتطرفة بفعالية، مما يحقق أداءً يقارب الأداء غير المفقود مع تسريع ملحوظ مقارنة بـ FP8.
تقدم هذه الورقة إطارًا يستند إلى أسس إحصائية يسخر قابلية تفسير الذكاء الاصطناعي لرسم خرائط البيانات غير المهيكلة إلى تضمينات مفاهيمية عالية الأبعاد، مما يتيح اكتشافًا قويًا وقابلاً للتفسير وقابلاً لإعادة الإنتاج من خلال اختبار الفرضيات المتعددة عالي الأبعاد مع الاستدلال الانتقائي.
تُثبت هذه الورقة أن التحسين من الدرجة الصفرية الموفر للذاكرة (MeZO) يُمكّن من الضبط الدقيق للنماذج الأكبر حجماً بكثير من النماذج التقليدية عبر الانتشار العكسي من خلال إجراء الضبط الدقيق على الأجهزة، وذلك عبر إلغاء الحاجة إلى تخزين التنشيطات وحالات المُحسِّن، وبالتالي المقايضة بزيادة في وقت التنفيذ الفعلي مقابل دقة فائقة في ظل قيود الذاكرة الصارمة.
تقدم هذه الورقة البحثية ViLoMem، وهو إطار عمل ذاكرة ثنائي المسار يعتمد على مبدأ النمو والتهذيب لترميز أنماط التشتت البصري وأخطاء الاستدلال المنطقي بشكل منفصل، مما يمكّن النماذج اللغوية الكبيرة متعددة الوسائط من التغلب على قيود الذاكرة القائمة على المسار وتحقيق دقة محسنة مع تقليل الأخطاء المتكررة عبر مختلف المعايير.