27989 ورقة بحثية
تُثبت هذه الورقة أن تحديد وجود نقاط عالية الكثافة منفصلة أو وديان كثافة في التجميع المستمر المحدد بكثافات متعددة الحدود هو بنفس صعوبة النظرية الوجودية للأعداد الحقيقية، بينما تظل الأسئلة الطوبولوجية ذات الصلة مفتوحة ولكنها لا تقل عن تلك الصعوبة.
تقترح هذه الورقة إطاراً عاماً لدمج النماذج يعتمد على متوسط فريشيه (Fréchet averaging) عبر متشعبات مناسبة لضمان ثبات التماثل، مما يبرهن على قدرته على استيعاب الأساليب الحالية مثل دمج فيشر (Fisher merging)، ويوفر خوارزمية عملية لدمج المحولات منخفضة الرتبة (LoRA) تعالج أوجه القصور في النهج الحالية.
تقدم هذه الورقة "توجيه مكافأة خريطة التدفق" (FMRG)، وهو إطار عمل يعتمد على مسار واحد ولا يتطلب تدريباً، يعيد صياغة التوجيه التوليدي كمسألة تحكم أمثل حتمية لتحقيق أفضل مستويات المحاذاة والسرعة (بواقع 3 تقييمات للوظيفة فقط) من خلال الاستفادة من خريطة التدفق لكل من التكامل وتوجيه المكافأة.
تقدم هذه الورقة "الوكيل المعزز" (Reinforced Agent)، وهو إطار عمل للاستدلال في وقت التنفيذ يستخدم مراجعاً متخصصاً لتقييم استدعاءات الأدوات قبل تنفيذها، مما يتيح التصحيح الفوري للأخطاء ويثبت من خلال مقاييس "المساعدة-الضرر" الجديدة أن فصل التنفيذ عن المراجعة يسمح بتحقيق مكاسب أداء منهجية عبر اختيار النموذج وتحسين الأوامر دون إعادة تدريب الوكيل الأساسي.
تُظهر هذه الدراسة أن إطار عمل لتعلم الآلة غير الخاضع للإشراف، والذي يجمع بين "غابة العزل" (Isolation Forest)، وخطأ إعادة بناء تحليل المكونات الرئيسية (PCA reconstruction error)، وخوارزمية "دي بي سكان" (DBSCAN)، يحدد بفعالية شذوذ تلوث المعادن الثقيلة النوعي في التربة الغانية والتي ترتبط ارتباطًا وثيقًا بالمخاطر الصحية المرتفعة، مما يتيح إدارة بيئية أكثر استهدافًا مقارنة بالمؤشرات الإجمية التقليدية وحدها.
تُثبت هذه الورقة أن تمثيل المهام ذات البنية ثنائية الأبعاد كمتواليات رمزية أحادية الأبعاد يُحدث "احتكاكاً في التسلسل" يعيق الأداء، بينما يؤدي الحفاظ على التخطيط الأصلي ثنائي الأبعاد من خلال مسار معزز بالرؤية إلى تحسين الدقة بشكل كبير وتقليل الأخطاء ذات البنية المكانية في مهام مثل تدوير المصفوفات، ولعبة حياة كونواي، وتحلل LU.
يُعد AutoSP إطار عمل قائمًا على المترجم (compiler) يقوم تلقائيًا بتحسين تدريب النماذج اللغوية الكبيرة للسياقات الطويلة عبر تطبيق توازي التسلسل (sequence parallelism) ونقاط تفتيش التنشيط (activation checkpointing)، مما يزيد بشكل كبير من أطوال سياق التدريب على كل من أجهزة NVIDIA وAMD مع عبء أداء ضئيل للغاية.
تقدم هذه الورقة البحثية "انتباه السجمويد" (sigmoid attention) كبديل مدعوم نظرياً ومتفوق تجريبياً لـ "انتباه السوفت ماكس" (softmax) لنماذج التأسيس الخاصة بالخلايا المفردة، حيث تُظهر أنه ينتج تمثيلات أفضل، وتدريباً أسرع، واستقراراً فائقاً، مع كونه مدعوماً بنواة "تريتون" (Triton kernel) عالية الكفاءة.
تقترح هذه الورقة تقنية "تقطير السياسة المتطور المشترك" (CoPD)، وهي نموذج تدريب مبتكر يدمج تدريب الخبراء المتوازي مع تقطير السياسة عبر الإنترنت ثنائي الاتجاه للتغلب على فقدان القدرات والفجوات السلوكية، محققةً أداءً فائقاً في الاستدلال الشامل للنصوص والصور والفيديو مقارنةً بطرق التعلم المعزز من التغذية الراجعة عبر البيئة (RLVR) وطرق التقطير الحالية.
تقدم هذه الورقة GPT، وهي تمثيل بارامتري جديد لـ Normalized Transformer يستفيد من أسس المحاذاة (alignment exponents) لتحقيق نقل لمعدل التعلم عبر عرض النموذج وعمقه وأفق الرموز (token horizon)، مما يعالج قصوراً رئيسياً في nGPT الأصلي.