24235 ورقة بحثية
تثبت هذه الورقة أن التناثر في بنيات "خليط من الخبراء" (MoE) يعمل كعمق توافقي عبر الاستفادة من الهندسة الاستوائية لإثبات أن توجيه "أعلى " يقسم فضاء المدخلات إلى مراوح طبيعية لمتعدد السطوح البسيط، مما يمنح نماذج "خليط من الخبراء" قدرة تعبيرية هندسية فائقة و"مرونة توافقية" ضد انهيار السعة على البيانات منخفضة الأبعاد مقارنة بالشبكات الكثيفة.
تقترح هذه المقالة إطاراً لاختبار الفرضيات القائم على أسس إحصائية بناءً على اختبار "ماكنيمار" للكشف بشكل موثوق عن التدهور الطفيف في النماذج الناتج عن الأخطاء العددية الناشئة عن عمليات التحسين، والتمييز بينها وبين ضجيج التقييم الحميد، وبالتالي التحكم في معدل الإيجابيات الكاذبة.
تقدم هذه المساهمة خوارزمية ، وهي خوارزمية فعالة بشكل مثبت تعتمد على المفهوم القائم على نظرية الألعاب لـ "فائز بلاكويل ذي الاعتلاج الأقصى" (Maximum-Entropy Blackwell Winner) لمعالجة التفضيلات غير المتعدية في الضبط الدقيق للتفضيلات متعددة الأهداف دون الحاجة إلى تغيير القياس، مع إثبات أداء متفوق على النماذج اللغوية الكبيرة باستخدام التغذية الراجعة للتقييم متعدد الأهداف.
تقدم هذه المقالة "محاذاة هندسة المسبار" (PGA)، وهي تدخل جراحي يعمل على محاذاة أنشطة النموذج بحيث يتم تقليل قدرة التمييز الميزاتي للحفظ عبر التسلسلات في النماذج اللغوية الكبيرة إلى ما دون مستوى الصدفة، مع الحفاظ على قدراتها الوظيفية.
تقترح هذه الورقة أن الذكاء المستقل يمكن أن ينبثق من خلال تبديل الأنظمة الداخلي عبر استغلال ديناميكيات تعلم غير قابلة للاختزال القياسي، والتي تتيح انتقالات مولدة داخلياً عبر التغذية الراجعة بين المتغيرات السريعة والتكيف الهيكلي البطيء، مما يتناقض مع الانتقالات المفروضة خارجياً والمميزة للأنظمة القائمة على التدرج القابلة للاختزال القياسي.
تقدم الورقة البحثية MetaAdamW، وهو مُحسِّن مبتكر يستخدم آلية الانتباه الذاتي الموجهة بهدف تعلم تلوّي (meta-learning) وتوزين عدم اليقين المحقون ذي الأولوية لضبط معدلات التعلم الخاصة بالمجموعات واضمحلال الأوزان ديناميكيًا، مما يتجاوز أداء AdamW القياسي عبر مهام متنوعة من خلال تحسين سرعة التقارب وأداء النموذج.
تقدم هذه الورقة البحثية "التقطير المستمر" (Continual Distillation)، وهو نموذج يتعلم فيه نموذج طالب بشكل متسلسل من تدفق من المعلمين غير المتجانسين دون الوصول إلى بيانات التدريب الخاصة بهم، وتقترح "تقطير البيانات الخارجية الذاتية" (Self External Data Distillation - SE2D) لمواجهة نسيان المعرفة غير المعروفة بفعالية أثناء نقل المعرفة غير المعروفة باستخدام بيانات خارجية غير مصنفة.
تُظهر هذه المقالة أن هوية مهمة التعلم في السياق ليست محصورة في طبقات أو رموز (tokens) محددة، كما يوحي الفحص الخطي (linear probing)، بل هي مشفرة سببيًا كقوالب تنسيق مخرجات موزعة عبر رموز الأمثلة، مع وجود نافذة تدخل حرجة تقع عند حوالي 30% من عمق الشبكة.
تتناول هذه المقالة مدى موثوقية نماذج البقاء العميق غير المعلمية لتطور مرض الزهايمر من خلال كشف التحيزات الكبيرة ضد الفئات المهمشة واقتراح مقياسين جديدين للعدالة لقياس ومعالجة حالات عدم المساواة هذه.
تقدم الورقة البحثية FREIA، وهو خوارزمية تعلم تعزيزي غير خاضعة للإشراف، تستفيد من المكافأة المدفوعة بالطاقة الحرة وتشكيل الميزة التكيفي للتكيف ديناميكيًا مع قدرات الاستدلال المتطورة، مما يؤدي إلى التفوق على النماذج المرجعية الحالية في مهام مثل الاستدلال الرياضي دون إشراف قائم على الحقيقة الأرضية.