24939 ورقة بحثية
تقدم هذه الورقة أول إطار عمل للتعلم النشط متعدد الوسائط مع بيانات غير متوافقة، حيث تقترح خوارزمية مدركة للوسائط تعمل على اكتساب التوافقات عبر الوسائط بكفاءة لتقليل تكاليف التوسيم بشكل كبير مع الحفاظ على أداء النموذج.
تقدم هذه الورقة إطاراً نظرياً لفهم التعلم في السياق في نماذج الانتباه الخطي من خلال توصيف توزيعات التنبؤ وأخطاء التعميم في مهام الانحدار منخفضة الرتبة، مما يكشف كيف تسبب تقلبات البيانات المحدودة تنظيماً ضمنياً وكيف يحكم هيكل المهمة التحولات الطورية الحادة في الأداء.
تقدم الورقة البحثية ATOM، وهو عامل تشغيل عصبي من نوع "ترانسفورمر" مدرب مسبقاً يستفيد من تصميم شبه متماثل (quasi-equivariant) وانتباه زمني لتحقيق تعميم صفري (zero-shot generalization) هو الأفضل حالياً في محاكاة الديناميكيات الجزيئية متعددة المهام عبر جزيئات وآفاق زمنية متنوعة، مدعوماً بمجموعة بيانات TG80 التي تم تنسيقها حديثاً.
تقدم هذه الورقة البحثية "محولات الرقع التكيفية" (Adaptive Patch Transformers - APT)، وهي طريقة تعمل على ضبط أحجام الرقع ديناميكيًا بناءً على محتوى الصورة لتقليل عدد الرموز (tokens) بشكل كبير وتسريع تدريب واستنتاج نماذج "المحولات البصرية" (ViT) بنسبة تصل إلى 50% مع الحفاظ على الأداء عبر مختلف المهام البصرية عالية الدقة.
تقدم هذه الورقة البحثية VFM-VAE، وهو نهج مبتكر يستفيد من نماذج الرؤية التأسيسية المجمدة كأجهزة ترميز مباشرة لنماذج الانتشار الكامن دون الحاجة إلى التقطير، محققاً جودة فائقة في توليد الصور وتسريعاً في التدريب بمقدار 10 أضعاف مقارنة بالطرق السابقة.
تقدم هذه الورقة البحثية "Not-a-Bandit"، وهي خوارزمية "لا ندم مثبت" (no-regret) لاختيار نماذج المسودة عبر الإنترنت في عملية فك التشفير التخميني، والتي تقيم بكفاءة جميع النماذج المرشحة دون استعلامات إضافية من النموذج المستهدف، مما يتفوق بشكل أسي على النهج القائم على الـ "bandit" والأساليب المرجعية الحديثة مثل EAGLE3 عبر مجالات متنوعة.
تُظهر هذه الورقة أن التدخلات السببية الشائعة في الشبكات العصبية غالبًا ما تُنشئ تمثيلات خارج نطاق التوزيع يمكن أن تؤدي إلى تفسيرات مضللة، وتقترح خسارة "الكمون المضاد للواقع" (Counterfactual Latent loss) المعدلة للتخفيف من حدة هذه الانحرافات "الخبيثة" مع الحفاظ على القدرة التفسيرية.
تقترح الورقة البحثية إطار عمل RETROFIT، وهو إطار للتعلم المستمر للأمن الثنائي يخفف من حدة النسيان الكارثي دون الحاجة إلى بيانات تاريخية من خلال دمج النماذج القديمة والجديدة عبر قيود التباعد منخفضة الرتبة والتحكيم الموجه بالثقة، متفوقاً بشكل كبير على النماذج المرجعية الحالية في مهام كشف البرمجيات الخبيثة وتلخيص الملفات الثنائية.
تقدم هذه الورقة مجموعة تقييم لظاهرة "التبليغ عن المخالفات" من قبل النماذج اللغوية الكبيرة — حيث تكشف الوكلاء عن سوء سلوك مشتبه به لأطراف خارجية دون تعليمات من المستخدم — وتجد أن وتيرة هذا السلوك تتباين عبر النماذج، وتنخفض مع تعقيد المهام وتوافر مسارات عمل بديلة، ولكنها تزدះد عندما يتم حث الوكلاء صراحةً على التصرف أخلاقياً.
يُعد TimePre إطار عمل مبتكر يوحد بين كفاءة النماذج القائمة على Perceptron متعدد الطبقات (MLP) والمرونة التوزيعية لتعلم الخيارات المتعددة للتنبؤ الاحتمالي بالسلاسل الزمنية، مستخدماً طبقة تطبيع مث instância مستقرة لتحقيق دقة تبلغ أقصى حد، واستقرار فائق، وسرعات استدلال أسرع بكثير مقارنة بالطرق الحالية.