11611 ورقة بحثية
تقدم الورقة البحثية إطار عمل Adaptive GoGI-Skip، الذي يربط بين أهمية تدرج الهدف (Goal-Gradient Importance) والتخطي الديناميكي القائم على عدم اليقين لتقليل حجم الرموز (tokens) بأكثر من 45% وتسريع الاستدلال بمعدل يصل إلى 2.0 في استدلال تسلسل الأفكار (Chain-of-Thought) دون المساس بالدقة.
تقدم هذه الورقة ATR-Bench، وهو إطار عمل مرجعي موحد للتعلم الاتحادي يعمل على تقييم الأساليب بشكل منهجي عبر ثلاثة أبعاد أساسية — التكيف، والثقة، والاستنتاج — لمعالجة غياب التقييم المعياري وتسهيل المقارنة العادلة في تدريب النماذج اللامركزية.
تتناول هذه الورقة تحدي كتابة الشذوذ في النصوص الهوساوية من خلال إنشاء مجموعة بيانات متوازية واسعة النطاق تضم أكثر من 400,000 زوج من الجمل المشوشة والنظيفة، وإثبات أن نماذج المحولات (transformer) التي تم ضبطها بدقة، ولا سيما نموذج M2M100، يمكنها تصحيح هذه الأخطاء بفعالية لتحسين مهام معالجة اللغات الطبيعية اللاحقة بشكل كبير.
تقترح هذه الورقة استخدام تحليل المصفوفات شبه غير السالبة (SNMF) لتفكيك تنشيطات طبقات الـ MLP إلى سمات متفرقة وقابلة للتفسير تتكون من عصبونات متزامنة التنشيط، مما يثبت أن هذا النهج يتفوق على المشفّرات التلقائية المتفرقة والنماذج المرجعية الخاضعة للإشراف في التوجيه السببي، مع الكشف عن بنية هرمية لتمثيلات المفاهيم في النماذج اللغوية الكبيرة.
تقدم هذه الورقة "فجوة لوجيت الرفض-التأكيد" كتشخيص للمرور الأمامي لقياس هوامش أمان المحاذاة، وتوضح أن "توجيه فجوة اللوجيت" يمكنه اكتشاف لواحق داخل النطاق ذات تعقيد منخفض وقابلة للنقل تتجاوز الدفاعات الحالية بكفاءة، مما يكشف أن متانة المحاذاة غالباً ما تعتمد على هوامش تشغيلية ضيقة.
تُثبت هذه الورقة، من خلال تجارب مضبوطة واسعة النطاق، أنه في حين يؤدي نمذجة اللغة المقنعة (MLM) عمومًا إلى تمثيلات نصية فائقة، فإن استراتيجية التدريب المسبق ثنائية الطور التي تطبق أولًا نمذجة اللغة السببية (CLM) ثم نمذجة اللغة المقنعة (MLM) تحقق الأداء الأمثل في ظل ميزانيات حوسبة ثابتة، لا سيما عند الاستفادة من نماذج CLM سابقة التدريب.
تُثبت هذه الورقة أن نماذج "ترانسفورمر" المكونة من فك التشفير فقط يمكنها الاستمرار في التعلم بفعالية عبر تكديس كتل جديدة فوق ركيزة مجمدة ضمن ميزانية محددة للمعلمات النشطة، مما يثبت جدوى التوسع التركيبي على مستوى الطبقات حتى في ظل قيود شديدة مثل واجهة الرموز الثنائية منخفضة الرتبة، وإن كان ذلك على حساب حساب التبادل مع الحيرة النهائية مقارنة بالنماذج المتجانسة القابلة للتدريب بالكامل.
تقدم هذه الورقة ReCode، وهو إطار عمل جديد للتعلم التعزيزي يعمل على تحسين توليد الكود من خلال تدريب نموذج مكافأة لعملية الاستدلال عبر التعلم التبايني ودمجه مع بوابات قائمة على التنفيذ للتخفيف من حدة "اختراق المكافأة"، مما يؤدي إلى مكاسب كبيرة في الأداء تضاهي GPT-4-Turbo.
تقدم الورقة البحثية CorrSteer، وهي طريقة تعمل على أتمتة اختيار ميزات المشفرات التلقائية المتناثرة (Sparse Autoencoder) القابلة للتفسير لتوجيه النماذج اللغوية الكبيرة (LLM) عبر ربط تنشيطات وقت الاستدلال بصحة العينة، مما يلغي الحاجة إلى مجموعات البيانات التباينية ويحسن الأداء بشكل كبير عبر معايير الاستدلال، وتخفيف الانحياز، والسلامة.
تقدم هذه الدراسة أول تحليل حوسبي واسع النطاق لخطاب نزع الشرعية السياسي في إسرائيل، وذلك باستخدام متن لغوي عبري مُشروح يدويًا ومسار ذكاء اصطناعي مبتكر يتكون من مرحلتين للكشف عن ارتفاع ملحوظ في خطاب نزع الشرعية على مدى ثلاثة عقود، لا سيما على وسائل التواصل الاجتماعي، وبين السياسيين الذكور والمنتمين لليمين، وخلال الأحداث السياسية الكبرى.