11125 ورقة بحثية
تقدم هذه الورقة أول دراسة منهجية للتنشيطات الضخمة في نماذج اللغات الكبيرة ذات الانتباه الخطي الهجين، كاشفةً عن مورفولوجيتين متمايزتين متواقيتين مع البنية —القمم ما قبل الانتباه والهضاب بين القمم— تظهران في وقت مبكر من التدريب، وتستمر عبر مختلف المقاييس والمجالات، ويُفسَّران آلياً من خلال دورة حياة مشتركة من إلغاء التنشيط.
تتحدى هذه الورقة البحثية افتراض استقرار تصنيفات النماذج اللغوية الكبيرة من خلال إثبات أن تغيير ميزانيات رموز الاستدلال (inference tokens) يغير بشكل كبير الأداء والترتيب، مما يكشف عن سلوكيات غير رتيبة، وانعكاسات في التصنيف، وتكاملًا بين النماذج يستلزم بروتوكولات تقييم مشروطة بالميزانية.
تقدم هذه الورقة مفهوم "مفارقة وفرة المعلومات"، موضحةً أن تدريب النماذج اللغوية الكبيرة بسياقات طويلة للغاية يمكن أن يقوض قدرتها على استيعاب المعرفة بارامترياً، مما يتسبب في اعتمادها المفرط على الإشارات السياقية ويؤدي في النهاية إلى خفض الأداء في المهام التي تتطلب استرجاع المعرفة دون دعم.
تقترح هذه الورقة مسار معالجة لغوية طبيعية هجين يجمع بين التجميع غير الخاضع للإشراف والتصنيف الخاضع للإشراف للكشف بفعالية عن اللغة الاتهامية في تعليقات المشتريات العامة في الإكوادور، مما يعزز الشفافية وتحديد المخاطر دون الحاجة إلى موارد حوسبة واسعة النطاق.
تجادل هذه الورقة بأن البنية التحتية للذكاء الاصطناًعي تضع المتحدثين باللغات غير الممثلة كفاية، مثل اللغة البنغالية، في وضع غير مواتٍ بشكل منهجي من خلال عوائق هيكلية — تشمل الندرة الشديدة في البيانات، وعدم كفاءة الترميز (tokenization)، وفجوات الاتصال — بدلاً من كونها مجرد قيود تقنية معزولة، مما يستوجب التحول نحو استراتيجيات تصميم تركز على العدالة وتعتمد مبدأ "الأولوية للعمل دون اتصال" (offline-first).
تُثبت هذه الورقة أن استراتيجية بناء المحفظة الاستثمارية المدركة لعدم اليقين، والتي تدمج مشاعر المستثمرين المستمدة من النماذج اللغوية الكبيرة مع الإشارات الاقتصادية الكلية والتقنية مع تفكيك المخاطر صراحةً إلى مكونات عشوائية وإبستيمية (معرفية)، تحقق أداءً فائقاً من خلال الفصل بين أنظمة اختيار الأسهم القائمة على "ألفا الصافية" و"بيتا الصافية" بدلاً من اشتراط تأكيدها في آن واحد.
تقدم الورقة البحثية RoSeMary، وهو إطار عمل جديد للتصميم المشترك بين تعلم الآلة والتشفير (ML/Crypto codesign)، يستخدم التدريب من الطرف إلى الطرف باستخدام CodeT5 وبراهين المعرفة الصفرية لدمج علامات مائية قوية ووظيفية وتحافظ على الخصوصية في الأكواد البرمجية التي تولدها النماذج اللغوية الكبيرة (LLM)، مما يعالج بفعالية تحديات انخفاض الإنتروبيا والتحقق الآمن.
تقدم الورقة البحثية FoR-SALE، وهو إطار عمل مبتكر يعزز تحرير النصوص إلى صور من خلال تقييم وتصحيح عدم المحاذاة المكانية بين الأوصاف النصية والصور المولدة عبر رسم خرائط المنظور الموجه بإطار المرجع وتعديلات الفضاء الكامن، مما يحسن بشكل كبير أداء النماذج الرائدة في معايير فهم الأبعاد المكانية.
تقدم هذه الورقة TEMMED-BENCH، وهو معيار متعدد المهام مصمم لتقييم قدرة نماذج الرؤية واللغة على الاستنتاج بشأن التغيرات الزمنية في الحالات الطبية للمرضى عبر زيارات متعددة، مما يكشف عن قيود كبيرة في النماذج الحالية مع إثبات أن تعزيز الاسترجاع متعدد الوسائط يمكن أن يعزز الأداء بشكل فعال.
تقترح هذه الورقة نهجاً مبتكراً لتعزيز أداء التصحيح الآلي للمقالات في كل من بيئات البيانات المحدودة والبيانات الكاملة من خلال دمج ثلاث تقنيات رئيسية —وهي الضبط الدقيق ثنائي المراحل، ومحاذاة الدرجات، والتدريب الذاتي المدرك لعدم اليقين— في نموذج DualBERT، محققةً بذلك نتائج هي الأفضل في فئتها على مجموعات بيانات متعددة بما في ذلك ASAP++.