12021 ورقة بحثية
تقترح هذه الورقة إطار عمل شاملاً لتمكين الاستدلال عبر تسلسل الأفكناء بكفاءة ودقة في النماذج اللغوية الكبيرة الصغيرة على أجهزة الحافة، وذلك من خلال الجمع بين محولات LoRA والضبط الدقيق الخاضع للإشراف، والتعلم المعزز القائم على فرض الميزانية، وتوسيع نطاق وقت الاختبار المتوازي، والتبديل الديناميكي للمحولات للتغلب على قيود الذاكرة وزمن الاستجابة.
تقدم هذه الورقة البحثية CausalDANN، وهو إطار عمل مبتكر يسخر النماذج اللغوية الكبيرة لإجراء تحويلات نصية ومصنفات تكيفية مع النطاق لتقدير الآثار السببية للتدخلات النصية المعقدة وعالية الأبعاد في الأنظمة الاجتماعية باستخدام البيانات الرصدية بشكل قوي.
تقدم الورقة البحثية ArithmAttack، وهي طريقة لتقييم متانة النماذج اللغوية الكبيرة تجاه ضجيج علامات الترقيم في حل المسائل الرياضية، كاشفةً أن ثمانية نماذج تم اختبارها تعاني من تدهور في الأداء مع زيادة مستويات الضجيج رغم عدم وجود فقدان في المعلومات.
تستعرض هذه الورقة طرق دمج النماذج اللغوية الكبيرة لإكساب البشر الرقميين في الواقع الافتراضي شخصيات دقيقة من خلال تقنيات مثل التعلم من المحاولة الصفرية والضبط الدقيق، مع معالجة التحديات الرئيسية مثل زمن الاستجابة والحاجة إلى أطر تقييم معيارية للنهوض بالتطبيقات في مجالات التعليم والعلاج والألعاب.
تقترح هذه الورقة طريقة تدريب تدريجية فعالة تعمل على توسيع النماذج الصغيرة بشكل تراكمي إلى أحجام أكبر لبناء عائلة من النماذج، مما يقلل إجمالي التكاليف الحسابية بنسبة 25% تقريبًا مع الحفاظ على الأداء والاتساق السلوكي أو تحسينهما مقارنة بالتدريب المستقل التقليدي.
تقدم هذه الورقة معياراً لـ "اتباع التعليمات الواقعية المضادة" لتوضيح أن النماذج اللغوية الكبيرة المتطورة، بما في ذلك نماذج الاستدلال، تعاني بشكل جوهري من صعوبة في محاكاة الشخصيات ذات مستويات الأداء المعكوسة (مثل الطلاب ذوي الكفاءة المنخفضة) في مهام الاستدلال الرياضي، وهو قصور يتفاقم بشكل أكبر عند تقاطع الأداء مع السمات الديموغرافية مثل العرق.
تقترح هذه الورقة هجوماً غير خاضع للإشراف، سريعاً وفعالاً لتسميم المتون المخصصة للاسترجاع الكثيف، يعمل مباشرة في فضاء التضمين المستمر لإنشاء مستندات عدائية تبدو طبيعية دون الحاجة إلى معرفة مسبقة بتوزيع الاستعلامات.
تتحدى هذه الورقة فعالية الأساليب الحالية لتطهير النصوص من خلال إثبات أنها تمنح شعوراً زائفاً بالخصوصية، كونها تفشل في منع إعادة تحديد الهوية عبر العلامات الدلالية الدقيقة والمعلومات الإضافية، مما يستلزم غالباً وجود مقايضة بين حماية الخصوصية القوية وفائدة البيانات.
تستعرض هذه الورقة إنشاء وتقييم وتطبيق مجموعات بيانات الحوار السريري الاصطناعية، مع اقتراح تصنيف جديد لتصنيف مستويات تخليق البيانات، بهدف توجيه استخدامها الفعال وتعميمها في مهام معالجة اللغات الطبيعية في مجال الرعاية الصحية.
تقدم هذه الورقة "Guiding Giants"، وهو متحكم خفيف الوزن وقابل للتدريب يقوم ديناميكياً بتعديل توجيه التنشيط الخاص بكل طبقة بناءً على محتوى المدخلات، وذلك لكبح السلوكيات الضارة للنماذج اللغوية الكبيرة بكفاءة وتكيف أثناء وقت الاستدلال دون تغيير معلمات النموذج الأصلية.