23609 ورقة بحثية
تُثبت هذه الورقة بشكل منهجي أن صعوبة البيانات المثلى للضبط الدقيق الخاضع للإشراف للنماذج اللغوية الكبيرة تعتمد على حجم مجموعة البيانات، مما يكشف عن مقايضة بين التعميم والاستقراء حيث تستفيد ميزانيات البيانات الأكبر من الأمثلة الأكثر صعوبة.
تُثبت هذه الورقة نظرياً أن التعميم من الضعيف إلى القوي يُمكّن النموذج القوي من تعلم مهمة محددة بكفاءة واستخلاص معرفته الكامنة من خلال تعلم الميزات مع الحفاظ على القدرات المتنوعة سابقة التدريب، مما يتجنب النسيان الكارثي الذي غالباً ما يُلاحظ في الضبط الدقيق الخاضع للإشراف القياسي.
تعيد هذه الورقة البحثية النظر في تجميع البيانات (DAgger) لوكلاء النماذج اللغوية الكبيرة (LLM) ذوي الأفق الطويل للتخفيف بفعالية من انزياح التغاير عبر الجمع بين التفاعل القائم على السياسة مع الإشراف المكثف من المعلم، مما يظهر مكاسب أداء كبيرة في مهام هندسة البرمجيات حيث تتفوق النماذج الأصغر المدربة بهذه الطريقة على الأنظمة المرجعية الأكبر.
تقدم هذه الورقة نظام SHM-Agents، وهو نظام عام-متخصص معياري يدمج النماذج اللغوية الكبيرة مع خوارزميات متخصصة لتمكين التنفيذ الشامل والمتنوع لمهام مراقبة الحالة الإنشائية المدفوعة باللغة الطبيعية، مع التغلب على حواجز التنفيذ والتشغيل البيني التقليدية.
تقدم هذه الورقة البحثية IV-ICL، وهي طريقة تعلم داخل السياق بايزيّة مستهلكة (amortized) تستعيد بفعالية حدود الأثر السببي من خلال تعلم التوزيعات اللاحقة الهامشية مباشرة عبر تقليل تباين كولباك - ليبلر (KL) الشامل، متفوقةً بذلك على النماذج المرجعية شبه المعلمية والبايزية الحالية من حيث الصلاحية، والقدرة المعلوماتية، والسرعة الحسابية، مع اقتراح إجراء مبتكر لتوليد معايير مرجعية للـ IV واقعية من التجارب العشوائية المحكومة.
تتقصى هذه الورقة التكلفة الحسابية للجمع بين النمذجة على مستوى البايت والانتشار المقنع، كاشفةً أن الأخير يعاني من عقوبة توسع أكثر حدة من النماذج ذات الترتيب الذاتي بسبب هشاشة السياق، مما يشير إلى أن التصاميم المستقبلية غير المرتبطة بنمط معين تتطلب انحيازات هيكلية جديدة لتبقى فعالة.
تقترح الورقة البحثية CRePE، وهي طريقة تشفير موضعي مبتكرة تستفيد من توقعات الأشعة المنحنية ومحول انتباه هندسي لتمكين التحكم الموحد والمستقر في الكاميرا والتحكم في الهندسة الخارجية في توليد الفيديو، مما يعالج بفعالية قيود التشفيرات الحالية القائمة على نموذج الثقب الإبري للعدسات ذات الزاوية العريضة وعدسات عين السمكة.
تحدد هذه الورقة وتحلل فجوة التعبيرية بين الدوائر الاحتمالية والنماذج اللغوية الكبيرة في النمذجة اللغوية ذات الترتيب الذاتي، كاشفةً أنه بينما يمكن لتمثيل المعلمات في فضاء اللوجيت والبنى القابلة للتفكيك أن يخففا من حدة اختناقات معينة، فإن هيكل التوجيه الثابت للدوائر الاحتمالية القابلة للتفكيك المهيكلة يحد بشكل أساسي من قدرتها على نمذجة تضاريس التبعية غير المتجانسة مقارنة بالنماذج المحولة.
تقدم الورقة البحثية إطار عمل MANGO، وهو إطار عمل قائم على البيانات يستفيد من التعلم التعزيزي والتدرجات النصية ضمن شبكة تدفق لتحسين التعاون بين الوكلاء المتعددين، مما يقلل بفعالية من انتشار الأخطاء ويحقق مكاسب كبيرة في الأداء والكفاءة عبر مختلف المعايير المرجعية.
تقدم هذه الورقة AutoSelection، وهو إطار عمل مبتكر يعيد صياغة عملية اختيار بيانات الضبط الدقيق الخاضع للإشراف كمسألة بحث عن وصفة لمجمع ثابت، وذلك باستخدام حلّال ثنائي الطبقات لاكتشاف وصفات التنسيق المثلى بكفاءة من مجمع تعليمات خام دون توليد عينات جديدة، مما يؤدي إلى التفوق على طرق ترتيب العينات التقليدية والتدريب على البيانات الكاملة عبر نماذج ومهام متعددة.