12021 ورقة بحثية
تقدم هذه الورقة مجموعة بيانات متعددة اللغات ومتاحة بحرية من النصوص الأصلية والموسومة بشرياً بأسلوب "سهل القراءة" باللغات الإسبانية والكتالونية والإيطالية، والتي صُممت لدعم أبحاث التبسيط التلقائي للنصوص وتعزيز الوصول إلى عمليات المشاركة الديمقراطية.
تتقصى هذه الورقة دمج النماذج كبديل قابل للتوسع للضبط الدقيق الكامل لأنظمة التعرف التلقائي على الكلام متعددة المجالات، حيث قامت بمقارنة معيارية لـ 11 خوارزمية عبر 10 مجالات للغة البرتغالية الأوروبية، وطرحت طريقة مبتكرة بعنوان "BoostedTSV-M" تتفوق على الضبط الدقيق الكامل مع الحفاظ على القدرة على التعميم خارج نطاق التوزيع.
تقترح الورقة البحثية إطار عمل DiSCTT، وهو إطار عمل ذاتي المنهج يعتمد على الصعوبة وتوجيه الإجماع، يقوم بتخصيص استراتيجيات الضبط الدقيق الخاضع للإشراف أو التعلم المعزز ديناميكيًا بناءً على الاتفاق على مستوى المثيل بين مسارات الاستدلال، مما يحقق تكيفًا أكثر استقرارًا وكفاءة ودقة عند زمن الاختبار للنماذج اللغوية الكبيرة في مهام الاستدلال غير المتجانسة.
تقترح الورقة البحثية طريقة "التحمية المتبقية التدريجية" (ProRes)، وهي طريقة تعمل على استقرار وتسريع عملية ما قبل التدريب للنماذج اللغوية القائمة على بنية "ترانسفورمر" عبر تطبيق فلسفة "الطبقات الأولى تتعلم أولاً"، حيث لا يتم تفعيل الطبقات الأعمق تدريجياً إلا بعد استقرار الطبقات الأقل عمقاً، مما يؤدي إلى تقارب أسرع وتحسين الأداء في المهام اللاحقة.
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة ذات المعلمات المنخفضة (أقل من 4 مليارات معلمة) التي تم ضبطها بدقة باستخدام تسلسل التفكير وتحليل الكلمات المجاورة، يمكنها تحقيق أداء في تحديد معاني الكلمات يضاهي أو يتجاوز النماذج عالية المعلمات المتطورة مثل GPT-4-Turbo، مع تقليل التكاليف الحسابية واستهلاك الطاقة بشكل كبير.
تُثبت هذه الورقة أن نماذج الذكاء الاصطناعي تكتشف التمثيلات الداخلية المحقونة من خلال آليتين متمايزتين: مطابقة الاحتمالات بناءً على شذوذ المطالبات، والوصول المباشر إلى الحالات الداخلية بغض النظر عن المحتوى، حيث تسمح الآلية الأخيرة باكتشاف الشذوذ دون تحديد دلالي موثوق، وهو ما يتوافق مع النظريات الراسخة في الفلسفة وعلم النفس.
تقدم هذه الورقة إطاراً موحداً لدمج النماذج اللغوية المتنوعة عبر توزيعات -ensemble، وتقترح خوارزمية مونت كارلو تسلسلية على مستوى البايت (byte-level) للعينات من هذه التوزيعات، مما يتغلب بفعالية على تحديات مثل عدم تطابق المفردات والتقريبات المنحازة لتحسين الأداء في مهام توليد النصوص المهيكلة.
تقدم هذه الورقة لغز المعلومات الجزئية الموزعة (DPIP) ومجموعته البيانية متعددة الوسائط المرتبطة به لتقييم مدى قدرة النماذج اللغوية الكبيرة والأنظمة القائمة على المنطق الحالية على بناء أرضية مشتركة في ظل عدم التماثل المعرفي، مما يكشف أن النماذج اللغوية الكبيرة الحديثة تواجه صعوبة في تتبع تقدم المهام وحالات الاعتقاد بدقة مقارنة بالنهجات البديهية.
تقدم هذه الورقة DEBISS، وهو متن لغوي جديد للمناظرات المنطوقة والفردية شبه المهيكلة المصمم لمعالجة ندرة مجموعات بيانات المناظرة من خلال توفير تعليقات توضيحية شاملة لمعالجة اللغات الطبيعية لمهام مثل تحويل الكلام إلى نص، وتحديد هوية المتحدث، وتعديد المتحدثين، وتنقيب الحجج، وتقييم جودة المناظر.
تقدم هذه الورقة NCTB-QA، وهي مجموعة بيانات ضخمة للأسئلة والأجوبة التعليمية باللغة البنغالية تتميز بتوزيع متوازن للأسئلة القابلة للإجابة وغير القابلة للإجابة مع وجود مشتتات تنافسية، وتُظهر أن الضبط الدقيق لنماذج المحولات (transformer models) على هذه البيانات الخاصة بهذا المجال يحسن الأداء بشكل كبير في البيئات ذات الموارد المنخفضة.