12380 ورقة بحثية
تقترح الورقة البحثية **CopyPasteLLM**، وهي طريقة تخفف من الهلوسة في التوليد المعزز بالاسترجاع (RAG) عبر استخدام تدريب تفضيل الاستجابة عالي النسخ والتحفيز المتخصص لتشجيع النماذج على الاعتماد بشكل أكبر على السياق المقدم بدلاً من معرفتها البارامترية الداخلية.
تقدم هذه الورقة البحثية Luth، وهي عائلة من النماذج اللغوية الصغيرة المتخصصة في اللغة الفرنسية والتي تحقق أداءً هو الأفضل في فئتها على معايير القياس الفرنسية مع الحفاظ على القدرات الإنجليزية من خلال التدريب اللاحق المستهدف ودمج النماذج الاستراتيجي، مما يعالج بفعالية فجوة الأداء في النماذج اللغوية الصغيرة غير الإنجليزية.
تُعد GateSkip آلية بوابية مستقرة وقابلة للضبط الدقيق تتيح تخطي الطبقات على مستوى الرمز (token-wise) في النماذج اللغوية ذات فك التشفير فقط (decoder-only)، مما يسمح بتوفير كبير في الحوسبة أثناء الاستدلال مع حد أدنى من الفقد في الدقة.
تتقصى هذه الورقة القدرات الاستدلالية متعددة اللغات لنماذج الاستدلال الكبيرة (LRMs)، حيث تجد أنه في حين أن الاعتماد على الاستدلال باللغة الإنجليزية غالباً ما يحسن الدقة والعمق المعرفي، فإنه يؤدي في الوقت ذاته إلى ظهور نمط فشل "الضياع في الترجمة" حيث يمكن أن تؤدي التحولات اللغوية إلى وقوع أخطاء.
تتقصى هذه الدراسة ظهور رؤوس الاستقراء (induction heads) أثناء مرحلة التدريب المسبق للنماذج اللغوية، مبرهنةً على أن تشكلها يمكن التنبؤ به عبر مزيج من حجم الدفعة وحجم السياق، وأنه مدفوع بتكرار وموثوقية تكرارات الثنائيات (bigrams) السطحية، ويتأثر بخصائص توزيع البيانات عندما تكون تلك التكرارات نادرة.
يُعد ShoppingComp معياراً مرجعياً جديداً من الواقع العملي صُمم لتقييم وكلاء التسوق المدعومين بالنماذج اللغوية الكبيرة عبر استرجاع المنتجات، وتوليد التقارير، واتخاذ القرارات الحرجة المتعلقة بالسلامة، مما يكشف أن حتى النماذج الأكثر تطوراً حالياً تعاني في التعامل مع المتطلبات المعقدة متعددة القيود لمهام التجارة الإلكترونية الحقيقية.
تؤيد هذه الورقة وتثبت صحة نهج تكراري ذي حلقة مغلقة لتوليد البيانات الاصطناعية لضبط النماذج اللغوية، مبرهنةً على أن استخدام معايير تعلم نشط بسيطة لتنقية العينات المولدة من قِبل النموذج المعلم بناءً على الحالة الراهنة للنموذج الطالب يحقق أداءً فائقاً مقارنة بطرق التوليد الثابتة.
تقدم هذه الورقة مفهوم "الاستدلال المحاسبي"، وتقترح إطار تقييم جديداً قائماً على خصائص بيانات تدريب النموذج، وتثبت من خلال الاختبار التجريبي أنه على الرغم من تصدر GPT-4 للأداء الحالي، إلا أن النماذج اللغوية الكبيرة الحالية لا تزال تتطلب تحسيناً كبيراً قبل أن يمكن نشرها بشكل موثوق في سيناريوهات المحاسبة المهنية للمؤسسات.
تستقصي هذه الورقة كيفية تأثير تقنيات تحسين النماذج — مثل التكميم، والتقطير، والتحجيم — على التمثيلات على مستوى الرمز (token-level) وجودة توليد الكود لنماذج اللغات الكبيرة من خلال تحليل مبتكر لاحتمالية البداية الباردة وتقييم منهجي للمفردات.
تقدم هذه الورقة VotIE، وهي مهمة ومعيار جديد لاستخراج المعلومات لتحديد أحداث التصويت المنظمة في محاضر الاجتماعات البلدية غير المتجانسة، حيث وجدت أنه بينما تعد المشفرات المضبوطة بدقة أكثر كفاءة للمهام داخل النطاق، فإن النماذج اللغوية الكبيرة ذات التعلم بلقطات قليلة تُظهر متانة فائقة عند التعميم على بلديات غير مرئية.