11683 ورقة بحثية
تقدم هذه الورقة البحثية "تحسين السياسة ذو الاتصال القفزي" (SKPO)، وهو إطار عمل جديد للتعلم التعزيزي يفكك عملية الاستدلال إلى مرحلتين: مرحلة صاعدة ومرحلة هابطة مع وجود اتصال قفزي لحل مشكلات تقدير الميزة عالية التباين في بيئات المكافآت الكثيفة، مما يحقق مكاسب أداء كبيرة مقارنة بـ "تحسين السياسة النسبي للمجموعات" (GRPO) في اختبارات الاستدلال الرياضي والعام.
تقدم هذه الورقة MATU، وهو إطار عمل مبتكر يسخر تفكيك الموتر لتقدير عدم اليقين في الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة من خلال تحليل مسارات الاستدلال الكاملة وفك الارتباط بين المصادر المتميزة لعدم اليقين الناشئة عن ديناميكيات التواصل المعقدة والطبولوجيا.
تستقصي هذه الورقة البحثية كيف تدفع بيانات التفضيل مكاسب الاستدلال في النماذج اللغوية من خلال التمييز بين فروق الجودة على مستوى المولد وعلى مستوى العينة، حيث وجدت أن تعظيم فجوة القدرة بين المسارات المختارة والمرفوضة يحسن الأداء خارج النطاق، بينما يعزز التصفية حسب جودة مستوى العينة كفاءة التدريب.
تُظهر هذه الورقة أنه بينما تعد النماذج اللغوية الكبيرة واعدة في استخراج العلاقات، فإن أدوات التحليل القائمة على الرسوم البيانية الأصغر حجماً تتفوق عليها بشكل كبير في الرسوم البيانية اللغوية المعقدة ذات الأعداد الكبيرة من العلاقات، مما يجعل أدوات التحليل الأخف وزناً خياراً متفوقاً لمثل هذه المهام.
تضع هذه الدراسة معياراً لمحاذاة الفكاهة في خمسة من النماذج اللغوية الكبيرة الرائدة من خلال جعلها تلعب لعبة "Cards Against Humanity"، مما يكشف أنه بينما تتفوق هذه النماذج على الاحتمالية العشوائية، فإن توافقها المتواضع مع التفضيلات البشرية وإجماعها المرتفع فيما بينها يشيران إلى أن أحكامها الفكاهية تتأثر بشكل كبير بالسمات الهيكلية بدلاً من الفهم الحقيقي الشبيه بالبشر.
تُثبت هذه الورقة أن مخطط العلامات المائية التوليدية متعدد البتات المقترح سابقاً للنماذج اللغوية الكبيرة هو دون المستوى الأمثل في ظل قيود الإنذار الكاذب في الحالة الأسوأ، وتُقدم بنيتين جديدتين للترميز وفك الترميز تحققان الحد الأدنى النظري لاحتمالية الخطأ في الكشف، مما يؤدي إلى توصيف كامل لأداء العلامات المائية الأمثل.
تتقصى هذه الورقة الأصول الهندسية لتباين الخواص في نماذج المحولات (Transformer) من خلال البرهنة نظرياً على كيفية تشكيل أخذ العينات المنحاز للتردد وديناميكيات التدريب لكل من الانحناء واتجاهات المماس، والتحقق تجريبياً عبر التفسير الآلي من أن بدائل المماس المستمدة من التنشيط تلتقط طاقة تدرج وتباين خواص أكبر بكثير من الضوابط القياسية عبر بنيات مختلفة.
تقدم هذه الورقة البحثية توليد الأخلاق القصصية متعدد اللغات كمهمة تقييم مبتكرة لقياس التوافق الثقافي في النماذج اللغوية الكبيرة، كاشفةً أنه بينما تتوافق النماذج الرائدة مثل GPT-4o وGemini بشكل جيد مع التفسيرات الأخلاقية البشرية في المتوسط، إلا أنها تفشل في استيعاب التنوع اللغوي الغني المتأصل في الفهم السردي البشري.
تقدم الورقة البحثية ، وهي طريقة تعمل على تحسين تحسين الأوامر (prompt optimization) من خلال تصفية أوامر المستخدم لاختيار مجموعة فرعية صغيرة ذات تباين عالٍ في أداء الأوامر النظامية (system prompts)، مما يتيح تحديداً أكثر فعالية للأوامر النظامية المتفوقة والتفوق على النماذج المرجعية الحالية في اختبارات معايير الاستدلال.
تقدم هذه الورقة البحثية "التحكم في المفاهيم المحاذي للقواميس" (DACO)، وهو إطار عمل يستفيد من مجموعة بيانات منسقة تضم 15,000 مفهوم متعدد الوسائط ومشفّر تلقائي متناثر (Sparse Autoencoder) لتوفير توجيه دقيق عند الاستنتاج للنماذج اللغوية الكبيرة متعددة الوسائط المجمدة، مما يعزز بشكل كبير سلامتها ضد الاستعلامات الخبيثة مع الحفاظ على قدراتها العامة.