11972 ورقة بحثية
تجسّر هذه الدراسة الملاحظات المعزولة عبر عائلات متعددة من النماذج اللغوية الكبيرة (Pythia، وOpenLLaMa، وStarCoder، وOLMo) لإرساء فهم عالمي للحفظ من خلال الكشف عن التدرج اللوغاريتمي الخطي المشترك وأنماط فك التشفيد الداخلية، مع تحديد سمات مميزة خاصة بكل نموذج على المستويين الإحصائي والداخلي.
تقدم هذه الورقة نموذج "ترانسفورمر" متكرر العمق يفصل بين العمق الحسابي وعدد المعلمات من خلال كتل تكرارية مشتركة الأوزان وآليات استقرار، مما يثبت أن توسيع خطوات الاستدلال أثناء الاستنتاج يتيح تعميماً تركيبياً قوياً عبر مهام متنوعة من خلال إنشاء حدود حسابية واضحة بين الأداء العشوائي والأداء شبه المثالي.
تحدد هذه الورقة أن بيانات الجداول المهيكلة ذات التبعيات الدورية تعد مورداً فعالاً للغاية لتعزيز الاستدلال طويل السياق في النماذج اللغوية الكبيرة، وتقترح مسار توليد قابل للتوسع (TableLong) يعزز الأداء عبر كل من الاختبارات المعيارية داخل النطاق وخارجه.
إن EvoIdeator هو إطار عمل للتعلم التعزيزي يعمل على تعزيز توليد الأفكار العلمية من خلال مواءمة أهداف التدريب مع التغذية الراجعة القائمة على قوائم التحقق، مما يمكّن نموذجاً مدمجاً من التفوق على النماذج الرائدة الأكبر حجماً عبر مكافآت معجمية وانتقادات لغوية دقيقة مع الحفاظ على قدرة قوية على التعميم عبر مصادر تغذية راجعة متنوعة.
تحلل هذه الدراسة ذات المنهج المختلط أكثر من مليون مقال إخباري باللغة الفرنسية لتُبين كيف أن المواقف الاستفهامية، رغم ندرتها، تُهيكل الخطاب بشكل منهجي عبر إبراز الفاعلين البارزين وتنظيم القضايا ضمن صوت الصحفي السردي، مما يكشف عن "سياسات الأسئلة" كعلامات على الصوت والقوة.
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة المجمدة تُشفّر اتجاهات عصبية مستقرة وخاصة بالأفراد في طبقاتها العميقة، والتي يمكنها التنبؤ بنشاط الدماغ عبر تخطيط كهربية الدماغ (EEG) الفردي بدقة أعلى بكثير من النماذج على مستوى السكان، مما يؤسس لأساس هندسي للتخصيص القائم على تخطيط كهربية الدماغ.
تقدم هذه الورقة SecureBreak، وهي مجموعة بيانات مُعنونة يدويًا صُممت للكشف عن مخرجات النماذج اللغوية الكبيرة الضارة الناتجة عن نقاط ضعف متبقية في المحاذاة الأمنية، لتكون بذلك أداة قوية للترشيح ما بعد التوليد وتوجيه المزيد من تحسينات سلامة النماذج.
تقترح هذه الورقة SpecFi، وهو إطار عمل قائم على الاسترجاع يقوم بتوليد وثائق افتراضية للكشف عن سرديات التضليل الناشئة المتعلقة بتغير المناخ دون الحاجة إلى تسميات محددة مسبقاً، مما يظهر متانة فائقة ضد تباين السرديات مقارنة بطرق الاسترجاع القياسية.
تحلل هذه الورقة أوجه القصور في طريقة DSKD-CMA المتطورة لتقطير النماذج اللغوية الكبيرة ذات أجهزة الترميز غير المتطابقة، وتقترح نهجًا جديدًا يُسمى DSKD-CMA-GA باستخدام التعلم التنافسي التوليدي لمحاذاة توزيعات المفتاح-الاستعلام، مما يؤدي إلى تحسينات متسقة في جودة توليد النصوص.
تقدم هذه الورقة مقارنة تجريبية منضبطة تُظهر أنه في حين تتقارب النماذج اللغوية ذاتية الانحدار بشكل أسرع وتنتج نصوصاً أكثر طلاقة، فإن نماذج الانتشار المقنعة تحقق تنوعاً سردياً فائقاً وتتجنب الإفراط في التخصيص المبكر في ظل ظروف تدريب متطابقة، مما يكشف عن مقايضة متميزة بين التنوع والطلاقة بين هذين النموذجين.