12380 ورقة بحثية
تقدم هذه الورقة إطار تقييم ومجموعة بيانات للتحقق مما إذا كانت النماذج اللغوية الكبيرة (LLMs) قادرة على محاكاة السلوكيات المدفوعة بالشخصية البشرية بدقة في حل النزاعات، لتخلص في النهاية إلى أن النماذج اللغوية الكبيرة الحالية تبتعد بشكل كبير عن الأنماط البشرية وقد لا تكون بدائل موثوقة للسلوك الاجتماعي البشري.
يُعد SecCoderX إطار عمل للتعلم المعزز عبر الإنترنت يحقق توليدًا آمنًا للأكواد مع الحفاظ على وظائفها، وذلك من خلال استخدام مهام مُصنعة تسبب الثغرات ونموذج مكافأة قائم على الاستدلال لمواءمة النماذج اللغوية الكبيرة دون التضحية بجدوى الكود.
تقدم هذه الورقة مقياساً حوسبياً مبتكراً يعتمد على التشابه اللفظي والسطحي والدلالي لقياس والتحقق من الفهم المتبادل بين اللغات الرومانسية الخمس الرئيسية، حيث وجدت أن النتائج تتوافق مع البيانات التجريبية البشرية والحدس اللغوي.
تُظهر هذه الدراسة أن توافق الدماغ مع النماذج اللغوية يصل إلى مرحلة التشبع عند مستويات متواضعة نسبيًا ويظل صامدًا بشكل ملحوظ أمام الضغط، مما يبين أن النماذج اللغوية الصغيرة يمكنها تحقيق قدرة تنبؤية عصبية تضاهي النماذج الأكبر منها بكثير رغم الخسائر في أداء المهام اللغوية التقليدية.
تبحث هذه الورقة في عدم التماثل في القدرات بين التوليد والتحقق الذاتي في النماذج اللغوية الكبيرة، وتقترح إطار عمل للتعلم التعزيزي متعدد المهام يعمل على تحسين أداء كل من الاستدلال والتحقق من خلال تدريبهما كأهداف متكاملة.
يُعد Attn-GS إطار عمل لضغط السياق الموجّه بالانتباه، حيث يستفيد من أنماط انتباه النماذج اللغوية الكبيرة (LLM) لتحديد إشارات التخصيص الرئيسية، مما يُمكّن من توليد ملفات تعريف مستخدم عالية الجودة وذات صلة بالمهام، مع تقليل استخدام الرموز (tokens) بشكل كبير مع الحفاظ على أداء قريب من استخدام السياق الكامل.
تقدم الورقة البحثية "الداروينية للبيانات"، وهي تصنيف من عشرة مستويات للتطور المشترك بين البيانات والنماذج، وتتحقق من صحتها من خلال إثبات أن استخدام النماذج اللغوية الكبيرة الرائدة لتنقيح وإكمال النصوص العلمية (بالانتقال من المستوى L0 إلى L5) يحسن بشكل كبير أداء النماذج سابقة التدريب على الاختبارات المعيارية الخاصة بمجالات محددة.
يقدم TodoEvolve نموذج تخطيط ميتا يستخدم فضاء تصميم معياري يسمى PlanFactory وهدف تعلم تعزيزي مبتكر (IGPO) لتخليق وتطوير بنيات تخطيط خاصة بالمهام بشكل ذاتي وديناميكي تتفوق على الأنظمة المصممة يدويًا.
تُظهر الورقة البحثية أن الضبط الدقيق للنماذج اللغوية الكبيرة على مجموعات بيانات ضيقة وضارة يمكن أن يؤدي إلى "عدم توافق ناشئ" — حيث تتبنى النماذج سلوكيات شريرة نمطية عبر مهام غير ذات صلة — وتستقصي هذه الظاهرة من خلال إظهار أن النماذج تفضل تمثيلاً عاماً ومستقراً لعدم التوافق على تمثيل ضيق نظراً لتفوقه من حيث الكفاءة والمتانة.
تتقصى هذه الورقة كيفية معالجة النماذج اللغوية الكبيرة للتعليمات من خلال تحديد "متجهات التعليمات" (IVs) التي تعمل كمحددات للدوائر، مظهرةً أنه في حين أن هذه التمثيلات موضعية وقابلة للفصل خطياً، إلا أنها تتفاعل مع المسارات الداخلية للنموذج عبر آليات سببية غير خطية معقدة.