11158 ورقة بحثية
تقترح هذه الورقة منهجيات الحجب ونمذجة اللغة السببية التي تحافظ على الخصوصية لتخصيص النماذج الشبيهة بـ BERT والشبيهة بـ GPT على البيانات الحساسة، مما يمنع بفعالية حفظ المعرفات المباشرة وغير المباشرة مع الحفاظ على فائدة عالية للمشاركة.
تُثبت هذه الورقة أن بيانات ما قبل التدريب هي المحدد الرئيسي لقوانين القياس من الخسارة إلى الخسارة في النماذج اللغوية الكبيرة، بينما يكون لآثار مثل حجم النموذج، والبنية، والمعلمات الفائقة تأثير ضئيل، مما يشير إلى أن تنقية البيانات أكثر أهمية من الخيارات الهيكلية لتحسين الأداء في المهام اللاحقة.
تقدم الورقة البحثية طريقة "إسقاط الضجيج المبكر" (Early Noise Dropping - END)، وهي طريقة لا تتطلب ضبطاً دقيقاً، تستفيد من المسابير الخطية في الطبقات الأولى من النماذج اللغوية الكبيرة لتحديد واستبعاد أجزاء المدخلات المشوشة، مما يؤدي إلى تحسين كل من الأداء والكفاءة في المهام ذات السياق الكثيف.
تجسر هذه الدراسة الفجوة بين التطورات المتسارعة في النماذج اللغوية الكبيرة وتبنيها الحذر في القطاع المالي من خلال تقديم نظرة شاملة على المنهجيات المبتكرة وقدرتها على تحليل البيانات المالية المعقدة ومتعددة الأوجه بفعالية.
تقدم الورقة البحثية "المستنتج الشامل" (UniR)، وهو وحدة برمجية نمطية وقابلة للتركيب والتشغيل المباشر تعزز قدرات الاستنتاج للنماذج اللغوية الكبيرة المجمدة عبر تدريب مكون استنتاج منفصل على مكافآت قابلة للتحقق وإضافة مخرجات الاحتمالات (logits) الخاصة به إلى النموذج الأساسي عند الاستدلال، مما يحقق أداءً فائقاً وتعميماً عابراً للمجالات دون الحاجة إلى إعادة تدريب النموذج بالكامل.
تقترح هذه الورقة إطار عمل "محاذاة المسار السببي" (CPA)، وهو إطار عمل غير مرتبط بنموذج محدد يعمل على التخفيف من تداخل الذاكرة المهيمنة على الموضوع في النماذج اللغوية الكبيرة، وذلك عبر إرساء مسارات التحسين على حالات وسيطة مدركة للعلاقات، مما يتيح تحرير المعرفة بدقة مع حد أدنى من الآثار الجانبية.
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة متعددة الوسائط والمنضبطة بالتعليمات تُبدي محاذاة أقوى وأكثر تخصصاً في المهام مع نشاط الدماغ البشري أثناء مشاهدة الأفلام الطبيعية مقارنة بالنماذج غير المنضبطة بالتعليمات ونماذج التعلم بالسياق، مما يشير إلى أن الضبط بالتعليمات ينظم التمثيلات حول المتطلبات الوظيفية للمهام بدلاً من الدلالات السطحية.
تُثبت هذه الورقة أنه بالنسبة للإجابة على الأسئلة الثنائية باستخدام النماذج اللغوية الكبيرة، فإن تجميع التفسيرات المتنوعة للأسئلة من نموذج واحد يتفوق باستمرار على تجميع نماذج مختلفة متعددة عند استخدام التصويت بالأغلبية.
تستخدم هذه الدراسة نهجاً حوسبياً لتحليل منشورات تيك توك في مجالات التمويل، والعافية، ونظريات المؤامرة، حيث وجدت أنه بينما يسود الشعور المناهض للمؤسسات في محتوى نظريات المؤامرة، فإن أنماط التفاعل وحوافز المنصة تشير إلى أنه قد لا يزال يؤثر على سلوك المستخدمين عبر هذه المجالات الموضوعية.
تقدم هذه الورقة البحثية "محاذاة السلوك المعززة" (RBA)، وهو إطار عمل يستفيد من البيانات المُخلّقة ذاتيًا من نموذج لغوي كبير (LLM) مُعلم ومن التعلم المعزز لتعزيز قدرات اتباع التعليمات لنماذج اللغات الكبيرة الصوتية بشكل كبير، مما يمكنها من التفوق على نظيراتها القائمة على النصوص وتحقيق نتائج رائدة في المهام المنطوقة دون الاعتماد على التوضيحات البشرية.