11611 ورقة بحثية
تُظهر هذه الورقة أن النماذج اللغوية الكبيرة المتنوعة تتقارب نحو تمثيلات جيبية عالمية وقابلة للتبادل بشكل لافت للنظر للأرقام، وهو اكتشاف بالغ الأهمية لتقييم الترميز الرقمي بدقة وللحد من الأخطاء الحسابية من خلال التحسينات الميكانيكية.
تقترح هذه الورقة طريقة خفيفة الوزن تعتمد على المسبار (probe-based) لتوسيع نطاق وقت الاختبار، والتي تتحقق من الاستدلال متعدد الخطوات عبر تحليل الحالات الداخلية للنماذج اللغوية الكبيرة المجمدة، محققةً أداءً يضاهي أو يتجاوز نماذج مكافأة العمليات (Process Reward Models) الأكبر بكثير دون الحاجة إلى عمليات ترميز مكلفة.
تقترح هذه الورقة نهجاً متمحوراً حول أصحاب المصلحة للتقييم الآلي القابل للتفسير من خلال تحديد أربعة مبادئ أساسية (الأمانة، والواقعية، والقابلية للتتبع، والتبادلية) وإثبات أنه من خلال إطار عمل "AnalyticScore"، يمكن لهذه الأنظمة القابلة للتفسير أن تحقق دقة تضاهي النماذج "الصندوق الأسود" المتطورة مع التوافق الوثيق مع سلوكيات التوسيم البشري.
تقدم هذه الورقة البحثية إطار عمل SCOPE، وهو إطار للتعلم التعزيزي في وقت الاختبار يعمل على تعزيز قدرات الاستنتاج لدى النماذج اللغوية الكبيرة عبر استبدال التصويت بالأغلبية البسيطة باستراتيجية ديناميكية لتقسيم المجموعات الفرعية وتقدير الملصقات الوهمية الموزونة بالثقة للتخفيف من حدة الانحياز التأكيدي والمكافآت الشحيحة، محققاً بذلك مكاسب أداء كبيرة في المعايير المرجعية الرياضية الصعبة.
تُظهر هذه الدراسة أنه بينما يمكن أن تبرز دلالات علاقات منطقية في النماذج اللغوية الكبيرة ذات التنبؤ الذاتي الضحلة مع توفر إشراف كافٍ، فإن إخفاقات الانعكاس المميزة لها ناتجة أساساً عن انحياز الترتيب من اليسار إلى اليمين وليس عن نقص في فهم منطق العكس.
يقدم البحث إطار عمل "PersonaWeaver"، الذي يخفف من تحيزات الأخلاق والمساعدة المتأصلة في النماذج اللغوية الكبيرة القياسية من خلال الفصل بين بناء العالم وبناء السلوك لتوليد شخصيات متنوعة إجرائياً ذات مواقف أخلاقية وأنماط تفاعلية متباينة مناسبة للسرد الدرامي.
تقدم الورقة البحثية PURPLE، وهو إطار عمل للمقامر السياقي (contextual bandit) يعمل على تحسين ملفات تعريف المستخدمين من أجل تخصيص النماذج اللغوية الكبيرة المعززة بالاسترجاع عبر استبدال الصلة الدلالية بنموذج ترتيب Plackett-Luce مدرب على احتمالية التوليد لمواءمة اختيار السجلات مباشرة مع جودة الاستجابة.
تقدم الورقة البحثية LoID، وهي طريقة حتمية تستخرج توزيعات مسبقة غنية بالمعلومات للإنحدار اللوجستي البايزي من خلال تحليل ثقة مستوى الرمز (token-level confidence) في الاتجاهات الدلالية المتعارضة داخل النماذج اللغوية الكبيرة، مما يحسن بشكل كبير من القدرة على التعميم في مجموعات البيانات الجدولية الصغيرة والخارجة عن نطاق التوزيع مقارنة بالنهج الحالية القائمة على توليد النصوص.
تخفف هذه الورقة البحثية من فرضية القابلية للتحقق القوية في تحديد وتوليد اللغة من خلال اقتراح أهداف محايدة لا تفرض أي قيود على توزيعات البيانات المدخلة، مما يؤدي إلى استنباط توصيفات جديدة ومعدلات إحصائية وثيقة الصلب تقريبًا لهذه المهام.
تقدم هذه الورقة البحثية إطار عمل CAST، الذي يعزز استقرار مخرجات النماذج اللغوية الكبيرة في مهام تحليل النصوص مثل التلخيص والوسم من خلال توظيف التلقين الخوارزمي والاستنتاج الوسيط الصريح، محققاً تحسينات كبيرة في الاستقرار دون المساس بالجودة.