11611 ورقة بحثية
باستخدام مجموعة بيانات تم الحصول عليها قانونياً مكونة من 34 كتاباً محمياً بحقوق الطبع والنشر من إصدارات "O'Reilly Media"، توظف هذه الدراسة هجوم استدلال العضوية "DE-COP" لتكشف أن نموذج "GPT-4o" من شركة "OpenAI" يُظهر تعرُّفاً ذا دلالة إحصائية على المحتوى المدفوع (AURO C 0.82)، في حين لا يُظهر نموذج "GPT-4o Mini" الأصغر حجماً ذلك، مما يسلط الضوء على الحاجة إلى قدر أكبر من الشفافية المؤسسية وأطر ترخيص رسمية لبيانات تدريب الذكاء الاصطناعي.
تتحدى هذه الورقة الافتراض السائد حول التدهور الأسي للموثوقية في النماذج اللغوية الكبيرة من خلال إثبات أن الأخطاء تتركز في "رموز رئيسية" متفرقة، مقترحةً إطار عمل جديدًا يعطي الأولوية للحفظ الاستراتيجي والحوسبة الديناميكية عند نقاط اتخاذ القرار الحرجة لتحقيق تماسك مستدام في السياقات الطويلة دون الحاجة إلى توسع متناسب.
تقارن هذه الورقة تجريبياً بين نموذج Mistral-Small 3 المضبط بالتعليمات ونموذج QWen2.5 المعزز بالاستدلال في تبسيط النصوص الطبية الحيوية، كاشفةً أنه بينما يعمل كلا النموذجين على تحسين سهولة القراءة، يحقق Mistral توازناً فائقاً مع دقة الخطاب على المستوى البشري، في حين يُظهر QWen انفصالاً بين سهولة القراءة والدقة.
تقدم هذه الورقة DIAL، وهو إطار عمل تنافسي يعمل على تحسين واقعية محاكي المستخدم بشكل تكراري من خلال منافسة بين المولد والمميز، مما ينجح في استعادة التنوع اللفظي ونمذجة أوضاع الفشل بدقة في أنظمة الحوار المتعلقة بالصحة النفسية لتمكين التقييم الموثوق وفعال التكلفة قبل النشر.
تكشف هذه الورقة أن التقليم الهيكلي لعرض طبقات GLU-MLP في نماذج Llama-3.2 يخلق مقايضة فريدة حيث يؤدي تقليل نسبة التوسع إلى تدهور المعرفة البارامترية وزيادة كفاءة الطاقة، ومع ذلك فإنه يعزز بشكل متناقض اتباع التعليمات والصدق مع الحفاظ على قدرات الاستدلال متعدد الخطوات.
من خلال تحليل نصوص جلسات العلاج النفسي عن بُعد لمدة 12 أسبوعاً من أكثر من 12,000 مريض، تُظهر هذه الدراسة أن المؤشرات اللغوية الملتقطة سلبياً للجمود العاطفي، ولا سيما هيمنة الحزن والقلق في الشبكات الزمنية، يمكن أن تتنبأ بفعالية بعدم الاستجابة للعلاج وتدهور الأعراض في اضطرابات القلق والاكتئاب.
تُظهر هذه المقالة أن هوية مهمة التعلم في السياق ليست محصورة في طبقات أو رموز (tokens) محددة، كما يوحي الفحص الخطي (linear probing)، بل هي مشفرة سببيًا كقوالب تنسيق مخرجات موزعة عبر رموز الأمثلة، مع وجود نافذة تدخل حرجة تقع عند حوالي 30% من عمق الشبكة.
تقدم الورقة البحثية FREIA، وهو خوارزمية تعلم تعزيزي غير خاضعة للإشراف، تستفيد من المكافأة المدفوعة بالطاقة الحرة وتشكيل الميزة التكيفي للتكيف ديناميكيًا مع قدرات الاستدلال المتطورة، مما يؤدي إلى التفوق على النماذج المرجعية الحالية في مهام مثل الاستدلال الرياضي دون إشراف قائم على الحقيقة الأرضية.
تقدم هذه الورقة البحثية "تحسين سياسة المتوسط القدرتي التكيفي" (APMPO)، وهو إطار عمل جديد للتعلم التعزيزي يعزز قدرات الاستنتاج في النماذج اللغوية الكبيرة من خلال هدف متوسط قدرتي معمم وتقليم تكيفي قائم على التغذية الراجعة، محققاً أداءً فائقاً على النماذج المرجعية المتطورة عبر مهام استنتاجية متعددة.
تحدد هذه الورقة وتُعالج انحياز التجميع في التعلم المعزز من نمط GRPO باستخدام المكافآت القابلة للتحقق عبر اقتراح "التجميع المتوازن"، وهي طريقة تقوم بمتوسط تدرجات مستوى الرمز (token-level gradients) للاستجابات الإيجابية والسلبية بشكل منفصل قبل إعادة دمجها، مما يؤدي إلى تحسين استقرار التدريب والأداء عبر اختبارات الاستدلال والبرمجة.