← أحدث الأبحاث
🤖 machine learning

Le Critique: Privileged Value Functions for LLM Reinforcement Learning

تقدم الورقة البحثية "Le Critique"، وهو إطار عمل يعزز التعلم المعزز للنماذج اللغوية الكبيرة من خلال الجمع بين دوال القيمة المتميزة (PVF) لحقن الإشارات ذات الصلة بالمهمة على مستوى الرمز (token-level)، وتقنية TETHER للاستيفاء التكيفي بين المراجع النسبية للمجموعة ومراجع القيمة، مما يحقق أداءً فائقاً مقارنة بمراجع دالة القيمة القياسية ونتائج تنافسية مع GRPO مع التخفيف من مشكلات مثل عمليات التدحرج المتأخرة (straggler rollouts) والتباين العالي.

المؤلفون الأصليون: Siddarth Venkatraman, Matthieu Dinot, Laurence Aitchison

نُشر 2026-08-18
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Siddarth Venkatraman, Matthieu Dinot, Laurence Aitchison

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، هناك صراع مستمر لتعليم برامج الكمبيوتر كيف تفكر بشكل أفضل. تخيل طالباً يؤدي اختباراً؛ إذا حصل على الإجابة النهائية الصحيحة، يحصل على درجة جيدة، وإذا أخطأ، يحصل على درجة سيئة. هكذا تتعلم العديد من أنظمة الذكاء الاصطناعي الحديثة: فهي تجرب طرقاً مختلفة لحل المشكلة، ثم يقوم الكمبيوتر بتعديل "دماغه" بناءً على ما إذا كانت النتيجة النهائية نجاحاً أم فشلاً. تُسمى هذه الطريقة "التعلم المعزز". ومع ذلك، هناك عقبة؛ فإذا كتب الطالب مقالاً طويلاً ومعقداً وحصل على درجة نهائية خاطئة، فإن الكمبيوتر لا يعرف أي جملة محددة هي التي تسببت في الخطأ، بل يعرف فقط أن المقال بأكمله كان سيئاً. هذا يجعل التعلم بطيئاً وغير فعال، مثل محاولة إصلاح محرك سيارة عبر التخمين أي جزء هو المعطل دون امتلاك أي أدوات.

لحل هذه المشكلة، حاول الباحثون منذ فترة طويلة بناء "ناقد" للذكاء الاصطناعي. وهذا الناقد عبارة عن برنامج كمبيوتر ثانٍ يراقب الطالب أثناء الكتابة، جملة بجملة، ويتنبأ بمدى جودة الإجابة النهائية. إذا استطاع الناقد تخمين الدرجة النهائية في وقت مبكر، فيمكنه إخبار الطالب فوراً عندما يتخذ مساراً خاطئاً، مما يسمح بتعلم أسرع وأكثر دقة. ولفترة طويلة، تراجع هذا النهج لأن بناء وتدريب هذا البرنامج الثاني كان صعباً وغير موثوق به في كثير من الأحيان. ومؤخراً، اتجه المجال نحو أساليب تتجاهل الناقد تماماً، معتمدة بدلاً من ذلك على مقارنة مجموعات من الإجابات ببعضها البعض. لكن هذه الورقة البحثية تشير إلى أن فكرة الناقد القديمة لم تمت، بل كانت تحتاج فقط إلى طريقة جديدة لرؤية العالم.

اكتشف الباحثون، الذين يعملون في شركة "ميسترال إيه آي" (Mistral AI) ومؤسسات أخرى، أن الناقد يفشل ليس لأنه فكرة سيئة، بل لأنه غالباً ما يُطلب منه القيام بالمستحيل. فقد وجدوا أنه إذا أعطوا الناقد القليل من المعلومات الإضافية التي لا يُسمح للذكاء الاصطناعي (الطالب) برؤيتها، فسيصبح الناقد دقيقاً للغاية. ويطلقون على هذا اسم "دالة القيمة المميزة" (privileged value function). لفهم كيفية عمل ذلك، تخيل طالباً يؤدي اختباراً في الرياضيات؛ الطالب يحل مسألة خطوة بخطوة، والناقد يراقبه. في الحالة العادية، يتعين على الناقد تخمين الدرجة النهائية بناءً على ما كتبه الطالب حتى الآن فقط. ولكن في هذا الإعداد الجديد، يتم تسليم الناقد سراً نموذج الإجابة الصحيح. هو لا يظهر الإجابة للطالب، لكنه يستخدم تلك المعرفة السرية لتقييم تقدم الطالب الحالي بدقة أكبر. فإذا كانت خطوة الطالب الحالية بعيدة عن المسار الصحيح، يعرف الناقد ذلك فوراً ويعطي إشارة واضحة لتغيير المسار. هذه الإشارة تساعد الطالب على التعلم بشكل أسرع مما لو كان على الناقد التخمين بعمى.

اختبر الفريق هذه الفكرة في عدة مهام استدلالية صعبة، بما في ذلك حل الألغاز المنطقية وكتابة أكواد البرمجة. وفي إحدى التجارب، استخدموا لغز "سودوكو"، حيث كان على الذكاء الاصطناعي ملء شبكة رقم واحد تلو الآخر. كان بإمكان الذكاء الاصطناعي الأساسي رؤية الأرقام التي وضعها بالفعل فقط، أما الناقد "المميز"، فقد عُرضت عليه الشبكة كاملة ومحلولة. سمح هذا للناقد بإخبار الذكاء الاصطناعي فوراً ما إذا كانت حركته ستؤدي إلى طريق مسدود، حتى لو لم يقم الذكاء الاصطناعي إلا بعدد قليل من الحركات. كانت النتائج مذهلة؛ ففي كل مهمة جربوها، ساعد استخدام هذا الناقد "المميز" الذكاء الاصطناعي على التعلم بشكل أسرع والوصول إلى درجات أعلى من الطرق القياسية. لم يكن الأمر مجرد حظ، بل تعلم الذكاء الاصطناعي اتخاذ قرارات أفضل لأنه امتلك خريطة أوضح للمكان الذي يتجه إليه.

أدرك الباحثون أيضاً أن الناقد لا يزال يتعلم أحياناً وليس مثالياً بعد؛ فإذا كان الناقد واثقاً جداً ولكنه مخطئ، فقد يربك الذكاء الاصطناعي. ولإصلاح ذلك، بنوا أداة ثانية تسمى "تيثر" (Tether). يعمل هذا النظام كمفتاح ذكي؛ ففي بداية التدريب، عندما يكون الناقد جديداً وغير موثوق، يعتمد النظام بشكل أساسي على مقارنة مجموعات من الإجابات، وهي طريقة آمنة ولكنها أبطأ. ومع تحسن قدرة الناقد وبدء تقديمه لنصائح دقيقة، يقوم نظام "تيثر" بتحويل الثقة تدريجياً نحو الناقد. إنه يمزج بين الطريقتين معاً، وينتقل بسلاسة من واحدة إلى الأخرى دون الحاجة إلى مهندسين بشريين لتعديل الإعدادات. يضمن ذلك أن يمتلك الذكاء الاصطناعي دائماً أفضل توجيه ممكن، سواء كان الناقد مبتدئاً أو خبيراً.

تظهر الدراسة أن الفكرة القديمة المتمثلة في استخدام برنامج ثانٍ لتوجيه التعلم ليست صالحة فحسب، بل هي متفوقة، بشرط تزويدها بالأدوات المناسبة. ومن خلال السماح للناقد برؤية أشياء لا يمكن للذكاء الاصطناعي الأساسي رؤيتها، أزال الباحثون عنصر التخمين من عملية التعلم. كما أظهروا أنه يمكن جعل هذا النهج قوياً وتلقائياً، بحيث يتكيف مع مستوى مهارة الناقد نفسه أثناء تحسنه. ورغم أن هذا العمل تطلب قوة حوسبة كبيرة وهندسة دقيقة، إلا أن النتائج تشير إلى مسار واضح للمستقبل. فبدلاً من التخلي عن الناقد، قد يكمن مستقبل تعليم الذكاء الاصطناعي الاستدلال في منحه رؤية أفضل للحل، مما يسمح له بالتعلم من أخطائه بوضوح كان بعيد المنال في السابق.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.LG →