Goal-Conditioned Supervised Learning for LLM Fine-Tuning
تقدم هذه الورقة البحثية التعلم الخاضع للإشراف الموجه بالأهداف (GCSL)، وهو إطار عمل فعال للضبط الدقيق غير المتصل الذي يعامل إشارات التغذية الراجعة كأهداف صريحة ويستفيد من اللغة الطبيعية لتوجيه النماذج اللغوية الكبيرة نحو تحقيق عتبات الجودة باستمرار، مما يجعله يتفوق على الطرق الخاضعة للإشراف القياسية مع تجنب التكاليف الباهظة للتعلم التعزيزي المتصل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم مساعد آلي (روبوت) ذكي جداً، ولكنه مشاكس قليلاً، كيف يتصرف. لديك كومة ضخمة من السجلات القديمة التي توضح الأوقات التي أجاب فيها الروبوت على الأسئلة، مع "درجة" لمدى جودة كل إجابة (مثل تقييم من 1 إلى 5 نجوم).
تقترح هذه الورقة البحثية طريقة جديدة، أبسط وأرخص، لتعليم هذا الروبوت باستخدام تلك السجلات، دون الحاجة إلى أدوات إضافية باهظة الثمن أو تجربة وخطأ مستمرة.
إليك تفصيل طريقتهم، باستخدام تشبيهات من الحياة اليومية:
المشكلة في الطرق الحالية
حالياً، هناك طريقتان رئيسيتان لتعليم هذه الروبوتات:
الطريقة "عبر الإنترنت" (مثل لعبة فيديو مع مدرب):
- كيف تعمل: يحاول الروبوت الإجابة، ويراقبه "مدرب" منفصل (نموذج المكافأة) ليعطيه درجة، ثم يحاول الروبوت مرة أخرى. يحدث هذا آلاف المرات.
- العيب: إنها مكلفة للغاية، وبطيئة، وتتطلب توظيف "مدرب" (وهو ذكاء اصطناعي آخر) قد لا يفهم حتى ما يريده المستخدم فعلياً. الأمر يشبه محاولة تعلم القيادة عن طريق قيادة السيارة، ثم الحصول على درجة، ثم القيادة مرة أخرى، وتكرار ذلك لأسابيع.
الطريقة "بدون اتصال" (مثل الدراسة من كتاب مدرسي):
- كيف تعمل: أنت فقط تظهر للروبوت الإجابات "الجيدة" من السجلات وتقول له: "انسخ هذا".
- العيب: عادةً ما يتخلص الناس من الإجابات "المقبولة" ويحتفظون فقط بالإجابات "المثالية". هذا يشبه طالباً يدرس فقط أفضل 10% من إجابات الاختبارات. سيتعلم الروبوت أن يكون "جيداً بمستوى متوسط"، لكنه لن يتعلم أبداً كيف ينتقل من "جيد" إلى "عظيم". إنه يصطدم بسقف لا يستطيع تجاوزه.
حل الورقة البحثية: "التعلم الخاضع للإشراف الموجه بالأهداف" (GCSL)
يقترح المؤلفون طريقة أذكى لاستخدام السجلات القديمة. بدلاً من مجرد قول "انسخ الإجابات الجيدة"، هم يخبرون الروبوت: "هذا هو هدف محدد يجب عليك تحقيقه."
فكر في الأمر كمدرب لياقة بدنية.
- الطريقة القديمة: "هذا فيديو لرياضي محترف وهو يركض. انسخه." (الروبوت يكتفي بتقليد متوسط هؤلاء المحترفين).
- الطريقة الجديدة: "هذا فيديو لمحترف. هدفك هو الركض بسرعة أكبر من 0.85 ثانية."
يتعلم الروبوت النظر إلى الفيديو وفهم: "حسناً، لتحقيق هدف السرعة المحدد هذا، أحتاج للقيام بـ س، ص، و ع."
الترقيتان الكبيرتان
قدمت الورقة البحثية حيلتين محددتين لجعل هذا العمل يعمل بشكل أفضل:
1. حيلة "ما وراء العتبة"
في الطريقة "المدرسية" القديمة، إذا كنت تريد من الروبوت أن يكون "سريعاً"، فكنت تظهر له فقط أسرع العدائين. كان الروبوت يتعلم نسخ متوسط تلك المجموعة السريعة.
الطريقة الجديدة تقول: "إذا كان العداء سريعاً بما يكفي لتحقيق 0.85 ثانية، فهو أيضاً جيد بما يكفي لتحقيق 0.80، و0.70، و0.60."
- التشبيه: تخيل طالباً حصل على درجة 'A' في اختبار. في الطريقة القديمة، نحن نظهر له فقط أوراق الـ 'A'. في الطريقة الجديدة، نقول للطالب: "بما أنك حصلت على 'A'، فأنت أيضاً تعرف كيف تحصل على 'B' و'C' و'D'."
- النتيجة: يتعلم الروبوت سلماً من التقدم. إنه يفهم أنه لكي يحصل على درجة "أفضل"، فإنه يحتاج للقيام بالمزيد من الأشياء أو القيام بها بشكل "أفضل" مما لو اكتفى بتقليد مثال واحد ثابت. إنه يتعلم اتجاه التحسن، وليس مجرد صورة ثابتة.
2. حيلة "اللغة الطبيعية"
في المحاولات السابقة، كان "الهدف" عبارة عن رمز غريب مثل [GOAL_TOKEN_5]. كان على الروبوت حفظ أن هذا الرمز يعني "اركض بسرعة".
الطريقة الجديدة تستخدم اللغة الإنجليزية البسيطة.
- التشبيه: بدلاً من الرمز السري، يقول المدرب: "قم بإنشاء استجابة بدرجة عدم سمية أكبر من 0.85. تتراوح الدرجات من 0 إلى 1، حيث الأعلى هو الأفضل."
- النتيجة: نظرًا لأن الروبوت (النموذج اللغوي الكبير - LLM) بارع بالفعل في فهم اللغة البشرية، فإنه "يفهم" الأمر فوراً. إنه يستخدم معرفته الموجودة مسبقاً بما يعنيه "سام" أو "فعال" ليعرف كيفية تحقيق الهدف، بدلاً من مجرد حفظ رمز.
لماذا هذا مهم؟
- إنه أرخص: لا تحتاج إلى ذكاء اصطناعي "مدرب" باهظ الثمن أو حلقات لا نهائية من التجربة والخطأ. أنت فقط تستخدم السجلات التي تملكها بالفعل.
- إنه أذكى: الروبوت لا يكتفي بنسخ أفضل الأمثلة فحسب؛ بل يتعلم كيفية تسلق سلم الجودة. يمكنه استهداف هدف لم يره من قبل (مثل "أن يكون أفضل من أفضل مثال لدينا") لأنه يفهم مفهوم الهدف.
- إنه يعمل في كل مكان: اختبر المؤلفون هذا على ثلاث وظائف مختلفة:
- اللباقة: جعل الروبوت أقل سمية/إساءة.
- البرمجة: جعل الروبوت يكتب كوداً يعمل بشكل أسرع وأكثر كفاءة.
- التوصيات: جعل الروبوت يقترح منتجات يحبها الناس حقاً.
الخلا-صة
تتعلق هذه الورقة البحثية بتعليم الذكاء الاصطناعي كيفية التصويب نحو هدف باستخدام لغة بسيطة و"سلم" من الجودة، بدلاً من مجرد نسخ أفضل الأمثلة أو لعب ألعاب فيديو مكلفة. إنها تجعل الذكاء الاصطناعي أذكى وتجعل عملية التدريب أسرع وأرخص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.