SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding
تقدم الورقة البحثية SyRuP، وهو إطار عمل للفك عند وقت التوليد يعزز التزام النماذج اللغوية الكبيرة بالتعليمات البرمجية للنظام من خلال تدريب رأس مكافأة عبر الانتباه المتقاطع لتوليد درجات التزام على مستوى الرمز (token) لمرشحي إعادة الترتيب دون الحاجة إلى ضبط النموذج الأساسي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى روبوت ذكي للغاية ومثقف، قرأ كل كتاب تقريباً في المكتبة. هذا الروبوت هو نموذج لغوي كبير (LLM). عادةً، عندما تسأله سؤالاً، يجيب بناءً على تدريبه. ولكن أحياناً، تريد إعطاءه مجموعة محددة من القواعد قبل أن يبدأ في الكلام. قد تقول له: "تقمص دور قرصان غاضب"، أو "أجب بالقافية فقط"، أو "لا تذكر العنف أبداً". هذه القواعد تسمى المطالبات النظامية (system prompts). إنها تشبه الوصف الوظيفي أو الزي الذي يرتديه الروبوت لمحادثة معينة.
المشكلة هي أن هذه الروبات معتادة على اتباع التعليمات التي تظهر داخل المحادثة، وليس القواعد الموضوعة كقوانين ثابتة قبل بدء الدردشة. عندما تصبح القواعد معقدة — مثل "كن قرصاناً، ولكن استخدم أيضاً قواعد لغوية من القرن التاسع عشر، وتجنب حرف الـ 'e'، وحافظ على طابع مضحك" — فإن الروبوت غالباً ما ينسى القواعد في منتصف الطريق. قد يبدأ بالتحدث مثل قرصان، ثم ينتقل فجأة ليتحدث مثل مراهق عصري، أو ينسى تجنب حرف الـ 'e'. حاول العلماء إصلاح ذلك عن طريق إعادة تدريب الروبوت (وهو أمر مكلف وبطيء) أو عن طريق محاولة تخمين أفضل إجابة بعد كتابتها بالفعل (وهو ما يشبه تحرير رواية بعد أن انتهى المؤلف من كتابتها بالفعل). السؤال الكبير هو: هل يمكننا توجيه الروبوت لاتباع هذه القواعد المعقدة أثناء كتابته، دون تغيير دماغه أو الانتظار حتى النهاية؟
هنا يأتي دور طريقة جديدة تسمى SYRUP. فكر في دماغ الروبوت كمكتبة ضخمة مجمدة لا يُسمح لنا بإعادة ترتيبها. SYRUP هو بمثابة أمين مكتبة ذكي وصغير يقف بجانب الروبوت مباشرة بينما يكتب. في كل مرة يختار فيها الروبوت الكلمة التالية ليقولها، يقوم أمين المكتبة هذا بفحص شيئين: "هل تناسب هذه الكلمة القصة؟" و"هل تناسب زي القرصان؟".
إليك كيف يعمل الأمر من الناحية العملية. لدى الروبوت قائمة بأفضل 10 كلمات مفضلة لديه ليقولها تالياً. عادةً، يختار الكلمة المفضلة رقم واحد فقط. لكن SYRUP يتدخل. ينظر إلى "المطالبة النظامية" (زي القرصان) كبطاقة ذاكرة منفصلة وخاصة. يستخدم أداة خاصة تسمى رأس مكافأة الانتباه المتقاطع (cross-attention reward head) ليسأل أفكار الروبوت الحالية: "مهلاً، إذا قلت هذه الكلمة، فهل تتوافق مع أجواء القرصان؟". يقوم أمين المكتبة بعد ذلك بإعطاء درجة لكل كلمة من الكلمات العشر الأفضل. إذا أراد الروبوت قول "مرحباً"، ولكن زي القرصان يتطلب قول "أهلاً بك يا صاح (Ahoy)"، فإن أمين المكتبة يرفع درجة "أهلاً بك يا صاح" ويخفض درجة "مرحباً". يختار الروبوت بعد ذلك الكلمة ذات الدرجة الأعلى المجمعة.
تشير الورقة البحثية إلى أن هذا النهج أفضل بكثير من الطرق القديمة. اختبر الباحثون SYRUP على ثلاثة أدمغة روبوتات مختلفة ووجدوا أنه ساعدها باستمرار على اتباع القواعد المعقدة بشكل أفضل من مجرد إعطاء الروبوت مطالبة أفضل أو محاولة إعادة ترتيب الإجابات بعد كتابتها. في الواقع، في أحد الاختبارات، حسن SYRUP أداء الروبوت بنسبة 5.6% تقريباً مقارم بالمنهج التالي في الأفضلية. قد يبدو هذا الرقم صغيراً، ولكن في عالم الذكاء الاصطناي، تعد هذه قفزة هائلة.
كما تفند الورقة البحثية بعض الأفكار الأخرى. فقد أظهرت أن مجرد دمج القواعد في نص المحادثة الرئيسي (مثل إخفاء تعليمات القرصان داخل سؤال المستخدم) ليس كافياً؛ يحتاج الروبوت إلى معاملة القواعد كذاكرة منفصلة ومتميزة لكي يتبعها حقاً. ووجدت أيضاً أنه بينما يمكن جعل الروبوت يتبع القواعد بشكل أفضل عن طريق إعادة تدريبه من الصفر، إلا أن ذلك يستغرق الكثير من الوقت والمال. SY-RUP هو طريقة "وقت فك التشفير" (decoding-time)، مما يعني أنه يعمل أثناء تفكير الروبوت، مع إبقاء الدماغ الأصلي مجمداً وتدريب إضافة صغيرة وخفيفة الوزن فقط.
ومن المثير للاهتمام أن الباحثين وجدوا أن SYRUP يعمل حتى مع القواعد التي لم يسبق له رؤيتها. لقد دربوه على مجموعة واحدة من التعليمات المعقدة ثم اختبروه على مجموعة مختلفة تماماً من القواعد (مثل التنسيق الصارم أو عدد الكلمات)، ولا يزال يؤدي بشكل جيد. هذا يشير إلى أن الطريقة تعلم الروبوت مهارة عامة لـ "الاستماع إلى المدير" بدلاً من مجرد حفظ إجابات محددة.
ومع ذلك، كانت الورقة البحثية حذرة في ملاحظة أن هذه الطريقة ليست عصا سحرية تحل كل شيء. فالطريقة تضيف القليل من الوقت الإضافي لعملية تفكير الروبوت لأن أمين المكتبة يجب أن يفحص الكلمات. لكن المؤلفين يشيرون إلى أن هذه التكلفة ضئيلة جداً مقارنة بالطرق المعقدة الأخرى التي تحاول القيام بنفس الشيء. كما حذروا من أنه إذا ضغطت على "اتباع القواعد" بقوة شديدة، فقد يبدأ الروبوت في الظهور بشكل غريب أو غير طبيعي، لذا يجب أن يكون هناك توازن.
باختصار، يقترح SYRUP أنه إذا كنت تريد من الروبوت اتباع مجموعة معقدة من القواعد دون إعادة تدريب دماغه بالكامل، فلا ينبغي لك فقط أن تأمل في أن يتذكر. بدلاً من ذلك، يجب أن تعطيه دليلاً مخصصاً يعمل في الوقت الفعلي، يتحقق من كل كلمة يريد قولها مقابل القواعد، مما يضمن أن القصة النهائية تظل وفية للزي الذي كان يرتديه منذ البداية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.