A Control System, a Dataset, and a Recipe for Making Frozen LLM Agents Learn a Domain
تقترح هذه الورقة نظام تحكم فعال في العينات وقابل للتدقيق، يعمل على تحسين هيكل وكيل لغوي كبير (LLM) ثابت ومفهوم بشرياً باستخدام التعلم التعزيزي عبر الإنترنت والمكافآت متعددة الأهداف، مما يثبت فعاليته عبر مجالات مهام متنوعة ومزودي نماذج مختلفين مع إصدار الكود والبيانات ووصفة النشر لتطبيقات أوسع نطاقاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الشيف الذكي وكتاب الطبخ السحري
تخيل أن لديك شيفاً عبقرياً وذكياً للغاية يمكنه طهي أي شيء تقريباً. هذا الشيف هو ذكاء اصطناعي، وتحديداً نموذج لغوي كبير (LLM). لكن هناك عقبة: هذا الشيف لا يتجول في المطبخ ويبدأ بالطهي فحسب؛ بل يحتاج إلى وصفة، ومجموعة من الأدوات، وخطة. في عالم الذكاء الاصطناعي، يُسمى هذا الإعداد "حاصرة" (harness). إنها كتيب التعليمات الذي يخبر الذكاء الاصطناعي كيف يفكر، وما هي الأدوات التي يجب استخدامها (مثل الآلة الحاسبة أو محرك البحث)، وكيف يتحقق من عمله قبل تقديم الطبق النهائي.
لفترة طويلة، اعتقد العلماء أن الطريقة الوحيدة لجعل الشيف أفضل هي تدريب الشيف نفسه—أي تعليمهم مهارات جديدة من الصفر. لكن فكرة أحدث تقترح أنه ربما يكون الشيف رائعاً بالفعل، ونحن نحتاج فقط إلى تعديل الوصفة. السؤال الكبير الذي يطرحه الباحثون هو: هل نترك الذكاء الاصطناعي يعيد كتابة وصفته الخاصة أثناء الطهي (وهي خطوة محفوفة بالمخاطر ومكلفة)، أم يجب أن نعامل الوصفة كقائمة ثابتة من الخيارات ونستخدم نظاماً ذكياً وبسيطاً لاختيار الأفضل للمهمة؟ يبحث هذا البحث في هذا السؤال، ويختبر ما إذا كان يمكن تعزيز قدرات ذكاء اصطناعي "مجمد" (واحد لا يغير دماغه) بمجرد تغيير طريقة إعطائه التعليمات.
التجربة: ترويض الذكاء الاصطناعي باستخدام "لوحة تحكم الوصفات"
قرر مؤلفو هذا البحث اتباع نهج دقيق ومنضبط للغاية. فبدلاً من ترك الذكاء الاصطناعي ينطلق في حالة من الفوضى ويعيد كتابة الكود الخاص به (وهو ما يجادلون بأنه يشبه السماح لطالب بإعادة كتابة أسئلة الامتحان أثناء تأديته للاختبار)، قاموا ببناء "نظام تحكم". فكر في هذا النظام كلوحة تحكم سحرية ضخمة تحتوي على 729 إعداداً مختلفاً بالضبط. كل إعداد هو مزيج محدد من التعليمات:
- أسلوب التلقين (Prompt Style): هل يجب أن يكون الذكاء الاصطناعي مباشراً، أم منظماً، أم تأملياً؟
- سياسة الأدوات (Tool Policy): هل يستخدم الأدوات عند الحاجة فقط، أم يستخدمها دائماً؟
- الذاكرة (Memory): هل يتذكر النجاحات الماضية، أم يتذكر النجاحات والإخفاقات معاً؟
- التخطيط (Planning): هل يندفع مباشرة، أم يضع خطة موجزة، أم يخطط ويراجع خطته؟
- التحقق (Verification): هل يتحقق من عمله في النهاية، أم خطوة بخطوة؟
- ميزانية الخطوات (Step Budget): كم عدد الخطوات التي يجب أن يتخذها قبل التوقف؟
أراد الباحثون معرفة ما إذا كان بإمكانهم استخدام نظام تعلم ذكي (يُسمى التعلم المعزز - Reinforcement Learning) لتبديل هذه المفاتيح في الوقت الفعلي للعثور على الوصفة المثالية لكل مهمة. وقد اختبروا ذلك في ثلاثة "مطابخ" مختلفة:
- استخدام الأدوات: جعل الذكاء الاصطناعي يدير قاعدة بيانات عملاء وهمية (مثل نظام إدارة علاقات العملاء CRM).
- البرمجة: طلب من الذكاء الاصطناعي كتابة كود يجتاز اختبارات محددة (باستخدام معيار HumanEval).
- الاسترجاع: طلب من الذكاء الاصطناعي الإجابة على أسئلة صعبة من خلال البحث في كومة من المستندات (باستخدام HotpotQA).
أجروا هذه التجربة على اثنين من "الطهاة": نموذج مفتوح المصدر محلي (Ollama) ونموذج سحابي قوي (AWS Bedrock). وقارنوا لوحة التحكم الذكية المتعلمة لديهم بطريقتين أخريين: "المخمن العشوائي" (الذي يختار الإعدادات عشوائياً) و"الأساس الثابت" (وهو وصفة واحدة محددة مسبقاً ومحسنة تم إنشاؤها بواسطة أداة تسمى DSPy).
المفاجأة الكبرى: الوصفة "الثابتة" هي الفائزة
إليك التحول الذي لم يتوقعه المؤلفون: لوحة التحكم الذكية والمتعلمة لم تفز.
في كل اختبار تقريباً، حقق "الأساس الثابت"—تلك الوصفة الواحدة المعدة مسبقاً والتي صِيغت بعناية ثم تُركت وشأنها—أداءً يضاهي، أو حتى يتفوق على، النظام الذي يحاول التعلم والتكيف باستمرار.
- في مجال استخدام الأدوات، نجحت الوصفة الثابتة في تنفيذ 96% من المهام على نموذج Bedrock، بينما نجح نظام التعلم في حوالي 62% فقط.
- في البرمجة، كانت الوصفة الثابتة بجودة النظام المتعلم، لكنها استخدمت عددًا أقل بكثير من "الرموز" (Tokens) (المكونات الرقمية التي يتغذى عليها الذكاء الاصطناعي)، مما جعلها أرخص وأسرع بكثير.
- وحتى في مجال الاسترجاع، حيث كانت الأمور أصعب على الجميع، حافظت الوصفة الثابتة على مكانتها.
أدرك المؤلفون سبب حدوث ذلك. كان نظام "التعلم" يحاول العثود على أفضل إعداد من بين 729 احتمالاً، لكنه لم يملك الوقت أو المحاولات الكافية لتعلم الخريطة. الأمر يشبه محاولة العثور على أفضل مسار عبر متاهة ضخمة بـ 25 محاولة فقط؛ فمن المرجح أن تتعثر في طريق مسدود. أما الوصفة الثابتة، فقد بُنيت باستخدام طريقة تنظر فقط إلى الخيارات المعقولة وعالية الجودة منذ البداية، لذا لم تضع وقتاً في استكشاف المسارات السيئة.
ماذا يعني هذا للمستقبل؟
يخلص البحث إلى أنه في معظم الحالات العملية والواقعية، لا ينبغي لك البدء بنظام معقد ذاتي التعلم يحاول فهم كل شيء من الصفر. بدلاً من ذلك، يجب عليك:
- البدء بوصفة ثابتة قوية (مثل تلك التي تصنعها DSP).
- إضافة نظام التعلم لاحقاً فقط، وفقط إذا تغيرت المهام لدرجة تجعل الوصفة القديمة تتوقف عن العمل.
كما شارك المؤلفون "وصفة" (دليل يسمى RECIPE.md) للفرق الأخرى التي ترغب في بناء هذه الأنظمة. وهم يؤكدون أنه إذا استخدمت نظام تعلم، فيجب أن تكون حذراً بشأن "البدايات الباردة" (حيث يختار النظام إعداداً سيئاً بالصدفة في البداية) ويجب أن تراقب حالات الانهيار حيث يمكن لمحاولة واحدة سيئة أن تفسد الدفعة بأكملها.
باختصار، يشير البحث إلى أنه بينما تبدو فكرة وجود ذكاء اصطناዊ يعيد كتابة تعليماته باستمرار فكرة رائعة ومستقبلية، إلا أنه في العالم الحقيقي، غالباً ما يكون دليل التعليمات الثابت والمكتوب جيداً أفضل وأسرع وأرخص من نظام لا يزال يحاول معرفة كيفية كتابة الدليل أثناء العمل. جزء "التعلم" مفيد، ولكن فقط بعد أن تكون قد وجدت بالفعل نقطة انطلاق جيدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.