Reinforced Graph of Thoughts: RL-Driven Adaptive Prompting for LLMs
تقترح هذه الورقة البحثية "رسم بياني للأفكار المعزز" (RGoT)، وهو إطار عمل مؤتمت يستخدم التعلم المعزز لتكييف رسم العمليات البياني ديناميكيًا في أسلوب "رسم بياني للأفكار" (Graph of Thoughts) في التلقين، مما يتغلب على جمود الهياكل المحددة يدويًا للتعامل بشكل أفضل مع مهام حل المشكلات المعقدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً ذكياً جداً ولكنه مشتت الذهن أحياناً (وهو نموذج لغوي كبير، أو LLM)، وهو بارع في كتابة القصص لكنه يعاني مع الرياضيات المعقدة أو تنظيم البيانات الفوضوية. إذا طلبت منه ببساطة "حل هذا"، فقد يرتبك أو يرتكب أخطاءً، خاصة إذا كانت المشكلة ضخمة.
لمساعدته، يقوم الباحثون عادةً بإعطائه "وصفة" أو خطة خطوة بخوة:
- سلسلة الأفكار (Chain of Thought): مثل خط مستقيم من التعليمات: "افعل أ، ثم ب، ثم ج".
- شجرة الأفكار (Tree of Thoughts): مثل شجرة العائلة حيث يجرب المساعد فروعاً مختلفة، ويرى أيها يبدو جيداً، ثم يتراجع إذا وصل إلى طريق مسدود.
- رسم بياني للأفكار (Graph of Thoughts - GoT): وهي النسخة الأكثر تقدماً. تخيل خريطة مترو الأنفاق؛ يمكن للمساعد تقسيم المشكلة إلى خطوط مختلفة، وحل كل منها بشكل منفصل، ثم دمج النتائج مرة أخرى. هذا النوع رائع للمشكلات الكبيرة، لكنه صعب الاستخدام. عليك أنت، أي الإنسان، أن ترسم خريطة المترو بأكملها بنفسك قبل أن يبدأ المساعد في العمل. إذا رسمت خريطة خاطئة، سيفشل المساعد.
المشكلة: "الخريطة الثابتة"
إن "الرسم البياني للأفكار" الأصلي يشبه خريطة مترو أنفاق مرسومة مسبقاً وثابتة. هي تعمل بشكل مثالي إذا كانت المشكلة هي بالضبط ما توقعته. ولكن إذا أصبحت المشكلة أكبر أو أكثر تعقيداً (مثل قائمة أرقام أطول بمرتين مما كنت تظن)، فإن خريطتك الثابتة ستتعطل. سيضيع المساعد لأن الخريطة لم تأخذ في الاعتبار الحجم الجديد.
الحل: الرسم البياني المعزز للأفكار (RGoT)
قام مؤلفا هذه الورقة البحثية، مانويل نوح ريزن وبيتر ألفريد فون نيدرهوزن، ببناء نظام يسمى RGoT. بدلاً من أن تقوم أنت برسم الخريطة، أعطوا المساعد جهاز تحديد مواقع (GPS) يتعلم أثناء القيادة.
إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:
لعبة "الجمع"
تخيل أن المهمة هي جمع قائمة طويلة جداً من الأرقام.
- الطريقة القديمة: تقول للمساعد: "اجمع هذه الأرقام". إذا كانت القائمة تحتوي على 5 أرقام، فسيقوم بذلك. أما إذا كانت تحتوي على 50، فسيصاب بالارتباك ويعطي إجابة خاطئة.
- طريقة RGoT: يحتوي النظام على صندوق أدوات يحتوي على حركات أساسية:
- التقسيم (Split): قطع القائمة الكبيرة إلى قائمتين أصغر.
- الجمع (Sum): جمع قائمة صغيرة.
- الدمج (Merge): دمج نتيجتين صغيرتين في نتيجة واحدة كبيرة.
بدلاً من أن تقرر أنت متى تقسم أو تدمج، يستخدم النظام وكيل تعلم تعزيزي (Reinforcement Learning Agent). فكر في هذا الوكيل كأنه شخصية في لعبة فيديو تحاول اجتياز مستوى ما.
- اللعبة: "المستوى" هو قائمة الأرقام.
- الحركات: يمكن للشخصية اختيار "التقسيم"، أو "الجمع"، أو "الدمج"، أو "التوقف".
- المكافأة: إذا كانت الإجابة النهائية صحيحة، يحصل الوكيل على نقاط. وإذا فشل، يخسر نقاطاً.
سحر التعلم
في البداية، يكون الوكيل تائهاً. قد يحاول جمع قائمة من 100 رقم دفعة واحدة ويفشل. ولكن لأنه يلعب "لعبة" (باستخدام التعلم التعزيزي)، فإنه يتعلم من أخطائه.
- يدرك الوكيل: "مهلاً، عندما تكون القائمة ضخمة، أحصل على عقوبة إذا حاولت جمعها كلها دفعة واحدة. ولكن إذا قمت بـ التقسيم أولاً، ثم الجمع للأجزاء الصغيرة، ثم الدمج، سأحصل على مكافأة ضخمة!"
- مع مرور الوقت، يتعلم الوكيل بناء "خريطة مترو" خاصة به (الرسم البياني للعمليات) على الطاير، بما يتناسب تماماً مع حجم المشكلة.
ما فعلوه بالفعل
اختبر الباحثون هذا النظام في عدة مهام:
- جمع القوائم: جمع الأرقام.
- ترتيب القوائم: وضع الأرقام في ترتيب معين.
- عد الكلمات المفتاحية: معرفة عدد مرات ظهور كلمة معينة في نص.
- دمج المستندات: دمج عدة نصوص في نص واحد دون تكرار المعلومات.
لم يستخدموا نماذج الذكاء الاصيائي الحقيقية للتدريب (لأن ذلك سيكون مكلفاً وبطيئاً للغاية)، بل أنشأوا محاكاة. لقد حددوا مدى احتمالية وقوع الذكاء الاصطيائي في الخطأ في قائمة مكونة من 10 عناصر، أو 20 عنصراً، أو 50 عنصراً، وهكذا، وبرمجوا ذلك في اللعبة. تعلم الوكيل في هذه المحاكاة، ثم اختبروه على الذكاء الاصطناعي الحقيقي.
النتائج
تزعم الورقة البحثية ما يلي:
- القابلية للتكيف: تعلم الوكيل تلقائياً تغيير استراتيجيته بناءً على مدى صعوبة المشكلة. إذا كانت القائمة قصيرة، فإنه يقوم بعملية جمع بسيطة. وإذا كانت القائمة ضخمة، فإنه يقرر تلقائياً تقسيمها أولاً.
- أفضل من الأساسيات: حل الوكيل المشكلات المعقدة بموثوقية أكبر بكثير من مجرد طلب القيام بالمهمة من الذكاء الاصطناعي مباشرة (طريقة "المدخلات-المخرجات").
- التعميم: حتى عندما أعطوا الوكيل حجم قائمة لم يره من قبل أثناء التدريب (مثل قائمة من 60 عنصراً بينما تدرب فقط على قوائم تصل إلى 30 عنصراً)، فإنه لا يزال قادراً على ابتكار استراتيجية جيدة.
الخلاصة
تقدم الورقة البحثية طريقة لجعل حل المشكلات المتقدم في الذكاء الاصطناعي آلياً. بدلاً من أن يحتاج خبير بشري لمعرفة كيفية هيكلة مهمة معقدة بدقة، يستخدم النظام "وكيلاً متعلمًا" لتحديد أفضل خطة خطوة بخطوة (الرسم البياني) لأي حجم مشكلة معطى. إنها تحول عملية يدوية جامدة إلى عملية مرنة وذاتية التعديل.
ملاحظة: تركز الورقة البحثية بالكامل على هذه المهام المحددة (الرياضيات، الترتيب، العد، الدمج) ولا تدعي أن هذه الطريقة تعمل للتشخيص الطبي، أو الاستشارات القانونية، أو غيرها من التطبيقات الواقعية خارج نطاق هذه المشكلات المنطقية المحددة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.