Graph-Aware Reinforcement Learning for Reusable Prompt Compression in Black-Box LLMs
تقترح هذه الورقة إطار عمل للتعلم التعزيزي القائم على الرسوم البياسية والمدرك للمهام، والذي يقوم بضغط سياقات الاستدلال القابلة لإعادة الاستخدام في النماذج اللغوية الكبيرة ذات الصندوق الأسود عبر تدريب سياسة خفيفة الوزن لاتخاذ قرارات استخراجية بالاحتفاظ أو الحذف لوحدات الاستدلال ذات البنية البيانية، مما يحقق وفراً كبيراً في تكلفة المدخلات مع الحفاظ على دقة الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت ذكي للغاية ولكنه باهظ الثمن كيفية حل الألغاز المعقدة. أنت لا تكتفي بإعطاء الروبوت سؤالاً واحداً فحسب؛ بل يجب عليك أولاً تسليمه دليلاً إرشادياً سميكاً. يحتوي هذا الدليل على قواعد اللعبة، وبعض الأمثلة حول كيفية حل ألغاز مماثلة، وقائمة صارمة حول كيفية كتابة الإجابة النهائية. في عالم الذكاء الاصطناعي، تُسمى هذه "الروبوتات" نماذج لغوية كبيرة (LLMs)، ويُسمى "الدليل" هو المطالبة (Prompt). المشكلة هي أن هذه الأدلة أصبحت ضخمة جداً. ففي كل مرة تطرح فيها سؤالاً جديداً على الروبوت، يتعين عليك إعادة إرسال الدليل بأكره. هذا الأمر بطيء، ويكلف الكثير من المال (لأن الروبوت يتقاضى أجراً مقابل كل كلمة)، ويملأ ذاكرة الروبوت قصيرة المدى.
لقد حاول العلماء تقليص حجم هذه الأدلة دون فقدان الأجزاء المهمة منها. حاول البعض مجرد قطع نهاية النص، بينما حاول آخرون تلخيص النص بأكمله في بضع جمل. ولكن هنا تكمن العقبة: إذا حذفت الجملة الخاطئة، فقد يرتبك الروبوت ويعطي إجابة خاطئة، حتى لو بدا بقية النص سليماً. الهدف هو إبقاء الدليل قصيراً بما يكفي ليكون رخيصاً وسريعاً، وفي الوقت نفسه مفصلاً بما يكفي للحفاظ على ذكاء الروبوت. يتناول هذا البحث هذه المشكلة تحديداً، خاصة في الحالات التي تستخدم فيها نفس الدليل مراراً وتكراراً للعديد من الأسئلة المختلفة، مثل معلم يستخدم نفس خطة الدرس لفصل دراسي كامل.
الفكرة الكبرى للورقة البحثية: روبوت "أمين المكتبة الذكي"
يقترح مؤلفو هذه الورقة، من جامعة إيران للعلوم والتكنولوجيا، طريقة جديدة لتقليص هذه الأدلة القابلة لإعادة الاستخدام. وقد أطلقوا على طريقتهم اسم التعلم التعزيزي المدرك للرسوم البيانية (Graph-Aware Reinforcement Learning). قد يبدو الاسم معقداً، لذا دعونا نفككه باستخدام قصة.
تخيل أن دليلك القابل لإعادة الاستخدام هو مكتبة ضخمة وفوضوية من الملاحظات اللاصقة. بعض الملاحظات هي مجرد نصائح عامة، وبعضها أمثلة محددة، وبعضها معادلات رياضية، وبعضها قواعد صارمة حول كيفية تنسيق الإجابة. في الماضي، حاول الناس تقليص المكتبة عن طريق أخذ الملاحظات القليلة الأولى فقط أو اختيار الملاحظات التي تبدو مشابهة للسؤال. لكن ذلك يشبه محاولة حزم حقيبة سفر عبر التقاط أول بضعة أشياء تراها فقط؛ قد تترك فرشاة أسنانك خلفك!
يقترح المؤلفون نهجاً أكثر ذكاءً. أولاً، يعاملون مكتبة الملاحظات اللاصقة ليس كقائمة بسيطة، بل كـ شبكة عنكبوتية (أو رسم بياني/Graph). في هذه الشبكة، كل ملاحظة هي "عقدة"، والخيوط التي تربط بينها توضح كيفية ارتباط الملاحظات ببعضها البعض. فقد تكون ملاحظة تحتوي على معادلة مرتبطة بملاحظة مثال تستخدم تلك المعادلة. وقاعدة مثل "لا توجد أرقام سالبة" قد تكون مرتبطة بمسألة رياضية محددة. هذه "الشبكة العنكبوتية" تساعد النظام على فهم أن بعض الملاحظات هي "أصدقاء مقربون" ويجب أن يبقوا معاً، بينما البعض الآخر مجرد معارف عابرين.
بعد ذلك، يقومون بتدريب أمين مكتبة ذكي باستخدام تقنية تسمى التعلم التعزيزي (Reinforcement Learning). فكر في هذا كأنه لعبة فيديو حيث مهمة أمين المكتبة هي اختيار الملاحظات التي سيحتفظ بها والتي سيرميها. أمين المكتبة لا يعرف الإجابة على الألغاز الموجودة داخل عقل الروبوت (لأن الروبوت عبارة عن "صندوق أسود" - لا يمكننا رؤية تروسه الداخلية). بدلاً من ذلك، يتعلم أمين المكتبة من خلال التجربة والخطأ. يختار مجموعة من الملاحظات، ويرسلها إلى الروبوت، ويرى ما إذا كان الروبوت سيحصل على الإجابة الصحيحة أم لا.
- إذا حصل الروبوت على الإجابة الصحيحة وكان الدليل قصيراً، يحصل أمين المكتبة على درجة عالية.
- إذا أخطأ الروبوت، يحصل أمين المكتبة على عقوبة.
- إذا قام أمين المكتبة برمي ملاحظة كانت ضرورية حقاً (مثل قاعدة مخفية)، فإنه يحصل على عقوبة كبيرة.
مع مرور الوقت، يتعلم أمين المكتبة بالضبط أي الملاحظات ضرورية لنجاح الروبوت وأيها مجرد حشو. إنه يتعلم الحفاظ على شبكة المنطق متماسكة، حتى لو تطلب الأمر إزالة العديد من الملاحظات.
ما وجدوه: أدلة أقصر، وروبوت بنفس الذكاء
اختبر الباحثون "أمين المكتبة الذكي" هذا على نوعين صعبين للغاية من المهام: المسائل الرياضية (مثل تلك الموجودة في مجموعات بيانات GSM8K و MATH) و كتابة أكواد الكمبيوتر (باستخدام مجموعات بيانات MBPP و HumanEval). وقارنوا طريقتهم بطرق أخرى لتقليص المطالبات، مثل قطع النص إلى النصف أو اختيار الملاحظات بناءً على مدى تشابهها مع السؤال.
كانت النتائج مثيرة للإعجاب حقاً. وجد المؤلفون أن طريقتهم يمكنها تقليص الدليل القابل لإعادة الاستخدام بنسبة 52.6% — مما يعني أنهم أزالوا أكثر من نصف النص! وبالرغم من حذف هذا القدر الكبير، فإن قدرة الروبوت على حل المشكلات انخفضت بنسبة ضئيلة جداً بلغت 1.0 نقطة مئوية فقط. ولو وضعت ذلك في الاعتبار، فإن الطرق الأخرى التي تقطع النص عشوائياً أو بناءً على التشابه تسببت في انخفاض دقة الروبوت بشكل أكبر بكثير (أحياناً بأكثر من 8 نقاط مئوية).
ولأنهم أزالوا الكثير من الكلمات، فقد وفروا أيضاً الكثير من المال والوقت. فقد قدروا أن استخدام دليلهم المضغوط سيوفر حوالي 40.3% من تكاليف المدخلات. وفي العالم الحقيقي، هذا يعني أن الروبوت سيكون أسرع في الإجابة وأرخص في التشغيل، خاصة إذا كنت تطرح عليه آلاف الأسئلة باستخدام نفس خطة الدرس.
لماذا هذا مهم (وما الذي لا يفعله)
تشير الورقة البحثية إلى أن هذه الطريقة تعد خطوة كبيرة للأمام لأنها لا تحاول إعادة كتابة الدليل أو تلخيصه في كلمات جديدة. بدلاً من ذلك، تقوم ببساطة باختيار أفضل القطع الموجودة بالفعل. وهذا أمر مهم لأنه يحافظ على وضوح التعليمات ويمنع الروبوت من الارتباك بسبب الملخصات "المصنوعة".
ومع ذلك، يوضح المؤلفون بحذر أن هذه ليست عصا سحرية لكل المواقف. تعمل طريقتهم بشكل أفضل عندما يكون لديك دليل قابل لإعادة الاستخدام تستخدمه للعديد من الأسئلة المختلفة. إذا كنت تطرح سؤالاً لمرة واحدة بسياق فريد، فقد لا يستحق الوقت المستغرق لتدريب "أمين المكتبة الذكي" التوفير الناتج. كما تعتمد الطريقة على تقسيم الدليل إلى "ملاحظات لاصقة" (وحدات استدلال) واضحة أولاً؛ فإذا كانت الملاحظات فوضوية منذ البداية، فقد يواجه أمين المكتبة صعوبة.
في النهاية، تشير الورقة البحثية إلى أن مستقبل الذكاء الاصطناعي الفعال لا يتعلق فقط بجعل النماذج أكبر أو أسرع، بل يتعلق بكوننا أكثر ذكاءً فيما نغذيها به. من خلال التعامل مع المطالبات كشبكة متصلة من الأفكار بدلاً من مجرد قائمة من الكلمات، يمكننا الحفاظ على مساعدي الذكاء الاصطناعي حادين، وسريعين، وبأسعار معقولة دون فقدان السحر الذي يجعلهم يعملون.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.