💬 NLP

GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer

تُعد GFlowPO إطار عمل لتحسين الأوامر النصية يتميز بكفاءة العينة، حيث يجمع بين شبكة تدفق توليدية خارج السياسة لضبط نموذج لغوي للأوامر النصية وبين آلية تحديث ذاكرة ديناميكية خالية من التدريب لتركيز البحث تدريجياً على الأوامر النصية ذات المكافأة العالية، متفوقاً بذلك على النماذج المرجعية للتحسين المنفصل الموجودة عبر مهام متنوعة.

المؤلفون الأصليون: Junmo Cho, Suhan Kim, Sangjune An, Minsu Kim, Dong Bok Lee, Heejun Lee, Sung Ju Hwang, Hae Beom Lee

نُشر 2026-02-04

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junmo Cho, Suhan Kim, Sangjune An, Minsu Kim, Dong Bok Lee, Heejun Lee, Sung Ju Hwang, Hae Beom Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جداً ولكنه حرفي للغاية كيفية حل لغز ما. الروبوت قوي، لكنه يحتاج إلى مجموعة التعليمات الصحيحة (الـ "prompt") ليعطيك أفضل إجابة. المشكلة هي أن هناك مليارات الطرق الممكنة لكتابة تلك التعليمات، واختبار كل واحدة منها بطيء ومكلف.

إن العثور على التعليمات المثالية يشبه عادةً محاولة العثض على إبرة معينة في كومة قش ضخمة ومظلمة عن طريق التقاط حفنات عشوائية من القش. إذا التقطت حفنة ولم تكن هي الإبرة، فعليك التخلص منها والمحاولة مرة أخرى. هذا بطيء، وقد تفوتك أفضل الإبر لأنك تنظر فقط في البقعة التي التقطت منها للتو.

تقدم الورقة البحثية طريقة جديدة تسمى GFLOWPO لحل هذه المشكلة. فكر في الأمر كأنك تعطي الروبوت "خريطة ذكية" و"بنك ذاكرة" ليجد أفضل التعليمات بشكل أسرع بكثير.

إليك كيف يعمل ذلك، مقسماً إلى خطوتين رئيسيتين:

الخطوة 1: "المنقب الذكي" (GFlowNet)

معظم الطرق القديمة تشبه شخصاً لا يلتقط القش إلا من البقعة التي يقف فيها تماماً في اللحظة الحالية. إذا أسقط حفنة سيئة، فإنه ينساها فوراً ويمضي قدماً. وهذا ما يسمى بـ "التعلم القائم على السياسة" (on-policy learning)، وهو أمر غير فعال للغاية.

تستخدم GFLOWPO تقنية تسمى GFlowNet، وهي تشبه المنقب الذكي.

التشبيه: تخيل أن المنقب لديه حقيبة ظهر (مخزن إعادة التشغيل - "replay buffer"). في كل مرة يلتقط فيها حفنة من القش، يتحقق مما إذا كانت جيدة. حتى لو لم تكن هي الإبرة المثالية، فإنه يحتفظ بها في حقيبة ظهره.
الفائدة: لاحقاً، بدلاً من النظر فقط إلى ما يحمله في يده الآن، يمكنه سحب حفنات قديمة من حقيبة ظهره للتعلم منها. يمكنه المزج بين المحاولات القديمة ليفهم ما الذي يجعل الحفنة جيدة. وهذا يسمح له باستكشاف كومة القش بكفاءة أكبر دون إضاعة الوقت في إعادة اختبار أشياء يعرف بالفعل أنها سيئة.

الخطوة 2: "تحديث الذاكرة الديناميكي" (Dynamic Memory Update)

حتى مع وجود منقب ذكي، قد يعلق الروبوت في زاوية من كومة القش حيث تكون الإبر نادرة. إنه بحاجة إلى طريقة لتغيير استراتيجيته بناءً على ما تعلمه حتى الآن.

هنا يأتي دور الجزء الثاني، تحديث الذاكرة الديناميكي (DMU).

التشبيه: تخيل أن الروبوت لديه "ورقة غش" (الـ meta-prompt) تخبره بنوع الإبر التي يجب أن يبحث عنها.
- الطريقة القديمة: كانت ورقة الغش ثابتة. كانت تقول فقط: "ابحث عن إبر حمراء"، ولا تتغير أبداً، حتى لو وجد الروبوت أن الإبر الزرقاء في الواقع أفضل.
- طريقة GFLOWPO: يقوم الروبوت بتحديث ورقة الغش الخاصة به باستمرار. فهو يأخذ نوعين من الأمثلة ويكتبهما على الورقة:
  1. "الفائزون": أفضل الإبر التي وجدها حتى الآن (لتشجيعه على الاستمرار في البحث عن أشياء مشابهة لها).
  2. "مجموعة التنوع": مزيج عشوائي من محاولات مختلفة من حقيبة ظهره (للتأكد من أنه لن يعلق في مكان واحد ويفوت إبراً جيدة أخرى).
النتيجة: من خلال تحديث ورقة الغش بكل من "الفائزين" و"التنوع"، ينتقل الروبوت تدريجياً في بحثه نحو المناطق الأكثر واعدة، مع بقائه في نفس الوقت منتبهاً للاحتمالات الجديدة.

لماذا هذا مهم؟

اختبرت الورقة البحثية هذه الطريقة في مهام متنوعة، مثل:

تصنيف النصوص: تحديد ما إذا كانت مراجعة فيلم إيجابية أم سلبية.
استنتاج التعليمات: اكتشاف القاعدة الخفية وراء مجموعة من الأمثلة (مثل: "حول هذه الكلمات إلى صيغة الماضي").
الإجابة على الأسئلة: الإجابة على أسئلة ثقافية معقدة.

في كل هذه الاختبارات، وجدت GFLOWPO تعليمات أفضل وبسرعة أكبر من الطرق السابقة. لم يكن الأمر مجرد حظ؛ بل استخدمت "حقيبة ظهرها" للتعلم من أخطاء الماضي و"ورقة الغش المتجددة" للتركيز في البحث على أفضل المناطق.

باختصار: GFLOWPO هو نظام يساعد الذكاء الاصطناعي في العثور على أفضل التعليمات من خلال تذكر محاولاته الماضية (بدلاً من نسيانها) وتعديل دليل الإرشادات الخاص به باستمرار للتركيز على ما ينجح، وكل ذلك دون الحاجة إلى إعادة تدريبه من الصفر في كل مرة.

ملخص تقني: GFLOWPO

بيان المشكلة

يعد العثور على مطالبات (prompts) فعالة للنماذج اللغوية الكبيرة (LMs) أمراً بالغ الأهمية، حيث يمكن للتغييرات الطفيفة أن تغير مخرجات النموذج بشكل كبير. ومع ذلك، لا تزال هندسة المطالبات عملية يدوية وتتطلب جهداً كبيراً. وبينما ظهر تحسين المطالبات التلقائي، تواجه الأساليب الحالية القائمة على التعلم التعزيزي (RL) تحديات كبيرة في فضاء المطالبات التوافقي:

ضعف كفاءة العينات: تعتمد العديد من الطرق على التعلم داخل السياسة (on-policy) (مثل PPO)، مما يتطلب عدداً هائلاً من العينات للحصول على تدرجات موثوقة، وهو أمر مكلف نظراً للتكلفة العالية لتقييم النماذج اللغوية المستهدفة.
الاشتراط الثابت (Static Conditioning): يتم أخذ "المطالبة الميتا" (meta-prompt) (وهي التعليمات التي توجه النموذج اللغوي المولد للمطالبات) عادةً من توزيع ثابت. وهذا يمنع النظام من دمج الخبرات المتراكمة ذات المكافأة العالية، مما يؤدي إلى استكشاف ضعيف التوجيه.

المنهجية: GFLOWPO

يقترح المؤلفون GFLOWPO، وهو إطار عمل احتمالي يعيد صياغة تحسين المطالبات كمسألة استدلال خلفي (posterior inference) فوق المطالبات الكامنة، منظمة بواسطة مرجع (prior) لنموذج لغوي مستند إلى مطالبة ميتا. يعمل الإطار عبر خطوتين متبادلتين:

الخطوة أ: الاستدلال الخلفي خارج السياسة عالي الكفاءة في العينات

تستخدم جوهر عملية البحث شبكات التدفق التوليدية (GFlowNets)، وهو إطار عمل للتعلم التعزيزي خارج السياسة (off-policy) مصمم للاستدلال التراكمي.

الهدف: يقوم النظام بضبط نموذج لغوي خفيف الوزن للمطالبات ( $p_\theta$ ) لتقريب التوزيع الخلفي $p(z|D, M) \propto p(D|z) \cdot p_{ref}(z|M)$ ، حيث $z$ هي المطالبة، و $D$ هي بيانات المهمة، و $M$ هي المطالبة الميتا.
تعريف المكافأة: بدلاً من استخدام احتمالية التدريب الخام (التي وجد المؤلفون أنها ترتبط ارتباطاً ضعيفاً بدقة الاختبار)، تُعرف المكافأة $R(z; M)$ بأنها عدد مرات الصحة في التدريب $A_D(z)$ مضروباً في المرجع القبلي $p_{ref}(z|M)$ .
مخطط التدريب: يتم تدريب نموذج المطالبات باستخدام هدف VarGrad (وهو متغير من توازن المسار - Trajectory Balance) مع سياسة تدريب قائمة على إعادة التشغيل (replay-based). يتيح ذلك للنموذج إعادة استخدام تقييمات المطالبات السابقة من مخزن إعادة التشغيل (replay buffer)، مما يحسن كفاءة العينات بشكل كبير مقارنة بالطرق داخل السياسة.
الآلية: سياسة التدريب $\pi(z)$ هي مزيج من النموذج الحالي (المخفف) وتوزيع منتظم على مخزن إعادة التشغيل، مما يتيح استكشافاً فعالاً في ظل إشارات مكافأة متفرقة.

الخطوة ب: تحديث الذاكرة الديناميكي (DMU)

لمعالجة قصور المطالبات الميتا الثابتة، يقدم GFLOWPO آلية خالية من التدريب لتحديث المطالبة الميتا $M$ بشكل تكراري.

الهدف: لتعظيم لوغاريتم الاحتمالية الهامشية $\log p(D|M)$ ، مما يؤدي فعلياً إلى تركيز البحث على المناطق ذات المكافأة العالية.
الآلية: تحتوي المطالبة الميتا $M$ $M$ على مجموعة من المطالبات المرجعية ( $Z_{ref}$ $Z_{r e f}$ ). يقوم DMU بتحديث $Z_{ref}$ $Z_{r e f}$ عن طريق أخذ عينات من مخزنين متكاملين:
1. مخزن إعادة التشغيل ( $B$ ): يخزن مطالبات متنوعة تم أخذ عينات منها أثناء تدريب GFlowNet للحفاظ على الاستكشاف.
2. مخزن المكافأة العالية ( $Q$ ): يخزن أفضل المطالبات أداءً التي تمت مواجهتها حتى الآن لتشجيع الاستغلال (exploitation).
العملية: في كل خطوة تحديث، يتم إنشاء $Z_{ref}$ عن طريق أخذ عينات من كل من $B$ و $Q$ . يتم حقن هذه المطالبات المرجعية في قالب المطالبة الميتا، مما يوجه نموذج المطالبات نحو المناطق الواعدة في فضاء البحث دون الحاجة إلى تحديثات إضافية لمعلمات المطالبة الميتا نفسها.

المساهمات الرئيسية

الصياغة الاحتمالية: صاغت الورقة تحسين المطالبات كمسألة استدلال خلفي واقترحت GFLOWPO كحل فعال.
تدريب GFlowNet خارج السياسة: قدمت مخطط تدريب GFlowNet قائم على إعادة التشغيل للبحث عن المطالبات، مما يوفر كفاءة أعلى في العينات مقارنة بطرق التعلم التعزيزي التقليدية داخل السياسة.
تحديث الذاكرة الديناميكي (DMU): آلية مبتكرة خالية من التدريب تقوم بتحديث المطالبة الميتا بشكل تكيفي عبر الموازنة بين المطالبات المتنوعة (الاستكشافية) والمطالبات عالية المكافأة (الاستغلالية)، مما يركز البحث تدريجياً على المناطق المثلى.
التحقق التجريبي: أظهرت الطريقة أداءً قوياً عبر مهام متنوعة ومقاييس نماذج مختلفة دون الاعتماد على نماذج لغوية خارجية ضخمة لعملية التحسين.

النتائج التجريبية

قيم المؤلفون GFLOWPO عبر عدة اختبارات مرجعية، بما في ذلك التصنيف النصي قليل الشرح (few-shot text classification)، واستقراء التعليمات (instruction induction)، والإجابة على الأسئلة، باستخدام أزواج متنوعة من (المطالبة-النموذج المستهدف) (تتراوح من 2 مليار إلى 13 مليار معلمة، بما في ذلك Llama، و Mistral، و Gemma، و Falcon).

التصنيف النصي: في ست مجموعات بيانات للتصنيف النصي قليل الشرح (SST-2, MRPC, RTE, QNLI, MNLI, SNLI)، حقق GFLOWPO أعلى متوسط دقة (78.7%)، متفوقاً على الأساليب المرجعية القوية مثل StablePrompt (76.4%) وطرق ضبط المطالبات المنفصلة الأخرى (مثل APE و ProTeGi).
استقراء التعليمات: في مهام استقراء التعليمات (II) و (BBII)، تفوق GFLOWPO باستمرار على الأساليب المرجعية، محققاً متوسط دقة 64.96% في II و 60.14% في BBII. وقد أظهر قوة خاصة في مهام توليد النصوص التي تتطلب مطابقة دقيقة للرموز (tokens).
الإجابة على الأسئلة: في MMLU و OpenBookQA، طابق GFLOWPO أو تجاوز أداء StablePrompt والأساليب الأخرى، مما أظهر متانة عبر موضوعات متنوعة.
تحليل الاستكشاف: أظهرت المقارنات مع StablePrompt (وهو خط أساس PPO داخل السياسة) أن GFLOWPO يكتشف مطالبات ذات مكافأة أعلى بكما هو أكثر كفاءة، حيث حقق دقة تدريب أفضل بعدد أقل من المطالبات المأخوذة كعينات.
دراسات الاستئصال (Ablation Studies): أدى حذف كل من التدريب خارج السياسة أو آلية DMU إلى تراجع الأداء، مما يؤكد أن كلا المكونين يساهمان بشكل متكامل في نجاح النظام.

الأهمية والادعاءات

تدعي الورقة أن GFLOWPO يعالج القيود الحرجة لمحسنات المطالبات القائمة على التعلم التعزيزي، وتحديداً عدم كفاءة التعلم داخل السياسة وجمود المطالبات الميتا الثابتة. من خلال الجمع بين تدريب GFlowNet خارج السياسة وآلية تحديث الذاكرة الدينامية، يتيح الإطار استكشافاً فعالاً لفضاء المطالبات المنفصل مع صقل تركيز البحث تدريجياً.

يضع المؤلفون GFLOWPO كبديل قوي وعالي الكفاءة في العينات يعمل بفعالية مع النماذج مفتوحة المصدر وخفيفة الوزن، مما يقلل الاعتماد على النماذج اللغوية الكبيرة المغلقة والمكلفة لعملية التحسين نفسها. ويشيرون إلى أنه بينما تعمل الطريقة بقوة، فإنها تعتمد حالياً على تحسين خاص بالمهمة ولم يتم تمديدها بعد لمهام التركيز على الاستدلال التي تتطلب سلاسل وسيطة صريحة أو إعدادات تعلم ميتا للمهام غير المرئية.