💬 NLP

Generative Prompt Internalization

تقترح هذه الورقة البحثية طريقة "الاستيعاب الداخلي للمطالبات التوليدية" (GenPI)، وهي طريقة تدريب مشترك خفيفة الوزن تُمكّن النماذج اللغوية الكبيرة من توليد واستيعمال المطالبات المعقدة وما يكمن وراءها من منطق بشكل ذاتي، مما يحقق أداءً عالياً واستدلالاً فعالاً دون العبء الحسابي للمطالبات الطويلة الصريحة.

المؤلفون الأصليون: Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo

نُشر 2026-02-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "الاستيعاب الداخلي للمطالبات التوليدية" (GenPI) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: "حقيبة الظهر الثقيلة"

تخيل أنك توظف مساعداً ذكياً جداً ولكنه حرفي للغاية (الذكاء الاصطناعي) للقيام بمهمة معقدة، مثل تصفح موقع إلكتروني أو إدارة خادم كمبيوتر.

للتأكد من قيام المساعد بالمهمة بشكل صحيح، عليك أن تعطيه كتيب تعليمات ضخماً في كل مرة تسأله فيها سؤالاً. هذا الكتيب يتكون من أكثر من 1000 كلمة، ويخبره بما يلي:

"أنت خبير في نظام لينكس."
"فكر دائماً قبل أن تتصرف."
"إذا انقطعت الشاشة، جرب أمراً مختلفاً."
"إليك ثلاثة أمثلة حول كيفية القيام بذلك."

المشكلة: في كل مرة تطرح فيها سؤالاً جديداً، يتعين عليك حمل هذا الكتيب الثقيل، وقراءته، وتسليمه للمساعد مرة أخرى.

إنه بطيء: حمل الكتيب يستغرق وقتاً (عبء حوسبي).
إنه مكلف: كلما أرسلت كلمات أكثر، زادت التكلفة على مزود الخدمة.
إنه تكراري: أنت تكرر نفس القواعد مراراً وتكراراً، تماماً مثل معلم يكرر قواعد اللعبة قبل كل جولة.

الحلول القديمة: "ضغط" الكتيب

حاول العلماء حل هذه المشكلة عن طريق:

تلخيص الكتيب: محاولة حذف الكلمات لجعله أقصر. المشكلة: إذا حذفت الكثير، ينسى المساعد القواعد ويرتكب الأخطاء.
حفظ الكتيب (التقطير/Distillation): محاولة تعليم المساعد حفظ الكتيب حتى لا تضطر لإظهاره له. المشكلة: الطريقة القديمة في التعليم كانت تشبه قول: "انظر إلى ما فعلته عندما كان معي الكتيب، وخمن ماذا كنت سأفعل بدونه". المساعد لم "يرَ" الكتيب فعلياً أثناء التدريب، لذا لم يفهم حقاً لماذا وجدت تلك القواعد.

الحل الجديد: GenPI (الطاهي المستوعب داخلياً)

يقترح المؤلفون الاستيعاب الداخلي للمطالبات التوليدية (GenPI).

فكر في GenPI ليس كطالب يحفظ الوصفة، بل كـ طاهٍ ماهر استوعب الوصفة بعمق لدرجة أنه يستطيع طهي الطبق وشرح سبب اختياره لتلك المكونات دون النظر إلى البطاقة أبداً.

إليك كيف يعمل GenPI، مقسماً إلى ثلاث خطوات بسيطة:

1. "لعب الأدوار" التدريبي (الخدعة السحرية)

عادةً، لتدريب الذكاء الاصطناعي، تحتاج إلى إنسان يلعب دور "المستخدم" وآخر يلعب دور "البيئة" (مثل الكمبيوتر أو الموقع الإلكتروني). وهذا أمر صعب القيام به لكل مهمة جديدة.

يستخدم GenPI خدعة ذكية تسمى لعب الأدوار الذاتي (Self Role-Playing).

تخيل أن الذكاء الاصطناعي ممثل.
يخبر الباحثون الذكاء الاصطناعي: "حسناً، للـ 1000 سطر القادمة، أنت المستخدم الذي يطرح الأسئلة. ثم، قم بتغيير قبعتك وكن أنت الكمبيوتر الذي يجيب عليها."
يتحدث الذكاء الاصطناعي مع نفسه، محاكياً محادثة كاملة. هذا ينشئ مجموعة بيانات وهمية من تفاعلات "المستخدم مقابل الكمبيوتر" دون الحاجة إلى بشر حقيقيين أو خوادم حقيقية. الأمر يشبه ممثلاً يتدرب على مشهد بمفرده في غرفة لتعلم النص.

2. درس "السبب" (السر الخفي)

هذا هو الجزء الأهم. عند تدريب الذكاء الاصطناعي، لا يكتفي GenPI بقول "افعل هذا" فقط، بل يطلب من الذكاء الاصطناعي القيام بشيئين في وقت واحد:

توليد المخرج: "إليك الإجابة الصحيحة."
توليد السبب: "إليك كتيب التعليمات الذي كنت أتبعه، وإليك لماذا اضطررت لتغيير إجابتي لاتباعه."

تشبيه: تخيل طالباً يؤدي اختباراً.

الطريقة القديمة: يقول المعلم: "لقد أخطأت في هذا. إليك الإجابة الصحيحة. احفظها."
طريقة GenPI: يقول المعلم: "لقد أخطأت في هذا. إليك الإجابة الصحيحة. ولكن أيضاً، اكتب كتاب القواعد الذي كنت أمسكه، واشرح بالضبط لماذا أجبرك ذلك الكتاب على تغيير إجابتك."

من خلال إجبار الذكاء الاصطناعي على توليد السبب والمطالبة نفسها، يدرك الذكاء الاصطناعي المنطق حقاً، وليس مجرد النمط.

3. النتيجة: الذكاء الاصطناعي "خفيف الوزن"

بمجرد التدريب، لم يعد الذكاء الاصطناعي بحاجة إلى كتيب التعليمات الثقيل.

قبل: ترسل مطالبة مكونة من 1000 كلمة + سؤالك.
بعد: ترسل سؤالك فقط. لقد أصبح "القواعد" جزءاً من عقله.

لماذا هذا مهم (الفوائد)

السرعة: الأمر يشبه الانتقال من قيادة شاحنة تحمل حمولة ثقيلة إلى قيادة سيارة رياضية رشيقة. يستجيب الذكاء الاصطناعي بشكل أسرع لأنه لا يعالج آلاف الكلمات الإضافية.
التكلفة: إرسال كلمات أقل يعني تكلفة أقل لتشغيل الذكاء الاصطناعي.
الدقة: لأن الذكاء الاصطناعي تعلم لماذا تهم القواعد (من خلال توليد الأسباب)، فإنه يتعامل مع المهام المعقدة بشكل أفضل من الطرق التي حاولت فقط ضغط النص.

الملخص

GenPI هو أسلوب يعلم الذكاء الاصطناعي كيف "يبلع" كتيب التعليمات كاملاً. بدلاً من حمل الكتيب في كل مكان، يتعلم الذكاء الاصطناعي إعادة إنشاء الكتيب في عقله وشرح سلوكه. هذا يجعل وكلاء الذكاء الاصطناعي أسرع، وأرخص، وأكثر ذكاءً، خاصة للمهام المعقدة مثل تصفح الويب أو إدارة أنظمة الكمبيوتر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاستيعاب التوليدي للمطالبات" (GenPI) من إعداد هيبين شين وآخرون.

1. تعريف المشكلة

تعتمد تطبيقات النماذج اللغوية الكبيرة (LLM)، ولا سيما الأنظمة القائمة على الوكلاء (Agents)، غالبًا على مطالبات (Prompts) ثابتة، طويلة، ومعقدة لتوجيه سلوك النموذج. وبينما تعمل هذه المطالبات على تحسين الأداء، إلا أنها تسبب عبئًا حسابيًا كبيرًا:

تكلفة الاستدلال: تزيد المطالبات الطويلة من عدد الرموز (Tokens)، مما يؤدي إلى ارتفاع زمن الاستجابة (Latency) والتكاليات الحسابية (FLOPs/MACs)، خاصة في التفاعلات متعددة الأدوار.
محدودية الحلول الحالية:
- ضغط المطالبات (Prompt Compression): طرق مثل ضغط النصوص أو تخزين التضمينات (Embedding Caching) تقلل من عدد الرموز، لكنها غالبًا ما تفقد التفاصيل الدلالية الحرجة أو قيود التنسيق المطلوبة لمهام الوكيل المعقدة.
- التقطير القياسي/الضبط الدقيق (Standard Distillation/Fine-tuning): يعمل تقطير المعرفة التقليدي على تدريب نموذج "طالب" لمحاكاة مخرجات نموذج "معلم" بناءً على مطالبة معينة. ومع ذلك، فإن النموذج الطالب لا يرى محتوى المطالبة أبدًا أثناء التدريب، بل يعتمد فقط على توزيع المخرجات. وهذا يؤدي إلى تدهور الأداء في المهام الغنية بالمعلومات التي تتطلب تنسيقًا محددًا أو استنادًا إلى مخططات (Schema) معينة.

الهدف: تمكين النموذج اللغوي الكبير من استيعاب مطالبة محددة ومحددة مسبقًا بحيث يمكنه تكرار سلوك النموذج المعلم دون الحاجة لتقديم المطالبة بشكل صريح أثناء عملية الاستدلال، مع الحفاظ على أداء وكفاءة عاليين.

2. المنهجية: الاستيعاب التوليدي للمطالبات (GenPI)

يعد GenPI نهج تدريب خفيف الوزن يجبر النموذج على توليد محتوى المطالبة والسبب الكامن وراء التغيرات السلوكية جنباً إلى جنب مع مخرجات المهمة.

أ. هدف التدريب الجوهري

يستخدم GenPI دالة خسارة مشتركة تجمع بين مكونين:

خسارة الضبط الدقيق الخاضع للإشراف ( $L_{SFT}$ ): يحاكي النموذج الطالب مخرجات النموذج المعلم ( $y^T$ ) بناءً على المدخل ( $x$ ). هذا يضمن تعلم النموذج لسلوك المهمة الصحيح.
خسارة توليد المطالبة ( $L_{PG}$ ): يتم تدريب النموذج على توليد:
- المطالبة ( $p$ ): المحتوى الفعلي للتعليمات.
- السبب ( $r$ ): شرح لسبب اختلاف مخرجات الطالب الأولية (بدون المطالبة) عن مخرجات المعلم (مع المطالبة).
- الصيغة: $L_{PG} = -\log P(p, r | y^S, y^T, x)$ ، حيث $y^S$ هو المخرج "كما هو" (الطالب بدون المطالبة) و $y^T$ هو المخرج "المنشود" (المعلم مع المطالبة).

الهدف النهائي هو: $L = (1 - \lambda) L_{PG} + \lambda L_{SFT}$ .

ب. توليد البيانات: محادثة لعب الأدوار الذاتي

يتمثل التحدي الرئيسي في أن الاستيعاب يحدث غالبًا في سيناريوهات تكون فيها المطالبة هي المتوفرة فقط، ولا توجد مجموعة بيانات تدريبية للمحادثات. يقدم GenPI تقنية لتوليد بيانات التدريب ذاتيًا:

مدخلات المستخدم الافتراضية: يقوم نموذج لغوي كبير بتوليد استعلامات مستخدم افتراضية ( $x$ ) بناءً على سياق المطالبة.
لعب الأدوار الذاتي: لتوليد بيانات محادثة متعددة الأدوار ( $y$ ) دون التفاعل مع بيئة حقيقية، يقوم النموذج بتبديل الأدوار. حيث يلعب نفس النموذج دور كل من الوكيل (Agent) و البيئة (مثل نظام التشغيل أو متصفح الويب) عن طريق عكس الأدوار في سياق المطالبة. هذا يحاكي مسار حوار كامل.
توليد السبب: يقوم نموذج لغوي منفصل بتوليد "السبب" ( $r$ ) من خلال مقارنة "المخرج السيئ" (الطالب بدون المطالبة) و"المخرج الجيد" (المعلم مع المطالبة)، موضحًا التحول السلوكي الضروري.

ج. التنفيذ

النموذج: يستخدم تقنية QLoRA للضبط الدقيق الفعال، مما يتطلب 0.5% فقط من المعلمات الإضافية (Adapters) لكل مطالبة.
النطاق: تم التدريب على 1,000 عينة افتراضية فقط تم توليدها من المطالبة نفسها.

3. المساهمات الرئيسية

الاستيعاب التوليدي: على عكس الطرق السابقة التي تعامل المطالبات كمدخلات ثابتة أو تضغطها، يقوم GenPI بتدريب النموذج على توليد محتوى المطالبة والمنطق الخاص بها، مما يسمح له بـ "تذكر" التعليمات ضمنيًا.
توليد بيانات لعب الأدوار الذاتي: تقنية مبتكرة لإنشاء مجموعات بيانات تدريب عالية الجودة للمطالبات متعددة الأدوار دون الحاجة إلى الوصول إلى تفاعلات البيئة الحقيقية أو مجموعات بيانات موجودة.
الموازنة بين الكفاءة والأداء: يثبت أن المطالبات يمكن استيعابها بالكامل، مما يلغي الحاجة إلى رموز المطالبة الصريحة أثناء الاستدلال، وبالتالي تقليل العبء الحسابي بشكل كبير.

4. النتائج التجريبية

تم تقييم الطريقة باستخدام AgentBench عبر ثلاث مهام: التفاعل مع نظام التشغيل (OS Interaction)، تصفح الويب (Web Browsing)، والتسوق عبر الويب (Web Shopping).

الحفاظ على الأداء:
- التفاعل مع نظام التشغيل: حقق 100% من أداء الحد الأعلى (مطابقة النموذج المعلم مع المطالبة الكاملة).
- تصفح وتسوق الويب: حافظ على نسبة استبقاء أداء تتجاوز 82% رغم تجاوز المطالبات لـ 1,000 رمز.
- المقارنة: تفوق بشكل ملحوظ على النماذج المرجعية لضغط المطالبات (LLMLingua-2, ICAE)، وطرق التقطير القياسية، التي عانت من تدهور حاد في الأداء عند إزالة المطالبات أو ضغطها.
مكاسب الكفاءة:
- قلل GenPI العبء الحسابي بنسبة 39% في عمليات MACs و FLOPs مقارنة بالنماذج المرجعية التي تستخدم تخزين المطالبات مؤقتًا (Prompt Caching).
- قلل زمن استج (Latency) الاستدلال بنسبة 17%.
- على عكس طرق الضغط، لا تتأثر مكاسب الكفاءة في GenPI بزيادة أدوار المحادثة، حيث لا يتطلب أي رموز للمطالبة.

5. الأهمية والأثر

القابلية للتوسع للوكلاء: يحل GenPI مشكلة اختناق نافذة السياق الطويلة في تطبيقات الوكلاء، مما يتيح تفاعلات فعالة متعددة الأدوار دون تكلفة إعادة إرسال تعليمات النظام المعقدة.
فعالية التكلفة: من خلال إلغاء الحاجة إلى مطالبات صريحة أثناء الاستدلال، يمكن لمزودي الخدمة تقليل تكاليف استخدام الرموز وزمن الاستج بشكل كبير.
القدرة على التعميم: توفر تقنية توليد البيانات عبر "لعب الأدوار الذاتي" مسارًا لاستيعاب المطالبات لأي تطبيق تُعرف فيه مجموعة التعليمات فقط، متجاوزة الحاجة إلى مجموعات بيانات تفاعلية واسعة النطاء ومنسقة.
الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا النهج ليشمل سجلات الدردشة الطويلة، وتوليد المحتوى المدعم بالاسترجاع (RAG)، والسياقات متعددة الوسائط.

في الختام، يمثل GenPI تحولًا جذريًا من "هندسة المطالبات" (إدارة المدخلات الخارجية) إلى "استيعاب المطالبات" (دمج التعليمات في أوزان النموذج)، مما يوفر حلاً عالي الكفاءة لنشر الوكلاء اللغويين المعقدين في بيئات الإنتاج.