Learning to Translate from Soft to Hard LLM Prompts
تقدم هذه الورقة طريقة تترجم المطالبات اللينة (soft prompts) إلى صياغات لغوية طبيعية، مبرهنةً على أن هذه المطالبات النصية القابلة للتفسير لا تتفوق فقط على النهج الحالية التي لا تعتمد على التدريب، بل تمكّن أيضاً النماذج الصغيرة مفتوحة المصدر من توليد مطالبات قابلة للنقل تتجاوز في أدائها كلاً من المطالبات اللينة الأصلية والتعلم بلقطات قليلة (few-shot learning) عند تطبيقها على النماذج الأكبر ذات الواجهات البرمجية المغلقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: ترجمة "همس الروبوت" إلى لغة بشرية
تخيل أن لديك روبوتاً ذكياً جداً (نموذج لغوي كبير، أو LLM) تريد تعليمه خدعة جديدة، مثل تصنيف رسائل البريد الإلكتروني إلى "رسائل مزعجة" أو "غير مزعجة".
عادةً، لديك طريقتان لتعليمه:
- الطريقة الثقيلة: إعادة كتابة دماغ الروبوت بالكامل (الضبط الدقيق/Fine-tuning). هذه الطريقة مكلفة وبطيئة.
- طريقة "المطالبة الناعمة" (Soft Prompt): وهي إرفاق "ملاحظة لاصقة" صغيرة وغير مرئية بمدخلات الروبوت. هذه الملاحظة ليست مكونة من كلمات؛ بل هي مكونة من رياضيات بحتة (أرقام). يفهم الروبوت هذه الأرقام تماماً ويعرف بالضبط ما يجب فعله. هذه الطريقة سريعة ورخيصة، ولكن لا يمكن لأي شخص آخر قراءتها. إنها تشبه شفرة سرية لا يفهمها إلا الروبوت.
المشكلة: نظرًا لأن هذه "الملاحظات اللاصقة" هي مجرد أرقام، لا يستطيع البشر النظر إليها والقول: "أوه، أرى أن هذه الملاحظة تخبر الروبوت بأن يبحث عن الكلمات الغاضبة". إذا حاولت تخمين معنى هذه الأرقام، فستخطئ في الغالب.
الحل: تقدم هذه الورقة البحثية مترجماً. فقد بنى المؤلفون ذكاءً اصطناعياً خاصاً، مهمته الوحيدة هي النظر إلى هذه "الملاحظات اللاصقة" الرياضية غير المرئية وترجمتها إلى جمل واضحة ومفهومة للبشر.
كيف فعلوا ذلك: نهج "حجر رشيد"
لم يكتفِ المؤلفون بسؤال الروبوت ليخمن معنى الأرقام (وهو ما حاولت الطرق السابقة فعله)، بل قاموا ببناء قاموس.
- إنشاء القاموس: أخذوا آلاف المهام المختلفة (مثل تصنيف المقالات الإخبارية أو تلخيص القصص). لكل مهمة، أنشأوا "ملاحظة لاصقة رياضية" (مطالبة ناعمة) وكتبوا التعليمات البشرية الدقيقة (المطالبة الصلبة) التي تتماشى معها.
- تدريب المترجم: قاموا بتغذية هذا النموذج الجديد بهذه الأزواج (الرياضيات والتعليمات). وعلموه: "عندما ترى هذا النمط المحدد من الأرقام، قل هذه الجملة المحددة".
- النتيجة: تعلم المترجم التحدث بلغة "الرياضيات" و"الإنجليزية" بطلاقة. وعندما يُعطى ملاحظة رياضية جديدة لم يسبق له رؤيتها، يمكنه كتابة تعليمات بشرية واضحة تشرح بالضبط ما تفعله تلك الملاحظة.
التشبيه: فكر في "المطالبة الناعمة" كأنها لغة سرية تتحدث بها قبيلة معينة. حاولت الطرق السابقة تخمين المعنى من خلال النظر إلى بعض الكلمات وتمني الأفضل. أما هذه الورقة، فقد بنت حجر رشيد — مترجماً مخصصاً تعلم قواعد ومفردات تلك اللغة السرية لكي يتمكن من ترجمتها بدقة إلى الإنجليزية.
ماذا وجدوا: إنها تعمل بشكل أفضل من التخمين
اختبر المؤلفون مترجمهم الجديد مقابل طريقة قديمة تسمى InSPEcT (التي تحاول تخمين المعنى دون تدريب).
- الدقة: كان المترجم أفضل بكثير في الحصول على المعنى الصحيح. لم ينتج مجرد كلام غير مفهوم؛ بل أنتج جملًا تطابق المهمة الفعلية تماماً.
- الموثوقية: كانت الطريقة القديمة حساسة للغاية؛ فإذا غيرت إعداداً صغيراً، ستتعطل الترجمة. أما المترجم الجديد فكان قوياً ومتسقاً.
- الاكتشاف "السحري": في بعض الأحيان، كان الروبوت الصغير (الذي تم تدريب الملاحظة الرياضية عليه) ضعيفاً جداً لدرجة أنه لا يستطيع أداء المهمة بشكل مثالي، رغم أنه يفهم الملاحظة الرياضية. ومع ذلك، عندما قام المترجم بتحويل تلك الملاحظة الرياضية إلى جملة بشرية وأعطاها لـ روبوت أكبر وأذكى، قام الروبوت الكبير بالمهمة بشكل أفضل مما كان بإمكان الروبوت الصغير الأصلي فعله.
التشبيه: تخيل طالباً صغيراً متعباً يحاول حل مسألة رياضية معقدة باستخدام شفرة سرية اخترعها. إنه يعلق في المنتصف. لكن إذا أخذت هذه الشفرة السرية، وترجمتها إلى شرح كتاب مدرسي واضح وخطوة بخوة، وأعطيتها لأستاذ عبقري (الروبوت الكبير)، سيحل الأستاذ المسألة فوراً. "الشفرة السرية" كانت تحتوي في الواقع على التعليمات الصحيحة طوال الوقت؛ الطالب الصغير فقط لم يستطع تنفيذها جيداً.
لماذا هذا مهم (وفقاً للورقة البحثية)
- القابلية للتفسير: يمكننا أخيراً النظر إلى هذه الملاحظات الرياضية غير المرئية وفهم ما تخبر الروبوت بفعله. إنه يشبه تحويل الصندوق الأسود إلى صندوق زجاجي شفاف.
- قابلية النقل: يمكنك تدريب روبوت صغير ورخيص لتعلم مهمة باستخدام هذه الملاحظات الرياضية. ثم، يمكنك ترجمة تلك الملاحظات إلى نص بشري واستخدامها على روبوتات غالية وقوية (مثل تلك الموجودة خلف واجهات البرمجة المغلقة API) للحصول على نتائج أفضل حتى.
- لا حاجة لـ "السحر": تثبت الورقة أنك لست بحاجة لتخمين ما يفكر فيه الروبوت. يمكنك تدريب أداة مخصصة لتخبرك بذلك، وهذه الأداة دقيقة بشكل مدهش.
باخت-القول: تثبت الورقة أنه يمكننا ترجمة "اللغة الرياضية السرية" للمطالبات في الذكاء الاصطناعي إلى تعليمات بشرية واضحة، مما يجعل الذكاء الاصطناعي أسهل في الفهم، ويسمح لنا باستخدام التدريب الصغير والرخيص لتشغيل روبوتات كبيرة وذكية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.