What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts
تحلل هذه الورقة البحثية هشاشة عدم التحديد في الأوامر البرمجية (prompt underspecification) في النماذج اللغوية الكبيرة، مظهرةً أنه بينما تستنتج النماذج غالباً المتطلبات المفقودة، فإن هذا يؤدي إلى أداء غير مستقر لا يمكن إصلاحه بشكل موثوق عبر التحديد البسيط أو أدوات التحسين القياسية، مما دفع المؤلفين إلى اقتراح آليات تحسين مدركة للمتطلبات وعملية منهجية للإدارة الاستباقية للمتطلبات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث "ما لا تقوله الأوامر" (What Prompts Don't Say) باستخدام لغة بسيية وتشبيهات إبداعية.
الفكرة الكبرى: مشكلة "الافتراض الصامت"
تخيل أنك توظف مساعداً شخصياً موهوباً للغاية، ولكنه حرفي في فهم الأمور (الذكاء الاصطناعي)، لتخطيط رحلة لك. تقول له: "خطط لي رحلة لمدة 7 أيام إلى الصين في شهر يوليو".
قد تعتقد أنك قدمت تعليمات كافية. لكنك لم تقل:
- "تحقق من حالة الطقس."
- "اسأل ما إذا كنت بحاجة إلى تأشيرة دخول."
- "لا تحجز رحلات طيران لي؛ فقط قدم نصائح."
- "اجعل نبرة الكلام ودودة."
تسمي هذه الورقة البحثية هذا الأمر "عدم تحديد الأوامر" (Prompt Underspecification). وهو عندما تترك قواعد مهمة لأنك تفترض أن الذكاء الاصطناعي "سيعرفها تلقائياً" أو "سيتوصل إليها" كما يفعل البشر.
وجد الباحثون أنه بينما يمكن للذكاء الاصطناعي أحياناً تخمين هذه القواعد المفقودة، إلا أن الأمر بمثابة مقامرة. فأحياناً يخمن بشكل صحيح، وأحياناً أخرى يخمن بشكل خاطئ تماماً. وإذا قمت بتحديث الذكاء الاصطناعي أو غيرت صياغتك قليلاً، فقد يختفي هذا "التخمين" تماماً، مما يؤدي إلى فشل خطة الرحلة (مثل اقتراح التخييم في وقت الموسم الموسمي أو حجز رحلة طيران بدون تأشيرة).
المشكلات الثلاث الرئيسية التي وجدوها
أجرى الباحثون تجارب لمعرفة ما يحدث عندما تترك القواعد ناقصة. وإليك ما اكتشفوه باستخدام الاستعارات:
1. الذكاء الاصطناعي هو "قارئ عقول متقلب"
- النتيجة: يصيب الذكاء الاصطناعي القواعد المفقودة حوالي 41% من المرات. لكن قدرته على "قراءة العقول" هشة للغاية.
- التشبيه: تخيل الذكاء الاصطناعي كطالب في امتحان. إذا لم تكتب السؤال بوضوح، فقد يخمن الطالب الإجابة. أحياناً يخمن بشكل صحيح. ولكن إذا غيرت المعلم (نموذج الذكاء الاصطناعي) أو غيرت الإضاءة في الغرفة (تغيير طفيف في الأمر)، فقد يخمن نفس الطالب فجأة الإجابة الخاطئة.
- النتيجة: عندما يخمن الذكاء الاصطناعي قاعدة لم تُخبره بها، فإنه يكون أكثر عرضة للكسر أو الفشل بمقدار الضعف عند تحديث الذكاء الاصطناعي مقارنة بالحالة التي تكون فيها قد أخبرته بالقاعدة صراحة.
2. خطأ "كل شيء في مكان واحد" (The Kitchen Sink Mistake)
- النتيقى: قد تعتقد: "حسناً، سأقوم فقط بسرد كل قاعدة يمكنني التفكير فيها لأكون في أمان". وجد الباحثون أن هذا يجعل الأمور أسوأ في الواقع.
- التشبيه: تخيل أنك تحاول جعل كلب يجلس. إذا قلت له "اجلس، ابقَ، اتبعني، لا تنبح، لا تقفز، انظر إلي، لا تخدش"، كل ذلك دفعة واحدة، فسيصاب الكلب بالارتباك ولن يفعل شيئاً.
- النتيجة: عندما تملأ الأمر بقواعد كثيرة جداً (مثل 19 قاعدة)، ينخفض أداء الذكاء الاصطناعي بشكل كبير (بنسبة 19% تقرياً). حيث يشعر بالارتباك ويبدأ في تجاهل القواعد، حتى تلك التي كتبتها صراحة.
3. "اختبار الأجواء" ليس كافياً
- النتيجة: يقوم المطورون عادةً باختبار أوامرهم من خلال النظر في بعض الأمثلة ليروا ما إذا كانت تعمل. يقول الباحثون إن هذا يشبه التحقق من حالة الطقس عبر النظر من النافذة لمدة 5 ثوانٍ فقط.
- التشبيه: إذا تحققت من أمثلة قليلة فقط، فقد تفوتك "الحالات الاستثنائية" (مثل متطلبات التأشيرة أو الأنشطة الخطرة). تعتقد أن الذكاء الاصطناعي مثالي، ولكن في اللحظة التي يسأل فيها مستخدم سؤالاً مختلفاً قليلاً، يفشل الذكاء الاصطناعي لأنه لم يُؤمر أبداً بالتعامل مع هذا السيناريو المحدد.
الحل: "الأوامر الذكية"
تقترح الورقة طريقتين رئيسيتين لإصلاح ذلك، بدلاً من مجرد كتابة المزيد أو الأقل من النصوص.
1. نهج "المنسق" (التحسين - Optimization)
بدلاً من كتابة قائمة ضخمة من القواعد، بنى الباحثون نظاماً يعمل مثل محرر ذكي.
- ما يفعله: ينظر إلى قائمتك المكونة من 20 قاعدة ويسأل: "أي من هذه القواعد يعرفها الذكاء الاصطناعي بالفعل بشكل افتراضي؟" و "أي من هذه القواعد تتعارض مع بعضها البعض فعلياً؟".
- النتيجة: ينشئ أمراً أقصر وأنظف. فهو يزيل القواعد التي يعرفها الذكاء الاصطناعي بالفعل (موفراً المساحة) ويحتفظ بالقواعد الحرجة. أدى هذا إلى تحسين الأداء بنسبة 5% في المتوسط وجعل الأوامر أقصر بنسبة 40%.
2. نهج "المراقب المستمر" (العملية - Process)
يجادل الباحثون بأن إدارة أوامر الذكاء الاصطناعي لا ينبغي أن تكون مهمة "اضبطها وانساها". بل يجب أن تكون مثل صيانة السيارة.
- التشبيه: أنت لا تشتري سيارة ولا تتحقق من الزيت أبداً. بل تحتاج إلى التحقق منها بانتظام.
- العملية:
- الاكتشاف: ابحث بشكل منهجي عن جميع القواعد الخفية (مثل "التحقق من التأشيرات") قبل البدء في البناء.
- التحقق: اجعل هناك "حكماً" (ذكاء اصطناعي آخر أو إنسان) يتحقق باستمرار مما إذا كان الذكاء الاصطناعي يتبع كلاً من القواعد المكتوبة والقواعد الخفية.
- المراقبة: عندما يتم تحديث نموذج الذكاء الاصطناعي (مثل تحديث برمجيات)، أعد التحقق من كل شيء فوراً للتأكد من أنه لم ينسَ أي قاعدة.
الملخص
تخلص الورقة إلى أنه لا يمكنك الاعتماد على الذكاء الاصطناعي لـ "ملء الفراغات" بشكل موثوق.
- لا تفترض أن الذكاء الاصطناعي يعرف ما تقصده.
- لا تكتفِ بإلقاء قائمة ضخمة من القواعد عليه؛ لأنه سيصاب بالارتباك.
- استخدم أدوات ذكية لاختيار القواعد الصحيحة لتحديدها، وراقب الذكاء الاصطناعي باستمرار للتأكد من أنه لا يحيد عن مساره عندما تتغير الأمور.
الهدف هو الانتقال من "تخمين ما يحتاجه الذكاء الاصطناعي" إلى "هندسة نظام موثوق حيث يعرف الذكاء الاصطناعي بالضبط ما يجب فعله، في كل مرة".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.