Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?
تُظهر هذه الورقة أنه بينما تظل مطالبات النظام (system prompts) هي الخيار الافتراضي الأكثر أماناً لوضع التعليمات، فإن أوصاف المخطط (schema descriptions) تُعد قناة تعليمات قوية وتعتمد على النموذج، حيث يمكنها تجاوز المطالبات، مما يجعل التصميم الموحد للمخطط والتحقق التجريبي أمراً حاسماً لتحسين أداء المخرجات المهيكلة.
تخيل أنك تحاول تعليم روبوت ذكي جداً، ولكنه حرفي للغاية، كيفية فرز كومة من الألعاب المختلطة. لديك طريقتان لإعطائه التعليمات: يمكنك التحدث إليه مباشرة (مثل معلم يلقي محاضرة)، أو يمكنك تسليمه نموذجاً خاصاً يحتوي على مربعات لملئها، حيث تُكتب التعليمات بجوار المربعات مباشرة. هذا هو عالم "نماذج اللغات الكبيرة" (LLMs)، وهي العقول التي تقف وراء العديد من أدوات الذكاء الاصطناي الحديثة. عادةً، يعتقد الناس أن "الكلام" (المطالبة/البرومبت) هو حيث توجد القواعد الحقيقية، وأن "النموذج" (مخطط المخرجات المهيكل) هو مجرد قالب ممل يتبعه الروبوت. لكن مؤخراً، بدأ المطورون يتساءلون: هل يقرأ الروبوت حقاً الملاحظات المكتوبة على النموذج، أم أنه يتجاهلها ويستمع فقط إلى المعلم؟ هذا السؤال مهم لأننا إذا وضعنا أهم قواعدنا في المكان الخاطئ، فقد يفرز الروبوت الألعاب بشكل خاطئ تماماً، مما يؤدي إلى تعطل التطبيقات والأدوات التي نعتمد عليها كل يوم.
قررت باحثة تدعى سين-يينغ (ألينا) لين حسم هذا الجدل بتجربة ذكية. بدلاً من الجدال حول الأمر، قامت بإعداد لعبة حيث كان على روبوت فرز رسائل قصيرة إلى أربع فئات سرية، باستخدام أسماء مخترعة مثل "توميل" و"فارك" حتى لا يتمكن الروبوت من تخمين الإجابات بناءً على معرفة العالم الحقيقي. ثم لعبت لعبة "الكراسي الموسيقية" بالتعليمات، حيث قامت بنقل نفس التعريفات بالضبط من محاضرة المعلم (مطالبة النظام) إلى الملاحظات الموجودة على النموذج (وصف المخطط)، وأحياناً وضعتها في صندوق الدردشة الخاص بالمستخدم.
ما وجدته كان مفاجأة نوعاً ما: آذان الروبوتات ليست جميعها بنفس الحجم. بالنسبة لبعض النماذج، مثل GPT-4.1 و GPT-5.4 (بدون أوضاع التفكير الخاصة)، كان صوت المعلم هو الملك. عندما نُقلت التعريفات إلى النموذج، ارتبكت هذه الروبوتات وانخفضت دقتها بنحو 11 إلى 13 نقطة مئوية. بدا وكأنها تعتقد: "النموذج مخصص للملء فقط؛ القواعد الحقيقية موجودة في الكلام!". ومع ذلك، بالنسبة لنماذج أخرى، مثل Claude Haiku 4.5، كان النموذج هو المدير الفعلي. فعندما تغيرت التعليمات الموجودة على النموذج لتصبح خاطئة، انهارت دقة هذا الروبوت من 52.5% إلى نسبة ضئيلة بلغت 7%. اتضح أن الملاحظات الموجودة على النموذج بالنسبة لبعض الروبوتات صاخبة جداً لدرجة أنها تطغى على تعليمات المعلم الصحيحة.
كما اكتشفت الورقة البحثية "خدعة سحرية" لإصلاح الروبوتات التي تجاهلت النموذج. فمن خلال إضافة خطوة إلزامية حيث يتعين على الروبوت كتابة "تفكيره" (استنتاجه) في صندوق قبل أن يتمكن من اختيار الإجابة النهائية، قفز الأداء بمقدار 15 إلى 24 نقطة مئوية. كان الأمر كما لو أن إجبار الروبوت على "إظهار خطوات عمله" جعله ينتبه للقواعد المكتوبة على النموذج.
لذا، فإن الاستنتاج الكبير ليس أن مكاناً واحداً دائماً هو الأفضل من الآخر. بد الله، تشير الورقة إلى أن لكل نموذج روبوت شخصيته الخاصة ويستمع لقنوات مختلفة بأصوات متفاوتة. الرهان الأكثر أماناً في الوقت الحالي هو الاحتفاظ بأهم قواعدك في مطالبة النظام (صوت المعلم)، ولكن يجب أن تكون حذراً من كتابة قواعد متضاربة على النموذج، وإلا سيتبع بعض الروبوتات القواعد الخاطئة. الدرس الحقيقي هو أنه لا يمكنك مجرد التخمين؛ بل يجب عليك اختبار كل روبوت لترى أين يستمع بشكل أفضل، وأحياناً، يكون مجرد تغيير شكل النموذج ليشمل "خطوة تفكير" أكثر قوة من إعادة كتابة التعليمات بالكامل.
ملخص تقني: مطالبك ليست المطالب الوحيدة
بيان المشكلة
في تطبيقات النماذج اللغوية الكبيرة (LLM) في بيئة الإنتاج، أصبح المخرجات المهيكلة (ملء مخططات JSON محددة مسبقاً) هو المعيار القياسي لتصنيف البيانات واستخراج المعلومات. يفرض هذا النموذج قناة تعليمات ثانية: أوصاف خصائص المخطط (schema property descriptions). يواجه الممارسون غموضاً متكرراً بشأن مكان استقرار المحتوى الحيوي للمهمة — مثل تعريفات الفئات والقيود السلوكية —: هل يكون داخل المطالبات (prompts) الخاصة بالنظام أو المستخدم، أم داخل حقول وصف المخطط؟ وبينما تتضمن أمثلة واجهات برمجة التطبيقات (API) الخاصة بالموردين غالباً المنطق الشرطي والتوجيه داخل أوصاف المخطط، فإن الممارسة الشائعة والتقارير التجريبية تشير إلى أن هذه الحقول غالباً ما تُعامل كبيانات وصفية (metadata) خاملة أو أنها غير فعالة مقارنة بالتعليمات القائمة على المطالبة. السؤال الجوهري الذي يتناوله البحث هو: كيف يؤثر وضع التعليمات (المطالبة مقابل المخطط) على سلوك النموذج، وإلى أي مدى تعمل أوصاف المخطط كقناة تعليمات نشطة مقابل كونها بيانات وصفية لتنسيق الشكل فقط؟
المنهجية
أجرى المؤلف دراسة مضبوطة تعتمد على مهمة تصنيف ذات حقل واحد بناءً على تصنيف claim_order. ولعزل تأثيرات وضع التعليمات عن الارتباطات الدلالية المسبقة للعلامات، استخدمت الدراسة علامات فئات وهمية (مثل "tomil"، "varek") بدلاً من أسماء الفئات ذات الدلالة المعنوية.
مجموعة البيانات: مجموعة تقييم مكونة من 48 عنصراً (12 لكل فئة) مع حقيقة أرضية تم التحقق منها يدوياً.
النماذج: عشرة تكوينات عبر موردين اثنين (OpenAI و Anthropic)، تشمل GPT-4.1، و GPT-5.4، و GPT-5.5، و Claude Haiku 4.5، و Claude Sonnet 4.6، و Claude Opus 4.8، مع إعدادات استدلال متفاوتة (لا يوجد/متوسط).
الظروف التجريبية:
تباينات الوضع: تم نقل نص التعريف المتطابق بين مطالبة النظام، ومطالبة المستخدم، وحقول وصف المخطط.
اختبار التعارض: حالة تحتوي فيها مطالبة النظام على تعريفات صحيحة بينما يحتوي وصف المخطط على تعريفات متبدلة عمداً (خاطئة) لاختبار ما إذا كانت تعليمات المخطط يمكن أن تتجاوز تعليمات المطالبة.
تدخل هيكل المخطط: حالة مخطط معززة تتطلب حقل استدلال نصي حر وسيط قبل حقل العلامة النهائي، لاختبار ما إذا كان هيكل المخطط نفسه يؤثر على تنفيذ التعليمات.
المقاييس: متوسط الدقة عبر خمس جولات متكررة مع إعادة ترتيب العناصر. تم قياس عدم اليقين باستخدام الخطأ المعياري المتكرر (SE) والخطأ المعياري الثنائي (binomial SE).
المساهمات الرئيسية
دراسة مضبوطة لوضع التعليمات: أول قياس مباشر لكيفية تأثير نقل نص التعريف المتطابق بين المطالبات والمخططات على دقة التصنيف عبر تكوينات نماذج متعددة.
قياس سلطة المخطط القائم على التعارض: أثبتت الدراسة أن أوصاف المخطط ليست بيانات وصفية خاملة؛ ففي نماذج معينة، يمكن للتعليمات الخاطئة في المخطط أن تتجاوز تعليمات المطالبة الصحيحة، مما يسبب انخفاضات كبيرة في الدقة.
الاعتماد على المخطط حسب النموذج: أثبتت أن "الوزن" الممنوح لتعليمات المخطط هو خاصية تعتمد على النموذج. فبعض النماذج (مثل GPT-4.1 و GPT-5.4 بدون استدلال) تعتمد بشدة على مطالبات النظام، بينما نماذج أخرى (مثل Claude Haiku 4.5 و GPT-5.5) حساسة للغاية لمحتوى المخطط.
تدخل هيكل المخطط: أظهرت الدراسة أن إضافة حقل استدلال وسيط مطلوب قبل حقل العلامة يمكن أن يحسن الأداء بشكل كبير للنماذج التي لا تستغل أوصاف المخطط بشكل كافٍ، بل ويتجاوز في بعض الحالات مكاسب أنماط الاستدلال الأصلية.
النتائج
تأثيرات وضع التعليمات
المخطط كقناة تعليمات: أدى تقديم التعريفات عبر أوصاف المخطط إلى تحسين الدقة بشكل كبير مقارنة بـ labels_only (بدون تعريفات) الضابطة، مما يؤكد أن النماذج تستخدم التعليمات المضمنة في المخطط.
تباين الوضع:
GPT-4.1 و GPT-5.4 (بدون استدلال): حققت أداءً أفضل بك بشكل ملحوظ (بفارق 11-13 نقطة مئوية) عندما كانت التعريفات في مطالبة النظام بدلاً من المخطط.
Claude Haiku 4.5: أظهر أداءً متقارباً ولكنه منخفض نسبياً (~52-53%) بغض النظر عن الوضع.
النماذج عالية الأداء (GPT-5.5, Claude Opus 4.8): حققت أداءً كاملاً (100%) في كل من حالتي المخطط فقط وحالة مطالبة النظام فقط.
اختبار التعارض
عندما تعارضت تعريفات المخطط مع تعريفات مطالبة النظام:
حساسية عالية: انخفضت دقة Claude Haiku 4.5 من 52.5% إلى 7.1% (-45.4 نقطة)، مما يشير إلى أن تعليمات المخطط قد تجاوزت المطالبة تماماً. وانخفض GPT-5.5 من 100% إلى 73.3% (-26.7 نقطة).
حساسية منخفضة: أظهرت نماذج GPT-4.1 و GPT-5.4 (بدون استدلال) تدهوراً طفيفاً (أقل من 3 نقاط)، مما يشير إلى أنها أعطت الأولوية لمطالبة النظام على بيانات المخطط المتعارضة.
الاستنتاج: لا تملك أوصاف المخطط موقعاً ثابتاً في هرم التعليمات؛ إذ يختلف تأثيرها بشكل جذري باختلاف النموذج.
تدخل هيكل المخطط
أدى إضافة حقل استدلال وسيط مطلوب قبل حقل العلامة إلى تحقيق مكاسب كبيرة للنماذج التي لديها مساحة للتحسن:
GPT-4.1: +20.8 نقطة (77.1% ← 97.9%).
GPT-5.4 (بدون استدلال): +20.0 نقطة (80.0% ← 100%).
Claude Haiku 4.5: +23.8 نقطة (53.8% ← 77.5%).
Claude Sonnet 4.6: +14.6 إلى +17.5 نقطة اعتماداً على إعدادات الاستدلال.
ملاحظة: هذا التغيير الهيكلي حسن الأداء حتى في النماذج التي لم تحقق أنماط الاستدلال الأصلية مكاسب مماثلة، مما يشير إلى أن بنية المخطط تنظم العمليات الحسابية للنموذج بشكل مختلف عن الاستدلال القائم على المطالبة.
الأهمية والادعاءات
يجادل البحث بأن التجريد الشائع الذي يفصل بين "التعليمات السلوكية" (المطالبات) و"قيود التنسيق" (المخططات) هو تجريد غير مكتمل. يقوم المؤلف بإزالة الغموض عن دور المخططات، مؤكداً أنها ليست مجرد بيانات وصفية خاملة ولا تعادل مطالبات النظام عالمياً. بدلاً من ذلك، فإن وزن تعليمات المخطط هو خاصية تعتمد على النموذج ويجب قياسها تجريبياً.
الآثار العملية:
سطح تعليمات موحد: يجب التعامل مع المطالبات والمخططات كسطح تعليمات واحد. الخطر الأكبر ليس في تجاهل أوصاف المخطط، بل في قيامها بصمت بتجاوز المطالبات الصحيحة. لذا يجب الحفاظ على التعريفات كـ "مصدر وحيد للحقيقة" لتجنب الانحراف.
التحقق التجريبي بدلاً من الافتراض: وضع التعليمات ليس قاعدة ثابتة. يجب على المطورين إجراء تشخيصات خفيفة (ظروف نظيفة مقابل ظروف متعارضة) لتحديد هرمية التعليمات للنموذج المستهدف قبل الاستثمار في تحسين المطالبة.
هندسة المخطط كأداة تأثير: يمكن أن تكون هندسة حقول المخرجات في المخطط (مثل إضافة خطوات استدلال وسيطة) وسيلة أكثر فعالية لتحسين الأداء من مجرد تحسين وضع المطالبة، خاصة للنماذج التي لا تستفيد من أوصاف المخطط بشكل كافٍ.
تخلص الدراسة إلى أن أنظمة المخرات المهيكلة الموثوقة تتطلب فهم كيفية استخدام النماذج المحددة لسطوح التعليمات المتاحة وتصميم واجهة التعليمات الكاملة وفقاً لذلك، بدلاً من الاعتماد على أفضل الممارسات الثابتة.