Testing JSON Schema Instruction Artifacts: Distributional Robustness under Validation-Equivalent Serialization and JSON Mode
تُظهر هذه الدراسة أن عمليات تسلسل (JSON Schema) المتكافئة في التحقق يمكن أن تؤدي إلى تغييرات ذات دلالة إحصائية ومعنى عملي في توزيعات مخرجات النماذج اللغوية، مما يكشف أن التكافؤ في التحقق وحده غير كافٍ ليكون أوراكل تراجع (regression oracle) لضمان المتانة التوزيعية في الأنظمة المنشورة.
تخيل أنك تعطي روبوتاً ذكياً جداً، ولكنه حرفي للغاية في فهمه، مجموعة من التعليمات لبناء نوع معين من السندوتشات. تكتب التعليمات على ورقة. الآن، تخيل أن لديك ختماً سحرياً مكتوب عليه: "وصفة هذا السندوتش مثالية". هذا الختم يتحقق مما إذا كنت قد وضعت جميع المكونات الصحيحة (الخبز، الجبن، اللحم) وما إذا كنت قد نسيت الخردل بالخطأ. ولكن هنا تكمن الخدعة: الختم لا يهتم بالترتيب الذي كتبت به الخطوات. سواء قلت "ضع اللحم على الخبز، ثم الجبن" أو "ضع الجبن على الخبز، ثم اللحم"، فإن الختم يعطي علامة "مثالي" نفسها لأن السندوتش النهائي يحتوي على نفس الأجزاء.
في عالم علوم الحاسوب، يسمى هذا "الختم" JSON Schema. إنه كتاب قواعد يخبر برامج الكمبيوتر كيف يجب أن تبدو قطعة من البيانات. عندما نطلب من الذكاء الاصطناعي (AI) كتابة كود برمجي أو تنظيم معلومات، فإننا غالباً ما نعطيه كتاب القواعد هذا كمجموعة من التعليمات. السؤال الكبير الذي يسأله الباحثون هو: إذا قمنا بخلط ترتيب التعليمات على الورقة -دون تغيير القواعد الفعلية أو "الختم المثالي"- هل سيظل الذكاء الاصطناعي يبني نفس السندوتش تماماً؟ أم أن الذكاء الاصطناعي سيصاب بالارتباك بسبب الترتيب الجديد ويقدم شيئاً مختلفاً قليلاً، حتى لو اجتاز فحص الختم؟ هذا الأمر مهم لأنه إذا غير الذكاء الاصطناعي رأيه لمجرد أننا أعدنا ترتيب الكلمات، فسيصبح غير موثوق للقيام بمهام مهمة مثل السجلات الطبية أو التقارير المالية.
هذه الورقة تشبه قصة بوليسية حيث يحقق المؤلف، شينغياو سون (Shengyao Sun)، فيما إذا كان "عقل" الذكاء الاصطناعي حساساً لترتيب الكلمات في كتب القواعد هذه. اختبرت الدراسة ذلك من خلال الطلب من نماذج ذكاء اصطناعي مختلفة حل نفس الألغاز باستخدام نفس كتب القواعد، ولكن مع كتابة التعليمات بترتيبات مختلفة. لم يكتفوا بسؤالها مرة واحدة فقط؛ بل سألوها خمس مرات لكل نسخة للتأكد من أن أي تغييرات لم تكن مجرد حظ عشوائي. ووجدوا أنه بالنسبة لبعض أنظمة الذكاء الاصطناعي، كان لترتيب الكلمات تأثير. فعندما تم تبديل ترتيب الخصائص (مثل "الاسم" أو "العمر")، بدأ الذكاء الاصطناعي في إعطاء إجابات مختلفة، رغم أن الإجابات كانت لا تزال "صحيحة" تقنياً وفقاً لكتاب القواعد.
ومع ذلك، القصة ليست نفسها لكل ذكاء اصطناعي. وجد المؤلف أن هذا "الحساسية للترتيب" تعتمد كلياً على نظام الذكاء الاصطناعي الذي تستخدمه. فبالنسبة لأنظمة "Sonnet" و"Qwen"، تسبب الخلط في تغييرات ملحوظة في الإجابات -بزيادة قدرها 5% إلى 12% في عدم الاتفاق عن المعتاد. ولكن بالنسبة لأنظمة "GPT" و"DeepSeek"، لم يؤثر الخلط تقريباً على الإطلاق. كما تحققت الدراسة مما إذا كان وضع "JSON Mode" الخاص (وهو إعداد يخبر الذكاء الاصطناعي بأن يكون حذراً للغاية فيما يتعلق بالتنسيق) سيحل المشكلة. ومن المثير للدهشة، أنه لم يفعل؛ إذ ظل الذكاء الاصطناعي يرتبك بسبب ترتيب الكلمات حتى في هذا الوضع الصارم.
الاستنتاج الأكثر أهمية هو أنه ليس من الضروري أن يعني قول برنامج كمبيوتر إن مجموعة التعليمات "صالحة" أو "صحيحة" أن الذكاء الاصطناعي سيتصرف بنفس الطريقة إذا قمت بتعديل التنسيق. يقترح المؤلف أنه لا ينبغي لنا أن نثق في "الختم" بعد الآن. بدلاً من ذلك، نحتاج إلى معاملة مجموعات التعليمات هذه مثل الكود البرمجي: يجب أن نثبتها في ترتيب قياسي (مثل سرد المكونات دائماً أبجدياً) واختبارها بعناية قبل السماح لها بالعمل في العالم الحقيقي. تثبت الدراسة أن التحقق من الصحة ليس كافياً؛ فنحن بحاجة إلى التحقق مما إذا كان سلوك الذكاء الاصطناعي يظل مستقراً عندما يتم إعادة ترتيب التعليمات، لأن ترتيب الكلمات، بالنسبة لبعض أنواع الذكاء الاصطناعي، هو جزء سري من الوصفة.
ملخص تقني: اختبار آثار مخططات JSON (JSON Schema) كأدوات تعليمات
بيان المشكلة في برمجيات النماذج اللغوية (LM)، يلعب مخطط JSON (JSON Schema) دوراً مزدوجاً: فهو يعمل كعقد تحقق مقروء آلياً للبرمجيات التقليدية، وكأداة تعليمات متسلسلة للنموذج اللغوي. وبينما تُعرف مواصفات JSON وJSON Schema الكائنات كمجموعات غير مرتبة حيث لا يؤثر ترتيب الأعضاء على عملية التحقق، فإن الأدوات البرمجية (المسلسلات، مولدات الأكواد، سجلات المخططات) غالباً ما تعيد ترتيب أعضاء المخطط دون تغيير عقد التحقق. وهذا يخلق خطراً في الصيانة: فالتغيير في المخطط الذي يُعتبر "مكافئاً للمُحقِّق" قد يؤدي دون قصد إلى تغيير توزيع مخرجات النموذج اللغوي. تركز الاختبارات المرجعية الحالية على قابلية التحليل أو صحة المخطط، لكنها تفشل في اختبار "الثبات التوزيعي" (distributional invariance)—أي ما إذا كانت سلسلتان متكافئتان دلالياً لنفس المخطط تؤديان إلى نفس توزيع المخرجات بما يتجاوز الضوضاء العشوائية.
المنهجية تستخدم الدراسة إطار عمل للاختبار التحولي (metamorphic testing) مستمد من دلالات JSON وJSON Schema. الفرضية الأساسية هي أنه إذا كانت سلسلتا المخطط متكافئتان في التحقق، فإن توزيع مخرجات النموذج اللغوي الطبيعي يجب أن يظل ثابتاً، مع مراعاة التباين الناتج عن تكرار الاستدعاء.
التصميم التجريبي: صمم الباحثون علاقة تحولية حيث تظل المهمة، والمطالبة (prompt)، وتعليمات النظام، وعقد التحقق ثابتة، بينما تتغير السلسلة المتسلسلة للمخطط.
التحويلات: تم اختبار خمسة تحويلات تسلسلية تكرارية:
الأصلي: التسلسل المصدر.
عكس الخصائص: عكس المدخلات داخل كائنات الـ properties.
عكس المطلوب (required): عكس مصفوفات الـ required الفريدة.
عكس الكلمات المفتاحية: عكس جميع الأعضاء في كائنات المخطط (بما في ذلك الخصائص المتداخلة).
الوصف أولاً: نقل حقول الـ description إلى الموقع الأول.
التفكيك: قام لوح مكون من 200 سجل منفصل بعزل تباينات محددة: (1) آثار ترتيب الخصائص (الأصلي مقابل عكس الخصائص) و(2) آثار ترتيب الأعضاء الإضافية (عكس الخصائص مقابل عكس الكلمات المفتاحية)، مع تثبيت الترتيب التكراري للخصائص في الحالة الأخيرة.
الأنظمة: قيمت الدراسة 17,900 استجابة ناجحة عبر خمس واجهات: بدائل بوابة Sonnet وGPT، وDeepSeek الرسمي (deepseek-v4-flash)، وQwen-Plus الرسمي (qwen-plus) في كل من وضع النص ووضع JSON.
المقاييس:
الاختلاف الزائد المنظم (Normalized Excess Disagreement): إحصائية معدلة بالضوضاء تقارن بين الاختلاف بين الحالات والاختلاف داخل الحالة الواحدة. وهي تقدّر مسافة L2 المربعة بين التوزيعات المنفصلة.
الشاشة العملية (Practical Screen): عتبة محددة مسبقاً قدرها 0.05 (5% اختلاف زائد) لتحديد الأهمية العملية.
مقاييس الجودة: معدل نجاح المخطط، ودقة القيم الورقية (leaf-value accuracy)، وF1 للرموز (token F1).
الاستدلال: تم اشتقاق فترات الثقة عبر 5,000 إعادة أخذ عينات بوتستراب (bootstrap resamples) لمجموعات السجلات، مع تطبيق تصحيح Holm للمقارنات المتعددة.
النتائج الرئيسية
عدم الاستقرار التوزيعي (RQ1 & RQ2): تغيير ترتيب التحقق يغير توزيع المخرجات بما يتجاوز تباين الاستدعاءات المتكررة.
بوابة Sonnet: تجاوز كل من تأثير ترتيب الخصائص (0.058) وتأثير ترتيب الأعضاء الإضافية (0.077) الشاشة العملية (0.05).
Qwen-Plus (النص): كانت كلا التأثيرين جوهريين (0.126 و0.123)، وتجاوزا الشاشة.
بوابة GPT وDeepSeek: كانت التأثيرات قابلة للكشف (حدود دنيا موجبة في فترات الثقة) ولكنها ظلت تحت الشاشة العملية (0.033/0.038 لـ GPT؛ 0.013/0.018 لـ DeepSeek).
العواقب على الجودة (RQ3): لم تعنِ التحولات التوزيعية تدهوراً عاماً في متوسط جودة المهمة. ظل معدل نجاح المخطط مرتفعاً (>98%) في جميع الأنظمة. وكانت التغيرات في دقة القيم الورقية قريبة من الصفر عموماً، باستثناء حالة واحدة (تباين الأعضاء الإضافية في GPT عند -0.025) والتي لم تتكرر في الأنظمة الأخرى.
حدود الواجهة (RQ4): بالنسبة لـ Qwen-Plus، لم يؤدِ تفعيل وضع JSON (response_format={"type":"json_object"}) إلى تقليل الحساسية تجاه ترتيب تسلسل المخطط بشكل مادي. لم يكن تأثير التفاعل ذا دلالة إحصائية، وظل مقدار تأثيرات الترتيب مرتفعاً في وضع JSON.
التباين (RQ5): تُدفع متوسطات التأثيرات بواسطة أقلية من السجلات "المعرضة للخطر" (العشر الأعلى)، وليس عبر تحولات موحدة. ملفات السجلات المعرضة للخطر مستقرة عبر واجهات Qwen المتطابقة (النص مقابل وضع JSON)، لكنها لا تنتقل بشكل موثوق عبر الأنظمة المختلفة (مثل Sonnet مقابل GPT).
الأهمية والادعاءات يزعم البحث أن التكافؤ في التحقق هو أداة رجوع (regression oracle) غير كافية للمخططات المواجهة للنماذج اللغوية. توضح الدراسة أن طبقة التجريد الخاصة بالتحقق من JSON Schema لا تضمن التبادلية السلوكية عند الطبقة التوليدية.
الآثار العملية: على فرق البرمجيات التي تتعامل مع المخططات كأدوات تعليمات أن تختبر المتانة التوزيعية بشكل منفصل عن قواعد النحو ودقة المهمة. فإعادة الهيكلة (refactor) التي تحافظ على عقد المُحقِّق قد تسبب أيضاً تراجعاً في المكون التوليدي.
المساهمات:
العلاقة التحولية: اختبار رسمي للمخططات المواجهة للنماذج اللغوية بناءً على تكافؤ التحقق.
المُقدِّر (Estimator): مُقدِّر للاختلاف الزائد معدل عشوائياً مع استدلال عنقودي.
سير العمل: سير عمل اختبار قابل للتدقيق خارج الخط (offline-auditable) وموحد (canonicalizer) محافظ يقوم بفرز مفاتيح الكائنات ومصفوفات الـ required الفريدة لإزالة درجات الحرية في التسلسل ضمن خطوط بناء البرمجيات.
الدليل التجريبي: توثيق عمليات التكرار الإيجابية والسلبية عبر عمليات نشر متنوعة، مما يدحض الادعاءات العالمية حول حساسية النماذج ويؤكد المخاطر المرتبطة بكل بيئة نشر.
يصرح المؤلف صراحةً بأنه لا يستنتج آليات الانتباه الداخلية، ولا يدعي ضرراً عاماً في الدقة، ولا يقيم التشفير المقيد الصارم. النتائج محصورة في الواجهات المحددة وتواريخ الاختبار، وتعمل كدليل على أن "التكافؤ في التحقق وحده ليس أداة سلوكية كافية".