ملخص تقني: SOP-Maze

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) تقدماً ملحوظاً في اتباع التعليمات وتوليد اللغة الطبيعية، إلا أن قدرتها على العمل ضمن بيئات أعمال معقدة وواقعية لا تزال غير مقيمة بشكل كافٍ. تركز المعايير الحالية غالباً على اتباع تعليمات عامة، أو حوارات أحادية الدور، أو التلاعب بالأدوات. ومع ذلك، فإن سيناريوهات الأعمال الواقعية مدفوعة بـ إجراءات التشغيل القياسية (SOPs) التي تتضمن تفرعات شرطية، وقيوداً معقدة، ومنطق تنفيذ متداخل، ومحادثات متعددة الأدوار مليئة بالضجيج. تفشل المعايير الحالية في استيعاب التحديات المحددة المتمثلة في عبور هذه السلاسل المنطقية الطويلة بأمانة، والتعامل مع الفروق الدقيقة في المحادثة (مثل السخرية، وعكس النوايا)، وإجراء الحسابات الواعية بالسياق المطلوبة في بيئات المؤسسات.

المنهجية

معيار SOP-Maze

لمعالجة هذه الفجوة، قدم المؤلفون SOP-Maze، وهو معيار تم بناؤه من بيانات أعمال واقعية.

• مصدر البيانات: تم اشتقاق مجموعة البيانات من 300,000 سجل من سجلات توجيه واجهة برمجة التطبيقات (API router logs) الداخلية لقسم تجاري، مما يجسد استدعاءات فعلية للنماذج اللغوية الكبيرة لمهام تجارية. وبعد التجميع الدلالي والاختيار اليدوي، تم تحديد 23 سيناريو عمل متميزاً.
• النطاق: تتكون مجموعة البيانات النهائية من 397 حالة و 3,422 مهمة فرعية، بمتوسط طول للمواصفات يبلغ 5,040 رمزاً (token).
• هيكل المهمة: يتضمن وصف كل مهمة أربعة مكونات:
  1. الهدف: الخلفية، دور النموذج، وأهداف المهمة.
  2. إجراءات التشغيل القياسية (SOP): منطق التنفيذ التفصيلي وخطوات العمل.
  3. مدخلات المستخدم: بيانات حوار واقعية، وغالباً ما تكون مليئة بالضجيج ومتعددة الأدوار.
  4. متطلبات المخرجات: الالتزام الصارم بمخطط JSON محدد مسبقاً.
• بروتوكول التقييم: لضمان الموثوقية وتجنب عدم استقرار التقييم عبر النماذج اللغوية (LLM-as-a-judge)، استخدم المؤلفون تقييماً قائماً على مخطط JSON. يجب أن تخرج النماذج كلاً من الاستجابة المتوقعة من المستخدم ومؤشر مرجعي مطابق لتوجيهات الـ SOP. يتم التصنيف على مستويات:
  • 0.2 نقطة: تنسيق JSON صالح.
  • 1.0 نقطة: تنسيق صالح + مؤشر مرجعي صحيح (القرار).

تصنيف المهام

صنف المؤلفون مهام SOP مبتكرين إلى فئتين بناءً على التعقيد الهيكلي للإجراءات، مستعيرين مصطلحات من مورفولوجيا جذور النباتات:

1. نظام الجذور الجانبية (LRS): يمثل المهام "العريضة" ذات هياكل التفرع الضحلة نسبياً (بحد أقصى 3 مستويات) ولكن مع عوامل تفرع عالية (غالباً >10 عقد أبناء لكل عقدة أب). تتطلب هذه المهام اختياراً دقيقاً بين بدائل عديدة مع الحفاظ على الامتثال الإجرائي.
2. نظام الجذور القلبية (HRS): يمثل المهام "العميقة" التي تتميز بسلاسل منطقية طويلة ومعقدة. يتطلب الإكمال الناجح من النموذج عبور مسارات استدلال متعددة الخطوات والحفاظ على الاتساق السياقي عبر آفاق زمنية طويلة.

الإعداد التجريبي

تدرس الدراسة 18 نموذجاً لغوياً بارزاً (11 منها تعتمد على واجهات برمجة التطبيقات و7 مفتوحة المصدر)، بما في ذلك نماذج من Anthropic وOpenAI وDeepSeek وBytedance وGoogle. تم اختبار جميع النماذج باستخدام المعلمات الفائقة الافتراضية.

النتائج الرئيسية والمخرجات

فجوة الأداء

تكشف التجارب المكثفة أن جميع النماذج الرائدة تقريباً تعاني بشكل كبير مع SOP-Maze. حتى النماذج الأعلى أداءً (مثل DeepSeek-V3.1-Thinking وClaude-Opus-4-Thinking) تحقق درجات أقل بكثير من الدرجة الكاملة، مما يشير إلى وجود فجوة كبيرة بين قدرات النماذج اللغوية الكبيرة الحالية والمتطلبات الصارمة لإجراءات العمل القياسية.

تصنيف الأخطاء

من خلال تحليل شامل لإخفاقات النماذج (تحديداً في الاستجابات التي استوفت شرط التنسيق ولكن فشلت في اتخاذ القرار)، حدد المؤلفون ثلاث فئات مهيمنة من الأخطاء:

1. العمى المساري (Route Blindness):
   • التعريف: يفشل النموذج في اتباع إجراء الـ SOP بشكل صحيح، حيث ينحرف إلى مسارات خاطئة، أو يتخطى فحوصات المتطلبات المسبقة، أو يطبق قواعد أقل تخصيصاً عندما تتطلب الحالة استثناءات.
   • المظاهر: في نظام LRS، تعاني النماذج في الحفاظ على مجموعات المرشحين الكبيرة وتقليمها، وغالباً ما تلتزم مبكراً بمسارات خاطئة. وفي نظام HRS، تتخطى النماذج العقد الوسيطة، وتفترض خطأً أن الشروط المسبقة قد استُوفيت، وتنتقل إلى خطوات لاحقة.
2. الهشاشة الحوارية (Conversational Fragility):
   • التعريف: عدم القدرة على التعامل مع الفروق الدقيقة في الحوار الواقعي، بما في ذلك الاعتماد السياقي القوي، والعبارات غير المترابطة، والنوايا الضمنية (مثل السخرية).
   • المظاهر: غالباً ما تلتزم النماذج بالتعليمات الأولية وتفشل في تحديث النوايا عندما يعكس المستخدم موقفه (مثلاً: التهديد بتقديم شكوى ثم القول "سأتجاوز الأمر"). كما تفشل في عزل التأكيدات الحاسمة وسط الكلام المتداخل المليء بالضجيج أو تفسير السخرية كتعليقات إيجابية.
3. أخطاء الحساب (Calculation Errors):
   • التعريف: الاستدلال المنفصل غير الموثوق في الحسابات المتعلقة بالوقت أو الحسابات الحسابية/الإحصائية المضمنة في الـ SOP.
   • المظاهر: ترتكب النماذج أخطاءً جسيمة في حساب فترات التأخير في الرد أو الوسيط الحسابي، حتى عندما يتم توفير الطوابع الزمنية والبيانات صراحةً. تشير دراسات الاستئصال إلى أن العائق غالباً ما يكون اختيار الأدلة تحت سياق ضوضائي وليس العملية الحسابية نفسها.

نماذج الاستدلال مقابل النماذج غير الاستدلالية

تتفوق نماذج الاستدلال (تلك التي تمتلك قدرات "التفكير" - Thinking) بشكل كبير على النماذج غير الاستدلالية، لا سيما في مهام LRS حيث يكون إدارة مسارات متعددة محتملة أمراً حاسماً. ومع ذلك، حتى نماذج الاستدلال تظهر نقاط ضعف في مهام HRS فيما يتعلق بالتنظيم الشامل والتحقق.

الأهمية والمساهمات

يدعي البحث المساهمات التالية:

1. أول معيار واقعي لـ SOP: يعد SOP-Maze أول معيار مصمم خصيصاً لتقييم قدرة اتباع التعليمات العملية للنماذج اللغوية الكبيرة في سيناريوهات SOP التجارية المعقدة، والمستمدة من بيانات مؤسسية فعلية بدلاً من التوليد الاصطناعي.
2. تصنيف مبتكر: يوفر تقديم نظام الجذور الجانبية (LRS) و نظام الجذور القلبية (HRS) إطاراً مهيكلاً لتقييم قدرات النماذج عبر اتساع (تفرع واسع) وعمق (سلاسل منطقية طويلة) الإجراءات المعقدة.
3. رؤى تشخيصية: يوفر تحديد العمى المساري، والهشاشة الحوارية، وأخطاء الحساب رؤى جديدة حول القيود المحددة للنماذج الرائدة الحالية، متجاوزة مجرد الامتثال للتنسيق لتحليل الإخفاقات الإجرائية الجوهرية.

يضع المؤلفون SOP-Maze كمنصة اختبار لتطوير أنظمة أكثر موثوقية في اتباع التعليمات وعزل الاختناقات التي تمنع النماذج اللغوية الكبيرة من تنفيذ إجراءات العمل المتداخلة والمعقدة بأمانة. العمل متاح كمصدر مفتوح لتسهيل المزيد من الأبحاث في هذا المجال.