💬 NLP

MANTRA: Synthesizing SMT-Validated Compliance Benchmarks for Tool-Using LLM Agents

تقدم الورقة البحثية إطار عمل MANTRA، الذي يقوم تلقائياً بتوليف والتحقق رسمياً من معايير قياس الامتثال القابلة للتوسع والقابلة للفحص آلياً لوكلاء النماذج اللغوية الكبيرة (LLMs) المستخدمة للأدوات، وذلك عبر توليد نماذج عالم رمزية وفحوصات على مستوى التتبع مدعومة ببرمجيات التحقق من النماذج (SMT) من أدلة إجرائية مكتوبة بلغة طبيعية.

المؤلفون الأصليون: Ashwani Anand, Ivi Chatzi, Ritam Raha, Anne-Kathrin Schmuck

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ashwani Anand, Ivi Chatzi, Ritam Raha, Anne-Kathrin Schmuck

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً ومفيداً (وكيل ذكاء اصطناعي) يمكنه استخدام الأدوات للقيام بمهام من أجلك، مثل حجز الرحلات الجوية، أو طلب قطع غيار، أو إدارة سجلات المرضى. ومع ذلك، يعمل هذا الروبوت في بيئة مكتبية صارمة حيث يجب عليه اتباع كتاب قواعد ضخم مكون من 50 صفحة مكتوب باللغة الإنجليزية العادية.

ما هي المشكلة؟ كتاب القواعد مكتوب للبشر، لكن الروبوت يتحدث بلغة "استدعاءات الأدوات" (الأوامر الرقمية). لذا، فإن التحقق مما إذا كان الروبوت قد اتبع القواعد يشبه محاولة تقييم مقال طالب من خلال النظر فقط إلى مسودات أفكاره، دون معرفة ما إذا كان قد اتبع تعليمات المعلم بالفعل.

الحل: MANTRA
ابتكر مؤلفو هذه الورقة نظاماً يسمى MANTRA (الترجمة من الدليل إلى الاختبار). فكر في MANTRA كـ مراقب جودة آلي وصارم للغاية يقوم ببناء "تجربة قيادة" لهؤلاء المساعدين الآليين.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. الوصفة والطاهي

كتاب القواعد (الدليل): تخيل وصفة معقدة لتحضير "السوفليه" تقول: "إذا كانت البيض طازجاً، اخفقه؛ وإذا لم يكن كذلك، اشترِ المزيد. لا تفتح باب الفرن أبداً قبل مرور 20 دقيقة".
الروبوت (الوكيل): هذا هو الطاهي الذي يحاول تحضير السوفليه.
المشكلة: كيف تعرف ما إذا كان الطاهي قد اتبع الوصفة؟ هل فحص البيض أولاً؟ هل استرق النظر داخل الفرن في وقت مبكر جداً؟

2. بناء الاختبار (نموذج العالم)

بدلاً من مجرد سؤال إنسان لقراءة الوصفة ثم مراقبة الطاهي (وهو أمر بطيء وعرضة للخطأ البشري)، يقوم MANTRA بشيء ذكي. يأخذ الوصفة وقائمة الأدوات التي يمتلكها الطاهي (المضرب، الفرن، المؤقت) ويبني تلقائياً محاكاة رقمية للمطبخ.

نموذج العالم: هذا هو التوأم الرقمي للقواعد. هو يعرف أنه: "إذا لم يكن البيض طازجاً، فلا يمكن استخدام أداة المضرب بعد".
عمليات التحقق: يقوم MANTRA أيضاً بتوليد قائمة بأشياء محددة للبحث عنها، مثل: "هل فحص الطاهي البيض قبل خفقه؟"

3. "المحقق الرياضي" (حل SMT)

هذا هو الجزء السحري. بما أن الوصفة وقائمة التحقق قد كُتبتا بواسطة ذكاء اصطناعي (والذي قد يرتكب أحياناً أخطاء أو يهلوِس)، فإن MANTRA لا يثق بهما فحسب. بل يستخدم محرك منطق رياضي (يسمى حل SMT) ليعمل كـ "محقق رياضي".

التحقق المتقاطع: يسأل المحقق: "هل هناك أي طريقة تجعل الطاهي يتبع قائمة (التحققات) ولكنه يكسر قواعد (نموذج العالم)؟"
حلقة الإصلاح: إذا وجد المحقق ثغرة (على سبيل المثال: قائمة التحقق تقول "اخفق البيض" بينما نموذج العالم يقول "يجب فحص البيض أولاً")، فإنه يقوم بإصلاح الاختبار تلقائياً. يستمر في القيام بذلك حتى يصبح الاختبار مثالياً من الناحية الرياضية.
الدعم البشري: فقط إذا تعثر المحقق الرياضي، يتدخل الإنسان لإصلاح التفاصيل النهائية.

4. النتيجة: امتحان مثالي

المنتج النهائي هو مجموعة اختبارات مرجعية (Benchmark Suite). وهي عبملة من 285 "سؤال امتحان" مختلف عبر 6 مجالات مختلفة (مثل حجز الطيران، وسلامة المستشفيات، وطلب الأجهزة).

التقييم الحتمي: على عكس الاختبارات الأخرى حيث يتعين على إنسان أو ذكاء اصطناعي آخر التخمين فيما إذا كان الروبوت قد أدى عملاً جيداً، فإن اختبارات MANTRA تشبه ورقة الإجابة (Scantron) متعددة الخيارات. فإما أن يتبع الروبوت التسلسل الدقيق لاستدعاءات الأدوات المطلوبة، أو أنه لم يفعل. لا يوجد مجال للتخمين.
إيجاد الأعطال: عندما اختبر المؤلفون 6 نماذج مختلفة من الذكاء الاصطناوي على هذه الاختبارات، وجدوا أن معظم الروبوتات فشلت لأنها تجاوزت خطوات "القراءة". على سبيل المثال، كانوا يحاولون "كتابة" طلب شراء قبل "التحقق" مما إذا كان الصنف متوفراً في المخزن. لقد رصدت اختبارات MANTORE التفصيلية هذه الأخطاء المحددة، موضحةً بدقة أين كانت الروبوتات تخفق.

باخت ملخص

MANTRA هو إطار عمل يحول كتب القواعد البشرية الفوضوية إلى اختبارات نظيفة ومحققة رياضياً لوكلاء الذكاء الاصطناعي. إنه يستخدم حلقة "التوليد، والتحقق المتقاطع، والإصلاح" لضمان أن الاختبارات عادلة ودقيقة، مما يسمح لنا بمعرفة ما إذا كان وكلاء الذكاء الاصطناعي يتبعون القواعد حقاً أم أنهم يرتجلون فقط.

الفكرة الجوهرية: تماماً كما لا تثق في سيارة ذاتية القيادة دون اختبارات تصادم صارمة ومحققة رياضياً، لا ينبغي لك الوثوق في ذكاء اصطناعي يستخدم الأدوات دون نظام مثل MANTRA للتحقق من اتباعه للدليل.

ملخص تقني: MANTRA – توليف معايير الامتثال الموثقة عبر التحقق من القابلية للإرضاء (SMT)

بيان المشكلة

يتم نشر وكلاء النماذج اللغوية الكبيرة (LLMs) التي تستخدم الأدوات بشكل متزايد في مجالات حرجة مثل العمليات المؤسسية، والرعاية الصحية، وحجز السفر، حيث يجب أن يلتزم سلوكهم بأدلة إجرائية صارمة. ويتمثل التحدي الجوهري في تقييم هؤلاء الوكلاء في وجود "عدم تطابق" بين المدخلات والمخرجات: فالقواعد الإجرائية تُكتب عادةً بلغة طبيعية غير منظمة للتفسير البشري، بينما يتجلى سلوك الوكيل في شكل تسلسل من استدعاءات الأدوات (آثار التنفيذ).

تعاني طرق التقييم الحالية من قيود كبيرة:

البناء اليدوي: إنشاء المعايير يدويًا عالي الجودة ولكنه لا يتوسع ليشمل الأدلة الضخمة والمعقدة أو المجالات الجديدة.
المحكمون القائمون على النماذج اللغوية الكبيرة (LLM-based Judges): رغم سهولة نشرهم، إلا أن هؤلاء المحكمين يواجهون صعوبة في فرض القيود الزمنية الصارمة، والشروط المسبقة، والأفعال المحظورة بدقة عبر آثار التنفيذ الطويلة، مما يؤدي إلى تقييمات غير موثوقة.
التقييم القائم على النتيجة فقط: تركز العديد من المعايير فقط على الحالة النهائية، وتفشل في اكتشاف ما إذا كان الوكيل قد وصل إلى النتيجة الصحيحة عبر مسار إجرائي غير ممتثل.

هناك نقص في الطريقة القابلة للتوسع والقابلة لإعادة الإنتاج لتوليد معايير تقييم آلية على مستوى الأثر (trace-level) من الأدلة ذات اللغة الطبيعية توفر درجات حتمية يمكن فحصها آلياً.

المنهجية: إطار عمل MANTRA

MANTRA (ترجمة الدليل إلى اختبار - MANual-to-Test-tRAnslation) هو إطار عمل مصمم لتوليد معايير الامتثال تلقائياً من الوثائق الإجرائية ذات اللغة الطبيعية ومخططات الأدوات (tool schemas). يعمل الإطار من خلال خط إنتاج ثلاثي المراحل يجمع بين التوليد بواسطة النماذج اللغوية الكبيرة والتحقق الرسمي:

1. استيعاب المستند وتوليد السيناريوهات

بناء مخطط التبعية: يستوعب النظام دليلاً إجرائياً ( $D$ ) ويبني مخطط تبعية ( $G_D$ ) حيث تمثل العقد قطع المحتوى (مثل الفقرات) وتمثل الحواف العلاقات الهرمية والمرجعية.
أخذ العينات القائم على التغطية: للتحكم في تعقيد المهام وضمان التغطية الواسعة، يقوم MANTRA بأخذ عينات من المخططات الفرعية ( $G_{DS}$ ) من $G_D$ . تنتج المخططات الفرعية الصغيرة والكثيفة سيناريوهات بسيطة؛ بينما تنتج المخططات الأكبر أو الأقل اتصالاً سيناريوهات معقدة تتضمن قواعد متعددة.
صلة الأداة وتوليد السيناريو: لكل عينة، يحدد نموذج لغوي كبير الأدوات ذات الصلة ( $T_S$ ) ويولد سيناريوهات ملموسة ( $\lambda$ ). يتضمن كل سيناريو مطالبة باللغة الطبيعية ( $p_\lambda$ ) وتقييماً للمتغيرات، بما في ذلك متغيرات الحالة الداخلية (مثل "الطلب قيد الانتظار") التي يتم توضيحها صراحة في المطالبة لتوجيه الوكيل.

2. توليد الفحص وإنشاء نموذج العالم

لتقييم الامتثال بشكل حتمي، يقوم MANTRA بتوليد أثرين مستقلين لكل سيناريو:

فحوصات مستوى الأثر ( $C_\lambda$ ): يولد نموذج لغوي كبير مجموعة من الفحوصات البوليانية (Boolean) التي تحدد استدعاءات الأدوات المطلوبة، والاستدعاءات المحظورة، والترتيب الزمني (على سبيل المثال، يجب أن يسبق check_inventory عملية assign_warehouse_picker). هذه الفحوصات مرتبطة بقيم وسيطة ملموسة.
نموذج العالم الرمزي ( $W_S$ ): بشكل مستقل، يولد نموذج لغوي كبير نموذج عالم يمثل القواعد الإجرائية كنظام انتقال حالة. يتم التعبير عن هذا النموذج باستخدام لغة مجال محددة (DSL) من نوعية (Typed) تُعرف متغيرات الحالة، والشروط المسبقة للأدوات، والشروط اللاحقة. يسمح هذا التجريد بتمثيل مضغوط للمنطق الإجرائي المعقد.

3. التحقق المتبادل عبر حل SMT

الابتكار الجوهري في MANTRA هو استخدام حلول "إرضاء المجموعات النظرية" (SMT) (تحديداً Z3) للتحقق المتبادل من الفحوصات ونموذج العالم.

فحص النموذج المحدود (Bounded Model Checking): يتم تجميع كل من $C_\lambda$ و $W_S$ في ترميزات SMT محدودة ( $b\Phi_h$ ) عبر أفق الأثر $h$ .
البحث عن التعارض (Conflict Search): يبحث النظام عن نوعين من التناقضات:
1. التعارض الأمامي (Forward Conflict): الآثار التي تستوفي الفحوصات ولكن تنتهك نموذج العالم (مما يشير إلى أن الفحوصات ضعيفة جداً أو أن النموذج مقيد للغاية).
2. التعارض الخلفي (Backward Conflict): الآثار التي تستوفي نموذج العالم ولكن تنتهك فحصاً معيناً (مما يشير إلى أن الفحص مقيد للغاية).
حلقة الإصلاح المهيكلة: عند العثين على تعارضات، يستخدم MANTRA حلقة إصلاح:
- حل نموذج العالم: إذا تشاركت عدة سيناريوهات من نفس العينة في تعارض واحد، يقترح نموذج لغوي كبير إصلاحاً مشتركاً لنموذج العالم (على سبيل المثال، إضافة شرط مسبق مفقود).
- حل الفحص: إذا استمرت التعارضات، يحدد النظام ويصلح فحوصات محددة لسيناريوهات فردية.
- التعديلات الحتمية: يتم تطبيق الإصلاحات عبر لغة تعديل من نوعية لضمان سلامة البنية، متبوعة بإعادة التجميع وإعادة التحقق.
الإنسان في الحلقة (Human-in-the-Loop): إذا فشلت الإصلاحات الآلية بعد عدد معين من التكرارات، يقوم النظام بوضع علامة على السيناريو للمراجعة البشرية المهيكلة، حيث يمكن للمراجع حل حالات الغموض يدوياً.

المساهمات الرئيسية

خط إنتاج مؤتمت: خط إنتاج مؤتمت بالكامل لتحويل الأدلة ذات اللغة الطبيعية ومخططات الأدوات إلى معايير قابلة للفحص آلياً مع إمكانية التحكم في صعوبة المهام والدرجات الحتمية.
صيغة الأثرين المستقلين: الفصل بين فحوصات مستوى الأثر ونماذج العالم الرمزية، والتي يتم التحقق منها متبادلاً عبر حل SMT. يسمح هذا بالاكتشاف التلقائي للتعارضات وإصلاحها قبل قبول المعايير، مما يقلل من التدخل البشري.
مجموعة معايير الاختبار: إنشاء مجموعة معايير تحتوي على 285 مهمة متنوعة عبر 6 مجالات (العمليات، Sneaky Sasquatch، سلامة الكبينة، التجزئة، الطيران، الاتصالات). يمكن لهذه المهام التوسع لتشمل أدلة إجرائية تصل إلى ~16,000 كلمة و148 أداة، بجهد بشري ضئيل.
تحليل الفشل التفصيلي: توفر فحوصات مستوى الأثر في الإطار إمكانية تحليل دقيق لأنماط فشل الوكيل، والتمييز بين الاستدعاءات المفقودة، وانتهاكات الترتيب، والأفعال المحظورة.

النتائج والتقييم

قام المؤلفون بتقييم إطار عمل MANTRA ومعايير الاختبار الناتجة باستخدام 6 وكلاء مختلفين من النماذج اللغوية الكبيرة.

كفاءة التحقق: نجح التحقق المتبادل القائم على SMT في التحقق من جزء كبير من حالات الاختبار المولدة تلقائياً. على سبيل المثال، في مجال "العمليات"، تم التحقق من 63 حالة من أصل 66 حالة مولدة بعد جولات التحسين الأمامية والخلفية.
أداء الوكيل: كشف التقييم أن الوكلاء الحاليين يعانون في الامتثال الإجرائي. تباينت معدلات النجاح بشكل كبير حسب المجال، حيث ثبت أن "التجزئة" و"الطيران" (من $\tau$ -Bench) كانا صعبين للغاية بسبب استخدام الأدوات المعقد وليس طول المستند.
تحليل نمط الفشل: أظهر تحليل 10,895 فحصاً فاشلاً أن 76% من حالات الفشل كانت بسبب "الاستدعاء المطلوب المفقود" (تخطي أداة مفروضة) أو "المرتكز المفقود" (الفشل في تنفيذ المتطلب السابق لبند الترتيب).
- كان النمط المهيمن للفشل هو "الكتابة المبكرة"، حيث قام الوكلاء باستدعاء أدوات نمط الكتابة قبل إجراء عمليات البحث بنمط القراءة الضرورية.
- أظهر النموذج Qwen3.6:36B أداءً فائقاً، خاصة في مجالي الطيران والتجزئة، من خلال الحفاظ على عادة "القراءة قبل الكتابة"، محققاً نسبة 0% في حالات الكتابة المبكرة في هذه المجالات.
المقارنة بالمعايير الموجودة: بخلاف المعايير الحالية التي تعتمد على البناء اليدوي أو المحكمين من النماذج اللغوية الكبيرة، يوفر MANTRA تقييماً حتمياً على مستوى الأثر، وهو ما يتوسع ليشمل مستندات ضخمة وغير منظمة ومجالات جديدة بجهد بشري ضئيل.

الأهمية والادعاءات

يزعم البحث أن MANTRA يثبت جدوى الجمع بين توليد المعايير المؤتمت وطرق التحقق المثبتة رسمياً لإنشاء معايير قابلة للتوسع وموثوقة للنماذج اللغوية الكبيرة التي تستخدم الأدوات.

الموثوقية: من خلال استخدام حلول SMT للتحقق المتبادل من الفحوصات مقابل نموذج العالم، يضمن MANTRA خلو المعايير من التناقضات المنطقية التي قد تنجم عن هلوسة النماذج اللغوية الكبيرة، مما يوفر درجة أعلى من الثقة في نتائج التقييم مقارنة بنهج "النموذج اللغوي كمحكم".
القابلية للتوسع: يعالج الإطار مشكلة التوسع في بناء المعايير اليدوي، مما يسم يسمح بتقييم الوكلاء مقابل أدلة إجرائية معقدة (تصل إلى 50+ صفحة) عبر مجالات عشوائية.
القدرة على التصحيح (Debugging): تتيح فحوصات مستوى الأثر التفصيلية للباحثين تجاوز مقايثات النجاح والفشل البسيطة لفهم الفشل الهيكلي في تفكير الوكيل، مثل الميل لتخطي عمليات البحث المسبقة.

يضع المؤلفون MANTRA ليس كضمانة مستقلة للسلوك الآمن، بل كمكون حاسم لتطوير أنظمة ذكاء اصطنا more موثوقية في البيئات الحساسة للامتثال، مما يسد الفجوة بين تعلم الآلة والتحقق الرسمي.