🤖 AI

DIALEVAL: Automated Type-Theoretic Evaluation of LLM Instruction Following

تقدم الورقة البحثية DIALEVAL، وهو إطار عمل قائم على نظرية الأنواع يستخدم وكلاء نماذج لغوية كبيرة (LLM) مزدوجين لتفكيك التعليمات تلقائياً إلى محمولات نمطية ذات دلالات استيفاء متمايزة، مما يحقق دقة أعلى بكثير ومواءمة أقوى مع التقدير البشري مقارنة بالنماذج المرجعية الحالية، لا سيما في سياقات المحادثات المعقدة ومتعددة الأدوار.

المؤلفون الأصليون: Nardine Basta, Dali Kaafar

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nardine Basta, Dali Kaafar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم صارم يصحح واجبات طالب. يجب على الطالب اتباع مجموعة محددة للغاية من القواعد: "اكتب قصة عن قطة، ولكن يجب أن تكون مكونة من 50 كلمة بالضبط، وتستخدم نبرة حزينة، وتتضمن الرقم 42".

في الماضي، كان التحقق مما إذا كان الطالب قد اتبع هذه القواعد كابوساً. كان عليك قراءة كل قصة، وعد الكلمات، والتحقق من النبرة، والمجادلة مع معلمين آخرين حول ما إذا كانت عبارة "50 كلمة" تعني "50 كلمة بالضبط" أو "حوالي 50 كلمة". أحياناً، كنت تخطئ لأنك كنت متعباً أو لأن القواعد كانت غامضة للغاية.

DIALEVAL يشبه توظيف اثنين من مساعديك الآليين الأذكياء والمتخصصين للقيام بهذا التصحيح، ولكن مع لمسة خاصة؛ فهما لا يقرآن القصة فحسب، بل يفهمان نوع القاعدة التي تم خرقها أو اتباعها.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. فريق الروبوت المكون من اثنين

بدلاً من روبوت واحد يحاول القيام بكل شيء، يستخدم DIALEVAL فريقاً من عميلين:

روبوت التفكيك (المحلل): يقرأ هذا الروبوت تعليمات المعلم ويقسمها إلى قطع صغيرة سهلة الهضم. إنه يشبه أخذ وصفة معقدة وإدراج كل مكون وخطوة فيها بشكل منفصل.
- مثال: إذا كانت التعليمات هي "اكتب قصة حزينة عن قطة في 50 كلمة بالضبط"، فسيقوم هذا الروبوت بتجزئتها إلى:
  1. المحتوى: يجب أن تكون عن قطة.
  2. الأسلوب: يجب أن يكون حزيناً.
  3. التنسيق: يجب أن تكون 50 كلمة بالضبط.
- والأهم من ذلك، أنه يتأكد من عدم تداخل هذه الخطوات؛ فهو يعاملها كمهام مستقلة.
روبوت التصحيح (المقيم): يأخذ هذا الروبوت قصة الطالب ويتحقق منها مقابل القائمة. ولكن السحر يكمن في أن: هذا الروبوت يصحح بشكل مختلف اعتماداً على نوع القاعدة.
- بالنسبة لـ "المحتوى" (القطة): هو مرن. إذا كانت القصة عن "حيوان فصيلة السنوريات" بدلاً من "قطة"، أو إذا كانت القطة "تخرخر" بدلاً من "تموء"، فسيقول الروبوت: "قريب بما يكفي! هذه هي نفس الفكرة". إنه يفهم الفروق الدقيقة في اللغة البشرية.
- بالنسبة لـ "الأرقام" (الـ 50 كلمة): هو مثل الصقر. إذا كانت القصة 49 كلمة أو 51 كلمة، فسيرسب الطالب فوراً. لا مجال لـ "قريب بما يكفي" هنا.
- بالنسبة لـ "الأسلوب" (الحزن): ينظر إلى الحالة المزاجية العامة، مثل ناقد موسيقي يقيم "جو" أغنية ما.

2. لماذا يعد هذا أمراً هاماً؟

قبل DIALEVAL، كانت أنظمة التصحيح الآلي تشبه المطرقة الثلمة. كانت تستخدم نفس القواعد الصارمة لكل شيء.

كانت ستفشل قصة عن قطة لمجرد أنها استخدمت كلمة "سنوريات" (صارمة جداً فيما يخص المحتوى).
وقد تقبل قصة طولها 100 كلمة لأنها لم تتحقق من الحساب (متساهلة جداً فيما يخص الأرقام).

DIALVEAL يشبه نموذج تصحيح مخصص. فهو يعرف أن البشر مرنون مع الكلمات ولكنهم صارمون مع الرياضيات. ومن خلال محاكاة كيفية تفكير البشر الحقيقيين، فإنه يرتكب أخطاء أقل بكثير. في الاختبارات، حقق الدرجة الصحيحة بنسبة 90%، بينما حققت الطرق القديمة الدرجة الصحيحة بنسبة 87% فقط. قد لا يبدو هذا فرقاً كبيراً، ولكن في عالم الذكاء الاصطناي، تعد هذه قفزة هائلة.

3. تحدي "المحادثة"

معظم اختبارات الذكاء الاصطناعي تنظر فقط إلى سؤال واحد وإجابة واحدة (مثل مسألة رياضية واحدة). لكن الحياة الواقعية هي محادثة. قد تقول: "أخبرني نكتة"، فيخبرك الذكاء الاصطناعي بنكتة. ثم تقول: "اجعلها أقصر"، فيقوم الذكاء الاصطناعي بتقصيرها.

DIALEVAL مميز لأنه يمكنه تذكر المحادثة بأكملها. فهو لا ينظر فقط إلى الجملة الأخيرة؛ بل ينظر إلى تاريخ المحادثة.

تشبيه: تخيل لعب لعبة "الهاتف المكسور" حيث تتغير القواعد في كل دور. DIALEVAL هو الحكم الذي يتذكر القواعد الأصلية والقواعد الجديدة أيضاً، مما يضمن أن اللاعب لا يزال يتبع قواعد اللعبة، حتى بعد 20 دوراً من الدردشة.

4. ماذا اكتشفوا؟

عندما استخدموا DIALEVAL لاختبار نماذج ذكاء اصطناعي مختلفة (مثل GPT-4، Mixtral، إلخ) في هذه المحادثات الطويلة، وجدوا بعض نقاط الضعف المضحكة:

صراع "عدد الكلمات": حتى أذكى أنظمة الذكاء الاصطناعي تواجه أحياناً صعوبة في إصابة عدد كلمات محدد بالضبط. الأمر يشبه محاولة إصابة هدف في منتصف اللوحة وأنت معصوب العينين.
فجوة "المحتوى": الذكاء الاصطناعي بارع في أن يبدو مهذباً (الأسلوب) ومنطقياً (المنطق)، ولكنه غالباً ما يخطئ في الحقائق أو التفاصيل الفعلية (المحتوى) عندما تصبح المحادثة طويلة. إنه يشبه قصاصاً رائعاً يستمر في نسيان اسم الشخصية الرئيسية.

الخلاصة

DIALEVAL هو طريقة جديدة لاختبار الذكاء الاصطناعي تعامل التعليمات كقائمة مراجعة لأنواع مختلفة من القواعد. فهو يعرف متى يكون متساهلاً (مع الكلمات) ومتى يكون صارماً (مع الأرقام). إنه يعمل كمعلم خارق لا يتعب أبداً، ولا ينسى القواعد أبداً، ويفهم الفرق بين "السنوريات" و"القطة"، ولكنه يعرف أن "50 كلمة" يجب أن تعني 50 كلمة بالضبط.

يساعد هذا المطورين على بناء برامج دردشة آلية أفضل تستمع إلينا حقاً، وتتبع أوامرنا المعقدة، وتتذكر ما تحدثنا عنه قبل خمس دقائق.

إليك ملخص تقني مفصل لورقة البحث بعنوان "DIALEVAL: التقييم الآلي لاتباع التعليمات القائم على نظرية الأنواع (Type-Theoretic)."

1. بيان المشكلة

تواجه الطرق الحالية لتقييم النماذج اللغوية الكبيرة (LLMs) في اتباع التعليمات ثلاث عوائق حرجة:

القابلية للتوسع والاتساق: التوصيف اليدوي للمتطلبات الذرية بطيء، ومكلف، ويعاني من تباين عالٍ بين المقيّمين (غالباً ما يتجاوز 20%).
معايير التقييم الموحدة: تطبق أطر العمل المؤتمتة الحالية مجموعة واحدة من قواعد التقييم على جميع أنواع التعليمات. وهذا لا يتوافق مع الحكم البشري، الذي يعامل القيود المختلفة بشكل متفاوت (على سبيل المثال: قبول إعادة الصياغة الدلالية لمحتوى معين، بينما يتطلب دقة تامة للقيود الرقمية).
محدودية الدور الواحد (Single-Turn): تعمل معظم طرق التقييم على استجابات الدور الواحد، مما يفشل في تقييم الالتزام بالتعليمات عبر تاريخ المحادثات متعددة الأدوار والارتباطات بينها.

تعيق هذه العوائق النشر المنهجي للنماذج اللغوية الكبيرة في أنظمة الحوار الحرجة (مثل خدمة العملاء، والمساعدات الموجهة للمهام).

2. المنهجية: إطار عمل DIALEVAL

يعيد DIALEVAL صياغة تقييم اتباع التعليمات كمسألة إرضاء محمولات قائم على نظرية الأنواع (type-theoretic predicate satisfaction) باستخدام بنية عملاء مزدوجة (تم تنفيذها باستخدام Claude-3.5-Sonnet).

أ. الأساس النظري

يصيغ الإطار سياق التقييم كـ $D = (I, U)$ ، حيث $I$ هي التعليمات و $U$ هي مجموعة من عبارات الاستجابة. يتم تفكيك التعليمات إلى مجموعة من المحمولات المحددة بالأنواع $D(I) = \{(\tau_i, \phi_i)\}$ ، حيث $\tau_i$ هو نوع المحمول و $\phi_i$ هو معيار الإرضاء.

أنواع المحمولات (Predicate Types): يصنف النظام المتطلبات إلى خمسة أنواع متميزة: المحتوى (Content)، التنسيق (Format)، الأسلوب (Style)، المنطق (Logical)، والرقمي (Numerical).
دلالات تعتمد على النوع: الإرضاء ليس ثنائياً بشكل عام؛ بل يتم تعريفه من خلال دلالات خاصة بكل نوع ( $u \models_\tau \phi$ $u ⊨_{τ} ϕ$ ):
- المحتوى: التكافؤ الدلالي (يُسمح بالصياغة المرنة).
- الرقمي: الدقة الصارمة (يتطلب مطابقة تامة؛ لا يُقبل التقريب).
- التنسيق/الأسلوب/المنطق: معايير هيكلية أو شمولية محددة.

ب. بنية العملاء المزدوجة

يعمل النظام في مرحلتين متتاليتين:

عميل تحليل التعليمات ( $A_E$ ):
- المهمة: تفكيك التعليمات الخام $I$ إلى محمولات ذرية محددة النوع.
- القيود: يفرض الذرية الدلالية (Semantic Atomicity) (كل محمول هو مهمة غير قابلة للتجزئة) والاستقلال التشغيلي (Operational Independence) (المحمولات لا تحقق بعضها البعض ضمنياً).
- المخرج: قائمة JSON مهيكلة من المحمولات المحددة بالأنواع.
عميل التقييم ( $A_S$ ):
- المهمة: تقييم استجابة النموذج $u$ مقابل المحمولات المستخرجة.
- الآلية: يستخدم قوالب مطالبات (prompts) خاصة بكل نوع ( $\pi_{\tau}$ ) لتطبيق الدلالات الصحيحة للتقييم (على سبيل المثال: المطابقة المتساهلة للمحتوى، والتحقق الصارم للأرقام).
- المخرج: أحكام إرضاء ثنائية ( $\top/\bot$ ) مع أدلة نصية.

ج. التسجيل وتوسيع الحوار

درجة مستوى العبارة (UIFS): تُحسب كنسبة المحمولات التي تم تحقيقها: $UIFS = |S_j| / |D(I)|$ .
توسيع الحوار: بالنسبة للمحادثات متعددة الأدوار، يدمج إطار العمل دوال إرضاء مدركة للسياق التاريخي. يتلقى كلا العميلين توجيهات للنظر في ديناميكيات المحادثة، السياق، والاعتمادات بين الأدوار. يقوم درجة مستوى الحوار (DIFS) بتجميع درجات UIFS عبر المحادثة.

3. المساهمات الرئيسية

إطار عمل آلي قائم على نظرية الأنواع: أول إطار عمل يصيغ اتباع التعليمات كمجموعة من المحمولات المحددة بالأنواع مع علاقات إرضاء تعتمد على النوع، مما يلغي الحاجة إلى التوصيف اليدوي.
دلالات تقييم محددة بالنوع: يقدم معايير متمايزة (مثل التكافؤ الدلالي مقابل الدقة التامة) تحاكي أنماط التقييم البشري التجريبية، مما يقلل من الأخطاء المنهجية الناتجة عن التقييم الموحد.
تقييم الحوار المدرك للسياق: يوسع تقييم اتباع التعليمات ليشمل الحوارات متعددة الأدوار، مما يسمح بتقييم الالتزام بالتعليمات في سياقات المحادثة حيث تفشل طرق الدور الواحد.

4. النتائج التجريبية

تم التحقق من صحة الإطار مقابل التوصيفات البشرية على مجموعة بيانات INFOBENCH وتم تطبيقه على مجموعة بيانات الحوار متعدد الأدوار BotWars.

أ. التحقق مقابل الحكم البشري (الدور الواحد)

الدقة: حقق DIALEVAL دقة بنسبة 90.38% مقارنة بالتصويت بالأغلبية البشرية، متفوقاً على مقيم INFOBENCH المعتمد على GPT (86.92%). ويمثل هذا انخفاضاً في الخطأ بنسبة 26.45%.
التعليمات المعقدة: اتسعت فجوة الأداء في المجموعات "الصعبة" (التعليمات المعقدة)، حيث سجل DIALEVAL نسبة 89.52% مقابل 84.34% للنموذج المرجعي.
الارتباط: أظهر DIALEVAL ارتباطاً أقوى بكثير مع الحكم البشري للتعليمات المعقدة (معامل بيرسون $r = 0.6517$ ) مقارم بالنموذج المرجعي ( $r = 0.2612$ ).
تحليل الخطأ: أظهر DIALEVAL توزيعاً أكثر توازناً للأخطاء وحالات إيجابية كاذبة أقل. تركزت الخلافات مع البشر بشكل أساسي في "الحالات الحدية" حيث اختلف الموصِّفون البشريون أنفسهم، مما يشير إلى أن DIALEVAL يلتقط الغموض الحقيقي.

ب. تحليل الحوار متعدد الأدوار

طُبق على GPT-3، GPT-4، DeepSeek، و Mixtral:

ضعف المحتوى الشامل: عانت جميع النماذج مع محمولات المحتوى (درجات إرضاء 0.19–0.44)، رغم الأداء القوي في محمولات الأسلوب والمنطق (>0.86). يشير هذا إلى وجود قصور جوهري في توليد المحتوى الشرطي تحت قيود متعددة في وقت واحد.
الأنماط الهيكلية:
- Mixtral: أظهر ضعفاً محدداً في إرضاء التنسيق (0.40) مقارنة بالآخرين (0.91–0.95)، ويرجع ذلك على الأرجح إلى توجيه "خليط الخبراء" (Mixture-of-Experts) الخاص به.
- الدقة الرقمية: برع GPT-4 و DeepSeek في القيود الرقمية الصارمة، بينما عانى Mixtral.
مبادرة الحوار: لوحظ قصور مستمر في "مبادرة الحوار" (مثل بدء المحادثة)، حيث لم يؤدِ رفع حجم بارامترات النموذج (من GPT-3 إلى GPT-4) إلى تحسينات تذكر.

5. الأهمية

يوفر DIALEVAL طريقة صارمة، مؤتمتة، وقابلة للتوسع لتقييم النماذج اللغوية الكبيرة تتوافق بشكل وثيق مع الأنماط المعرفية البشرية. ومن خلال التمييز بين أنواع القيود المختلفة، يكشف الإطار عن الثغرات الهيكلية (مثل صعوبة الحفاظ على دقة المحتوى أثناء الالتزام بقيود الأسلوب/التنسيق) التي تغفلها طرق التقييم الموحدة. ويعد الإطار مهماً بشكل خاص لتطوير أنظمة حوار قوية، كونه الأول الذي يقيم اتباع التعليمات بشكل منهجي في التفاعلات متعددة الأدوار والمعتمدة على السياق.