ملخص تقني: SKG-Eval

بيان المشكلة

يمثل تقييم أنظمة الحوار متعددة الأدوار تحديًا جوهريًا: جودة الاستجابة هي بطبيعتها حالة مرتبطة بالزمن والحالة (stateful and temporal). قد تبدو الاستجابة سلسة وذات صلة محليًا، لكنها قد تفشل عالميًا عبر التناقض مع الالتزامات السابقة، أو الانحراف عن قصد المستخدم الأصلي، أو النسيان الصامت للقيود المحددة. تعاني نماذج التقييم الآلي الحالية، بما في ذلك بروتوكولات LLM-as-a-judge (النماذج اللغوية الكبيرة كحكم) والمقاييس القائمة على التضمين (embeddings)، من كونها تعمل بشكل أساسي على تمثيلات مسطحة أو معزولة لكل دور حواري. وبناءً على ذلك، فإنها تجد صعوبة في اكتشاف أنماط الفشل عبر الأدوار، مثل التناقض، وانحراف الموضوع، وعدم اتساق الكيانات، لا سيما مع نمو المحادثات لتتجاوز بضع أدوار. علاوة على ذلك، تعاني الأحكام المستندة إلى النماذج اللغوية الكبيرة من عدم الحتمية، وضعف أنماط الانتباه عبر السجلات الطويلة، وضعف الاستدعاء (recall) فيما يتعلق بالتعارضات التي تعتمد على إعادة الصياغة أو التعارضات الرقمية.

المنهجية: SKG-Eval

يقترح المؤلفون SKG-Eval، وهو إطار عمل للتقييم شبه حتمي وقابل للتفسير، يقوم بنمذجة الحوار كـ رسم بياني للمعرفة الدلالية (SKG) متطور. بدلاً من تسجيل درجة الاستجابة مقابل بادئة نصية مسطحة، يقوم SKG-Eval بتحديث رسم بياني مهيكل للكيانات، والعلاقات، والالتزامات الحوارية بشكل تراكمي عند كل دور. يقوم إطار العمل بحساب ثلاث إشارات متكاملة يتم دمجها وتجميعها لإنتاج درجة على مستوى الجلسة.

1. الرسم البياني للمعرفة الدلالية التراكمي (SKG)

التمثيل الأساسي للحالة هو رسم بياني متعدد الاتجاهات $G_t = (V_t, E_t)$ يتم تحديثه عند كل دور $t$.

• العقد (Nodes): تمثل الكيانات مع سمات تشمل التسميات المعيارية، وأنواع الكيانات (مثل: شخص، كائن)، والتضمينات (embeddings)، ودرجات الأهمية.
• الحواف (Edges): تمثل الادعاءات الواقعية مع بيانات وصفية نوعية (علاقة، سمة، قصد، نوع الخاصية).
• آلية التحديث: يتم استخراج الثلاثيات (triples) الجديدة عبر استدعاء حتمي للنموذج اللغوي الكبير (LLM). يقوم الرسم البياني بإجراء عملية إلغاء تكرار عبر الأدوار (دمج العقد ذات التشابه العالي في التضمين) ويضيف حوافًا دلالية بين العقد الجديدة والقائمة بناءً على القرب الدلالي.

2. التقييم المكون من ثلاثة عناصر

في كل دور، يتم حساب ثلاث درجات:

• الصلة المحلية ($S^{\text{loc}}_t$): تقيس مدى التوافق مع المطالبة (prompt) الحالية والمرجع الاختياري. تستخدم نهج "المثلث الدلالي"، حيث تحسب أقصى تشابه جيب تمام (cosine similarity) بين جمل الاستجابة والمطالبة/المرجع، مع معالجة تكيفية للاستجابات القصيرة أو المراجع المفقودة.
• الاتساق التاريخي ($S^{\text{cons}}_t$): يحدد كيفية اتصال المعلومات الجديدة بالحالة السابقة. وهو يجمع بين:
  • درجة مرساة الرسم البياني (Graph Anchor Score): تُوزن حسب أهمية العقدة، وتقيس ما إذا كانت العقد الجديدة تتصل عبر حواف واقعية (الأقوى)، أو حواف دلالية، أو أنها منحرفة (معزولة).
  • مرساة الجلسة (Session Anchor): آلية احتياطية تستخدم تشابه الاستجابة الحالية مع تضمين الدور الأول لالتقاط الاستمرارية الموضوعية في جلسات الأسئلة والأجوبة حيث يكون الانفصال في الرسم البياني متوقعًا بنيويًا.
• التماسك المنطقي ($S^{\text{log}}_t$): هو الابتكار الرئيسي، ويتم حسابه بواسطة محرك التناقض الهندسي (Geometric Contradiction Engine). يكتشف هذا المحرك عدم الاتساق دون الاعتماد على نماذج الاستدلال الطبيعي (NLI) أو أحكام النماذج اللغوية الكبيرة للقيام بالاستدلال. فهو يقارن الحواف الحالية بالحواف التاريخية باستخدام سلسلة متتالية ذات أولوية من الكواشف:
  • الكواشف الرمزية (Symbolic Detectors): فحوصات عالية الدقة لقلبات النفي، والعلاقات المتضادة، وعدم التطابق الرقمي.
  • الكواشف الهندسية (Geometric Detectors): فحوصات لتناقضات الكائنات الحصرية والانحراف الدلالي باستخدام تشابه التضمينات.
  • التصفية الواعية بالمراجعة (Revision-Aware Filtering): تحدد صراحةً المراجعات المصرح بها من قبل المستخدم (مثل "غير ذلك إلى...") وتستبعدها من فحوصات التناقض لتجنب معاقبة التحديثات المشروعة.

3. الدمج والتجميع

• الدمج المتكيف مع النظام (Regime-Adaptive Fusion): يتم دمج الدرجات الثلاث عبر مجموع مرجح تعتمد أوزانه على نظام الاستجابة (قصيرة، أسئلة وأجوبة، أو عامة). تضمن البوابات المنطقية الصارمة عدم إمكانية حجب التناقضات المؤكدة بواسطة درجات الصلة العالية.
• التجميع على مستوى الجلسة: يتم اشتقاق درجة الجلسة النهائية $S(D)$ عبر انحدار مرجح بالحداثة (recency-weighted regression). يلتقط هذا كلاً من مستوى الجودة الحالي (المتوسط المرجح) والاتجاه الزمني (الميل)، مما يضمن أن تعكس الدرجة ما إذا كانت المحادثة تتدهور أو تتحسن بمرور الوقت، بشكل مستقل عن طول الجلسة.

المساهمات الرئيسية

1. تقييم الحوار عبر الحالة من خلال ذاكرة دلالية صريحة: صياغة التقييم كعملية استدلال على رسم بياني دلالي (SKG) متطور، مما يسمح بتحليل مهيكل للاعتمادات عبر الأدوار والاتساق بعيد المدى.
2. محرك التناقض الهندسي: إطار عمل حتمي وواعٍ بالمراجعة لاكتشاف عدم الاتساق من خلال المقارنة المهيكلة للعلاقات والكائنات، مما ينتج شهادات تناقض قابلة للتفسير دون نماذج NLI.
3. الاتساق التاريخي المرتكز على الرسم البياني: يقدم مقياسًا يقيم الاتصال الدلالي بالحالات السابقة، مدعومًا بآلية مرساة الجلسة للاستمرارية الموضوعية.
4. الصلة المحلية القوية: مقياس ثلاثي يأخذ في الاعتبار معًا التوافق مع المطالبة وتغطية المرجع مع توفير بدائل تكيفية.
5. الدمج المتكيف مع النظام وتحليل الاتجاه: استراتيجية وزن ديناميكية ومجمع انحدار مرجح بالحداثة يلتقط اتجاهات الجودة عبر المحادثات الطويلة.
6. القابلية للتفسير والحتمية شبه الكاملة: يوفر مسارات تدقيق صريحة (شهادات التناقض، المراسي الدلالية) ودرجات حتمية بمدخلات ثابتة، مما يتناقض مع عدم حتمية أحكام النماذج اللغوية الكبيرة.

النتائج التجريبية

قام المؤلفون بتقييم SKG-Eval على MT-Bench (أفق قصير) و MultiChallenge (أفق طويل)، مقارنةً بالنماذج المرجعية بما في ذلك ECoh، وLLM-Eval، وDeepEval، وإعدادات مختلفة من GPT-4o Judge.

• التوافق مع الأحكام البشرية: حقق SKG-Eval أعلى ارتباط مع التقييمات البشرية في كلا المعيارين. كانت المكاسب أكثر أهمية في MultiChallenge، حيث تفوق SKG-Eval على أفضل نموذج مرجعي لحكم يعتمد على تاريخ المحادثة (LLM judge) بمقدار +0.13 في ارتباط سبيرمان (Spearman correlation) لدرجات الجلسة.
• اكتشاف التناقض: في معيار تشخيصي محكوم (SKG-PROBE) يستهدف أنماط فشل محددة (النفي، المتضادات، عدم التطابق الرقمي، الانحراف)، حقق SKG-Eval متوسط F1 قدره 79.8%، متفوقًا بشكل كبير على أحكام النماذج اللغوية الكبيرة (60.4%) والنماذج المرجعية الأخرى. وقد أظهر قدرة استدعاء فائقة في اكتشاف الاستبدالات الرقمية والتناقضات المتضادة.
• الثبات تجاه الطول: بينما تدهورت أداء المقيمات المرجعية مع زيادة طول الجلسة، حافظ SK-Eval على أداء مستقر عبر جميع فئات الطول بفضل استرداد الادعاءات التاريخية المفهرسة في الرسم البياني.
• الكفاءة الحسابية: يعتبر SKG-Eval أقل تكلفة بكثير من نهج "النموذج اللغوي كحكم" (حوالي 0.71 مقابل 27.1 لكل 1,000 دور) وهو قابل لإعادة الإنتاج بالكامل (حتمي)، بينما تظهر أحكام النماذج اللغوية تباينًا عبر بذور التوليد (decoding seeds).

الأهمية والادعاءات

يجادل البحث بأن تتبع الحالة الخارجي عبر تمثيلات مهيكلة يعد بديلاً مبدئيًا للاستدلال الضمني المستخدم في مقيمات النماذج اللغوية الكبيرة لأنظمة الحوار طويلة الأمد.

• معالجة الفجوة: يسد SKG-Eval الفجوة في وجود مقيم يحافظ على حالة صريحة ومختومة زمنيًا للالتزامات الواقعية، ويكتشف التناقضات عبر الأدوار بشكل حتمي وقابل للتفسير، ويجمع الجودة بطريقة مستقلة عن الطول.
• القابلية للتفسير: على عكس الأحكام "الصندوق الأسود"، ينتج SKG-Eval شهادات تناقض تحدد صراحةً الحواف المتعارضة، ونوع الكاشف، والثقة، مما يتيح التقييم القابل للتدقيق وتنسيق البيانات.
• القابلية للتوسع: من خلال فصل تتبع الحالة عن آلية التسجيل، يمكن لإطار العمل التوسع ليشمل المحادثات الطويلة حيث يصبح تكرار المطالبات للنماذج اللغوية الكبيرة مكلفًا حسابيًا وعرضة لمحدودية نافذة السياق.
• القيود: يقر المؤلفون بأن إطار العمل يعتمد على جودة استخراج الثلاثيات الدلالية في المرحلة الأولية، وأنه مُحسّن بشكل أساسي لعدم الاتساق الدلالي الصريح وليس للتناقضات البراغماتية العميقة التي تتطلب معرفة خارجية بالعالم.

في الختام، يرى المؤلفون أن SKG-Eval يقدم طريقة قابلة للتوسع، وقابلة لإعادة الإنتاج، وقابلة للتفسير لتقييم اتساق وتماسك أنظمة الحوار متعددة الأدوار، خاصة في السيناريوهات التي يكون فيها الاتساق المنطقي بعيد المدى أمرًا بالغ الأهمية.