NL2SHACL-Bench: A Benchmark Suite for Natural Language to SHACL Translation
تقدم هذه الورقة البحثية NL2SHACL-Bench، وهي مجموعة معايير مرجعية مبتكرة مصممة لتقييم ترجمة متطلبات اللغة الطبيعية إلى أشكال SHACL، والتي كشفت أنه بينما تستطيع النماذج اللغوية الكبيرة الحالية توليد صيغ SHACL صحيحة نحوياً، إلا أنها لا تزال تواجه صعوبة في إنتاج قيود مكافئة دلالياً للأنماط المنطقية والهيكلية المعقدة.
تخيل الإنترنت كمكتبة ضخمة وفوضوية حيث يتم تخزين كل كتاب وصورة وحقيقة على هيئة بطاقة صغيرة مترابطة. يُطلق على هذا اسم "رسم بياني للمعرفة" (Knowledge Graph). لكن المكتبات تحتاج إلى قواعد للحفاظ على تنظيمها؛ وإلا فقد تجد وصفة لتحضير الحساء مدرجة تحت فئة "محركات السيارات" أو تاريخ اجتماع لم يحدث بعد. وللحفاظ على ترتيب هذه المكتبات الرقمية، يستخدم علماء الحاسوب مجموعة خاصة من القواعد تسمى SHACL. فكر في SHACL كأمين مكتبة صارم يفحص كل بطاقة ليتأكد من أنها تناسب الفئة الصحيحة وتتبع التنسيق الصحيح.
ومع ذلك، فإن كتابة هذه القواعد أمر صعب للغاية؛ فهو يتطلب معرفة بكل من الموضوع الواقعي الفعلي (مثل الكيمياء أو الرعاية الصحية) واللغة التقنية المعقدة لقواعد الحاسوب. معظم الخبراء يعرفون مجالهم ولكنهم لا يتحدثون لغة "أمين المكتبة الرقمي". وهذا يخلق عنق زجاجة: لدينا كل هذه البيانات، لكن لا يمكننا بسهولة إخبار الحاسوب بما يجب التحقق منه. السؤال الكبير هو: هل يمكننا فقط إخبار الحاسوب، بلغة إنجليزية بسيطة، ما يجب أن تكون عليه القواعد، وجعل الحاسوب يكتب الكود لنا؟ هذا هو تحدي تحويل "اللغة الطبيعية" إلى "SHACL".
هنا يأتي دور NL2SHACL-Bench، وهي مجموعة أدوات جديدة ابتكرها باحثون في جامعة ميونيخ التقنية لاختبار ما إذا كان الذكاء الاصطناعي الحديث يمكنه حل هذه المشكلة. فكر في هذه الورقة البحثية كـ "اختبار رخصة القيادة" للذكاء الاصطناعي في عالم قواعد البيانات. لقد بنى الباحثون امتحاناً تجريبياً ضخماً يحتوي على 240 سيناريو مختلفاً، تتراوح من البيانات الكيميائية إلى الفواتير الحكومية. وقد طلبوا من أربعة من أذكى نماذج الذكاء الاصطناعي المتاحة اليوم قراءة وصف باللغة الإنجليزية لقاعدة ما، وكتابة كود SHACL المقابل لها.
جاءت النتائج مزيجاً من "الذهول" و"ليس تماماً بعد". تجد الورقة أن نماذج الذكاء الاصطناعي هذه جيدة بشكل مدهش في الأساسيات؛ إذ يمكنها دائماً تقريباً كتابة كود يبدو صحيحاً ويتبع قواعد النحو الخاصة باللغة (مثل طالب يعرف كيفية التهجئة واستخدام علامات الترقيم). في الواقع، حصل أحد النماذج على درجة كاملة في هذه الفحوصات الأساسية. ومع ذلك، عندما أصبحت القواعد معقدة — مثل التعامل مع منطق "إذا حدث هذا، فافعل ذاك" أو مسارات محددة عبر البيانات — بدأ الذكاء الاصطناعي في التعثر. فغالباً ما كتب كوداً يبدو صحيحاً ولكنه يعني شيئاً مختلفاً في الواقع، أو اخترع قواعد جديدة وهمية غير موجودة في اللغة الرسمية.
خلص الباحثون إلى أنه بينما أصبح الذكاء الاصطناعي جاهزاً ليكون مساعداً مفيداً للمهام البسيطة، إلا أنه ليس جاهزاً تماماً ليحل محل الخبراء البشريين في عمليات التحقق المعقدة من البيانات بعد. لا تدعي الورقة أن المشكلة قد حُلت؛ بل إنها توفر أول طريقة معيارية لقياس مكان فشل الذكاء الاصطناعي بدقة، حتى يتمكن المطورون من بناء أدوات أفضل في المستقبل. إنها خطوة حاسمة نحو مستقبل يمكن فيه لأي شخص وصف قواعد بياناته باللغة الإنجليزية، ويتولى الحاسوب الباقي، ولكن في الوقت الحالي، لا نزال بحاجة إلى مراجعة واجبات الذكاء الاصطناعي المنزلية للتأكد من صحتها.
ملخص تقني: NL2SHACL-Bench
بيان المشكلة تُعد لغة أشكال القيود (SHACL) معيارًا من معايب W3C للتحقق من صحة الرسوم البيانية للمعرفة (KGs) بتنسيق RDF، مما يضمن جودة البيانات واتساقها. ومع ذلك، فإن تأليف أشكال SHACL يتطلب خبرة في كل من المجال التطبيقي وتقنيات الويب الدلالي، وهو عائق يفتقر إليه معظم خبراء المجال. وبينما يتم التعبير عن القيود غالبًا في البداية باللغة الطبيعية من قبل الخبراء ويتم ترجمتها يدويًا إلى SHACL، فإن هذه العملية تستغرق وقتًا طويلاً وعرضة للأخطاء. ورغم أن النماذج اللغوية الكبيرة (LLMs) توفر حلاً محتملاً لأتمتة عملية الترجمة من اللغة الطبيعية إلى SHACL (NL2SHACL)، إلا أن هذه المهمة لم تُدرس بشكل منهجي. تفتقر الموارد الحالية إلى الأوصاف المتوافقة باللغة الطبيعية، وتعتمد طرق التقييم الحالية على مقارنة النصوص (string comparison)، وهو أمر غير كافٍ لأن الأشكال المتكافئة دلاليًا قد تختلف بشكل كبير في التسلسل الهيكلي (serialization) وبنية الرسم البياني. وبناءً على ذلك، لا يوجد معيار مخصص، أو مجموعة بيانات موحدة، أو منهجية تقييم لـ NL2SHACL.
المنهجية لمعالجة هذه الفجوات، يقدم المؤلفون NL2SHACL-Bench، وهو مجموعة معيارية شاملة تتكون من ثلاثة مكونات أساسية:
إطار عمل NL2SHACL-Framework: مسار عمل (pipeline) بلغة بايثون، نمطي وقابل للتوسيع، لبناء مجموعات البيانات والتقييم.
بناء مجموعة البيانات: عملية شبه مؤتمتة تستخرج أجزاء الأشكال من رسوم SHACL المرجعية، وتتحقق من اكتمالها الهيكلي، وتولد أوصافًا باللغة الطبيعية. وفي الحالات التي تغيب فيها حقول sh:description أو تكون غير كافية، يتم توجيه النماذج اللغوية الكبيرة لإنشاء مسودات بناءً على الشكل والأنطولوجيا، والتي تخضع بعد ذلك لمراجعة وتصحيح صارم من قبل مدققين بشريين لضمان الدقة وإزالة الصياغات "النموذجية للنماذج اللغوية".
الترجمة: وحدة مستقلة عن نوع النموذج، تقبل وصفًا باللغة الطبيعية ومقتطفًا من الأنطولوجيا لإنتاج رسم بياني لـ SHACL مترجم.
التقييم: وحدة تطبق مجموعة من المقاييس لتقييم الأشكال المولدة.
مجموعة بيانات NL2SHACL-Dataset: مجموعة منسقة تضم 240 زوجًا (لغة طبيعية–SHACL) تم التحقق منها يدويًا عبر ست مجموعات فرعية تغطي خمسة مجالات محددة (CHEMROF، DCAT، ePO، Invoice، SNIK) ومجالًا عامًا واحدًا (DBpedia). تتضمن كل نقطة بيانات شكلًا مرجعيًا (S∗)، ووصفًا باللغة الطبيعية (T∗)، ومقتطفًا من الأنطولوجيا (Oi) يحتوي على المفردات ذات الصلة. تغطي مجموعة البيانات 21 من أصل 33 مكونًا من مكونات قيود SHACL الأساسية.
مقاييس NL2SHACL-Metrics: مجموعة من ثمانية مقاييس مصممة لتقييم الجودة عبر ثلاثة أبعاد:
الصلاحية (Validity): مسار متعدد الطبقات يتحقق من تحليل RDF، والامتثال لمواصفات SHACL، وصحة المفردات (لاكتشاف المحسنات غير القياسية مثل sh:if).
الهيكل (Structure): مقاييس تقيس التشابه على مستوى الرسم البياني، بما في ذلك المطابقة التامة (Exact Matching) (الهوية الهيكلية بعد التوحيد القياسي) والمطابقة الجزئية (Partial Matching) (القائمة على درجة F1-score بناءً على تداخل الثلاثيات/triples).
الدلالة (Semantics): معدل التكافؤ الدلالي (SER)، والذي يقيم ما إذا كان الشكل المولد يفرض نفس القيود التي يفرضها المرجع. ويتم تحقيق ذلك من خلال توليد رسوم بيانية لبيانات RDF اصطناعية باستخدام الشكل المرجعي كمخطط (schema)، ومقارنة مجموعات العقد المنتهكة بين الشكل المرجعي والشكل المولد.
المساهمات الرئيسية
أول معيار: تقديم NL2SHACL-Bench، وهو أول معيار مصمم خصيصًا للترجمة من اللغة الطبيعية إلى SHACL.
إطار عمل قابل للتوسيع: اقتراح مسار عمل موحد لبناء مجموعات البيانات وتقييم أنظمة الترجمة.
مجموعة بيانات متعددة المجالات: بناء مجموعة بيانات بأوصاف تم التحقق منها بشريًا وتعليقات توضيحية للأنطولوجيا، تغطي أنماط قيود متنوعة من التعددية البسيطة إلى القواعد المنطقية المعقدة.
مقاييس التقييم: تصميم مقاييس تتجاوز المقارنة الهيكلية لتلتقط التكافؤ الدلالي من خلال سلوك التحقق.
النتائج التجريبية قام المؤلفون بتقييم أربعة من أقوى النماذج اللغوية الكبيرة (Claude Opus 4.7، وGemini 3.1 Pro، وQwen3.5، وGLM 5.1) باستخدام المعيار.
الصلاحية: أظهرت جميع النماذج قدرة عالية في توليد SHACL صالح نحويًا. حقق Gemini 3.1 Pro درجات كاملة في جميع مقاييس الصلاحية. أظهرت النماذج الأخرى مشكلات طفيفة مثل فقدان البادئات (prefixes)، أو القيم الحرفية المشوهة، أو المفردات غير القياسية المبتدعة (مثل استبدال sh:or/sh:not بتركيبات مخترعة مثل sh:condition).
الهيكل: تفاوتت الدرجات الهيكلية (المطابقة التامة والمطابقة الجزئية) بشكل كبير حسب مجموعة البيانات. واجهت النماذج صعوبة في إعادة إنتاج التنظيم الهيكلي المحدد للأشكال المرجعية المعقدة والمترابطة (مثل DCAT وePO)، حيث كانت تولد غالبًا أشكالًا ذات عقدة واحدة مع قيود متداخلة بدلاً من ذلك.
الدلالة: كانت معدلات التكافؤ الدلالي (SER) مرتفعة عمومًا في مجموعات البيانات ذات القيود البسيطة (DBpedia، ePO، DCAT، CHEMROF)، حيث اقتربت غالبًا من 100%. ومع ذلك، انخفض الأداء بشكل كبير في مجموعات البيانات ذات الأنماط المنطقية المعقدة (Invoice، SNIK)، حيث كان حوالي نصف السجلات فقط مكافئة دلاليًا.
أنماط الخطأ: تمثلت أوجه الفشل الرئيسية في قيود المسارات المعقدة (المسارات العكسية والمتسلسلة)، والقيود المنطقية التي تتضمن sh:or وsh:not، والاستبدالات الدلالية (مثل استخدام sh:class بدلاً من sh:hasValue).
الأهمية والادعاءات يزعم البحث أن NL2SHACL-Bench يوفر أساسًا ذا معنى لقياس التقدم في حالة الفن (state of the art) لترجمة NL2SHACL. وتشير النتائج إلى أنه بينما تمتلك النماذج اللغوية الكبيرة الحالية قدرة عالية على توليد SHACL صالح نحويًا، إلا أنها لا تزال تواجه صعوبة في إنتاج قيود مكافئة دلاليًا للأنماط المنطقية والهيكلية المعقدة. ويؤكد المؤلفون على ضرورة عدم معاملة المقاييس الهيكلية كبدائل للصحة الدلالية؛ إذ يمكن أن يكون الشكل مختلفًا هيكليًا ومع ذلك مكافئًا دلاليًا. يسلط المعيار الضوء على مجالات محددة تفشل فيها النماذج اللغية الكبيرة، لا سيما في التعامل مع المسارات العكسية والنفي، مما يشير إلى أن التحسينات المستقبلية يجب أن تركز على هذه الأنماط المنطقية المعقدة بدلاً من مجرد الصلاحية النحوية. كما يشير المؤلفون أيضًا إلى القيود، مثل الطبيعة القائمة على أخذ العينات للمقياس الدلالي، والتي قد تغفل أخطاء التكافؤ إذا لم تؤدِ البيانات المختارة إلى إطلاق القيد المحدد.