Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements

ملخص تقني: Ishigaki-IDS-Bench

بيان المشكلة
بينما أصبحت النماذج اللغوية الكبيرة (LLMs) قادرة بشكل متزايد على توليد مخرجات مهيكلة مثل JSON وSQL والبرمجيات، لا تزال الموارد العامة لتقييم التوليد الذي يجب أن يستوفي في آن واحد مخططات XML القياسية في الصناعة وقيود المفردات الخاصة بالمجال محدودة. في مجال الهندسة المعمارية والهندسة والإنشاءات (AEC)، يعتمد نمذجة معلومات البناء (BIM) على معيار الفئات الأساسية للصناعة (IFC) لتمثيل البيانات. ويعد مواصفات تسليم المعلومات (IDS) معيارًا قائمًا على XML يُستخدم لتحديد متطلبات المعلومات القابلة للقراءة آليًا لنماذج IFC هذه.

إن توليد IDS من المتطلبات الطبيعية أو قوائم التحقق الجدولية هو مهمة توليد مهيكلة مقيدة ومعقدة. فهي تتطلب ليس فقط الصلاحية النحوية، بل أيضًا:

1. المطابقة للمعيار: الالتزام بمخطط IDS والمعيار.
2. تخطيط المفردات: الربط الصحيح بين المصطلحات الطبيعية (مثل "الجدران") وفئات معيار IFC المحددة.
3. التعبير عن القيود: تعريف قيود القيم بدقة (مثل تصنيفات الحريق) ضمن وحدات التحقق من IDS.
4. التوافق الدلالي: ضمان أن يعكس ملف XML المولد قصد الوثيقة المدخلة دون غموض.

لا تعالج طرق التقييم الحالية لتوليد الهياكل العامة هذه الطبقات من التعقيد الخاصة بالمجال بشكل كافٍ، كما أنها لا توفر إطارًا لتحليل الإخفاقات بين الصلاحية الرسمية ودقة المحتوى.

المنهجية
يقدم البحث Ishigaki-IDS-Bench، وهو معيار اختبار مصمم لتقييم قدرة النماذج اللغوية الكبيرة على توليد ملفات IDS XML من متطلبات معلومات BIM.

• بناء مجموعة البيانات: تتكون مجموعة الاختبار من 166 مثالاً مستمدة من 83 سيناريو عملي، تم توسيعها باللغتين اليابانية والإنجليزية. تم تأليف هذه الأمثلة والتحقق منها من قبل خبراء في مجال BIM/IDS. وتتضمن مجموعة البيانات سياقات مدخلة (CSV أو لغة طبيعية)، وإصدارات IFC المستهدفة، وملفات IDS المقابلة "الذهبية".

  • تضمنت عملية البناء عصفًا ذهنيًا لحالات الاستخدام، وإنشاء يدوي للمدخلات والمخرجات الذهبية، ومراجعة الخبراء للتوافق الدلالي، والتحقق الرسمي باستخدام أداة تدقيق IDS (IDSAuditTool).
  • يتم توفير البيانات الوصفية لتنسيق المدخلات، واللغة، وإعداد الدورات (دورة واحدة مقابل دورات متعددة)، وإصدار IFC، ومجال البناء.
  • تركز مجموعة البيانات على ثلاثة جوانب أساسية: الكيان (أنواع عناصر IFC)، والسمة (حقول IFC الأساسية)، والخاصية (معلومات إضافية مع مجموعات الخصائص، والأسماء الأساسية، والقيم، وأنواع البيانات، والعدد).

• بروتوكول التقييم ثنائي المراحل:

  1. الصلاحية الرسمية (المرحلة 1): تستخدم IDSAuditTool لتقييم ما إذا كان المخرج المولد قابلًا للمعالجة ومتوافقًا مع المعايير. وهي تقدم ثلاثة مقاييس:
     • قابلية المعالجة: ما إذا كانت عملية التدقيق قد وصلت إلى حالة مكتملة (مقبول، خطأ في الهيكل، أو خطأ في المحتوى).
     • الهيكل: المطابقة لهيكل XML ومخطط IDS XSD.
     • المحتوى: المطابقة لمعيار IDS وقيود مفردات IFC.
  2. الاتفاق في المحتوى (المرحلة 2): يقوم مقيّم الجوانب (facet scorer) بمقارنة IDS المولد مقابل IDS الذهبي. يقوم بتطبيع مساحات الأسماء (namespaces)، والمسافات البيضاء، وحالة الأحرف، ثم يجري مطابقة تامة على كتل المقارنة (الامتثال/المتطلبات، أنواع الجوانب، والقيود). تقوم هذه المرحلة بحساب الدقة (Precision)، والاستدعاء (Recall)، وF1 الكلي (Macro F1)، مما يرصد حالات الفشل حيث يكون XML صالحًا ولكنه غير صحيح دلاليًا بالنسبة للمدخلات.

• تجارب الخط المرجعي (Baseline): قام المؤلفون بتقييم 10 نماذج لغوية كبيرة (بما في ذلك النماذج المملوكة المغلقة مثل GPT-5.5 والنماذج مفتوحة الأوزان مثل Qwen3 وKimi) في إعداد الصفر (zero-shot). تضمنت المطالبات تعليمات المهمة والمتطلبات المدخلة ولكن دون أمثلة قليلة (few-shot) أو مراجع IDS ذهبية.

المساهمات الرئيسية

1. مجموعة بيانات Ishigaki-IDS-Bench: معيار اختبار عالي الجودة، تم التحقق منه من قبل خبراء، يحتوي على 166 مثالاً مع ملفات IDS ذهبية وبيانات وصفية متعددة الأوجه، مما يعالج نقص الموارد العامة لتوليد XML المعياري في مجال AEC.
2. إطار تقييم ثنائي المراحل: بروتوكول يجمع بين فحوصات الصلاحية الرسمية (عبر IDSAuditTool) مع تسجيل الاتفاق في مستويات الجوانب، مما يسمح بتحليل دقيق لمواضع فشل التوليد (النحو مقابل الدلالة).
3. تحليل وخطوط مرجعية للصفر (Zero-Shot): تقييم شامل لـ 10 نماذج لغوية كبيرة، مما يوفر رؤية تشخيصية لقدرات النماذج الحالية وأنماط فشلها في توليد IDS.

النتائج
كشف تقييم 10 نماذج لغوية كبيرة عن تحديات كبيرة في استقرار توليد IDS:

• فجوة الأداء: حقق أفضل النماذج أداءً، وهو GPT-5.5، نسبة 65.6% في F1 الكلي للاتفاق في المحتوى، ولكن فقط 27.7% في معدل النجاح لتدقيق المحتوى (المطابقة لمعيار IDS ومفردات IFC).
• قابلية المعالجة مقابل المحتوى: أظهرت العديد من النماذج معدلات عالية في قابلية المعالجة (على سبيل المثال، 99.4% لـ Kimi K2.6) ولكن معدلات منخفضة في نجاح المحتوى، مما يشير إلى قدرتها على توليد XML قابل للمعالجة نحويًا ولكنها تعاني في الالتزام بالقيود الخاصة بالمجال.
• توسع النماذج: بين نماذج Qwen مفتوحة الأوزان، أدى زيادة حجم المعلمات إلى تحسين درجات F1 (من 20.2% لـ 8B إلى 26.8% لـ 397B) ولكنه لم يحسن بشكل كبير معدلات نجاح المحتوى (بقاءها بين 10.2% و19.3%)، مما يشير إلى أن الحجم وحده غير كافٍ لإتقان معايير المجال.
• تأثير المدخلات والإعدادات:
  • إعدادات الدورات المتعددة (تحديث IDS الحالي) حققت أداءً أعلى بكثير (84.8% F1 لـ GPT-5.5) مقارنة بالتوليد من دورة واحدة من الصفر (58.6% F1).
  • مدخلات CSV أدت إلى درجات F1 أعلى من مدخلات اللغة الطبيعية، ويرجع ذلك على الأرجب إلى الوضوح في ربط المتطلبات بالجوانب.
• أنماط الفشل: شملت الأخطاء الشائعة الانتهاكات الرسمية لقيود XSD/IFC، وأسماء مجموعات الخصائص غير الصحيحة، والغموض في ربط أهداف اللغة الطبيعية بقيود القيم.

الأهمية
يضع هذا البحث Ishigaki-IDS-Bench كمورد تشخيصي وليس كمجموعة بيانات ضخمة للتدريب. وتكمن أهميته في:

• تسليط الضوء على أن النماذج اللغوية الكبيرة الحالية يمكنها التعبير عن متطلبات المعلومات الجزئية كـ IDS ولكنها تكافح لتوليد مخرجات مستقرة تستوفي القيود الصارمة لمعيار IDS ومفردات IFC.
• توفير إطار للتقييم المقارن وتحليل الفشل الذي يمكن أن يوجه تطوير طرق التوليد المهيكلة المقيدة المتوافقة مع معايير المجال.
• تقديم نموذج لتقييم مهام التوليد المهيكلة الأخرى الخاصة بالمجال (مثل HL7/FHIR الطبية، أو XBRL المالية) التي تتطلب مطابقة المعايير والتحقق الخارجي.

يصرح المؤلفون صراحةً بأن معيار الاختبار متاح بموجب رخصة CC BY 4.0 على GitHub وHugging Face، مع توفير سكربتات التقييم ووثائق إعادة الإنتاج. كما يشيرون إلى القيود، مثل استبعاد بعض الجوانب (التصنيف، المواد) والاعتماد على تقييم الصفر، مما يمهد الطريق للعمل المستقبلي حول توسيع هذه النطاقات واستكشاف نهج الأمثلة القليلة (few-shot) أو الضبط الدقيق (fine-tuned).