💻 computer science

BEMEval-Doc2Schema: Benchmarking Large Language Models for Structured Data Extraction in Building Energy Modeling

تقدم هذه الورقة BEMEval-Doc2Schema، وهو أول إطار عمل مرجعي مدفوع من المجتمع يتميز بمقياس معدل تداخل المفتاح-القيمة (KVOR) لتقييم ومقارنة أداء النماذج اللغوية الكبيرة بشكل منهجي في استخراج البيانات المهيكلة من وثائق المباني لأتمتة نمذجة الطاقة.

المؤلفون الأصليون: Yiyuan Jia, Xiaoqin Fu, Liang Zhang

نُشر 2026-02-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yiyuan Jia, Xiaoqin Fu, Liang Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم الروبوتات قراءة المخططات

تخيل أنك مهندس معماري ماهر. لديك كومة من الملاحظات الفوضوية المكتوبة بخط اليد، وملفات PDF قديمة، وجداول بيانات Excel مبعثرة تصف منزلاً ما. مهمتك هي تحويل هذه الفوضى إلى نموذج رقمي ثلاثي الأبعاد مثالي يمكن للكمبيوتر استخدامه لحساب كمية الطاقة التي سيستهلكها المنزل بدقة.

في الوقت الحالي، يتعين على البشر القيام بعملية الترجمة هذه يدوياً. إنها عملية بطيئة، مملة، وعرضة للأخطاء.

هنا يأتي دور نماذج اللغات الكبيرة (LLMs) مثل "الأدمغة الذكية" التي تقف وراء ChatGPT أو Gemini. تساءل الباحثون في هذه الورقة البحثية: "هل يمكننا تعليم هذه الأدمغة الاصطناعية قراءة تلك الملاحظات الفوضوية وبناء النموذج الرقمي المثالي لنا تلقائياً؟"

الإجابة هي: نعم، يمكنهم البدء في فعل ذلك، لكنهم ليسوا مثاليين بعد. ولتحديد مدى جودتهم، صمم المؤلفون "اختبار قيادة" للذكاء الاصطناعي.

1. المشكلة: قضية "الضياع في الترجمة"

بناء نماذج طاقة المباني يشبه محاولة ترجمة رواية مكتوبة بلهجة "المهندسين" إلى لغة كمبيوتر.

المدخلات: مستندات غير منظمة (ملفات PDF، جداول بيانات، رسومات).
المخرجات: تنسيق صارم ومنظم (مثل خزانة ملفات رقمية) يمكن لبرامج المحاكاة قراءتها.

حالياً، لا توجد طريقة معيارية لتقييم مدى جودة قيام الذكاء الاصطناعي بهذه الترجمة. الأمر يشبه إعطاء طالب اختباراً بدون نموذج إجابة. أدرك الباحثون أنهم بحاجة إلى "اختبار قيادة" معياري لمعرفة ما إذا كان الذكاء الاصطناعي آمناً حقاً للقيادة على طريق الإنشاءات.

2. الحل: "BEMEval" (مدرسة تعليم القيادة للذكاء الاصطناعي)

أنشأ المؤلفون إطار عمل يسمى BEMEval. اعتبر هذا بمثابة مدرسة تعليم قيادة للذكاء الاصطناعي.

الاختبار الأول (BEMEval-Doc2Schema): الاختبار الأول في المدرسة يسمى "Doc2Schema". وهي مهمة بسيطة: خذ مستنداً فوضوياً وحوله إلى قائمة مرتبة ومنظمة.
مضمار الاختبار: استخدموا ثلاث "سيارات تدريب" شهيرة (مجموعات بيانات مبانٍ حقيقية):
1. L100: منزل أساسي قياسي (مثل تويوتا كورولا).
2. NZERTF: منزل عالي التقنية يعمل بالطاقة الصفرية (مثل تسلا).
3. iUnit: شقة صغيرة جاهزة (مثل عربة تخييم ذكية).
نماذج الإجابة: استخدموا "كتيب قواعد" مختلفين (schemas) لمعرفة كيف نظم الذكاء الاصطناعي البيانات:
- HPXML: كتيب قواعد مفصل ومعقد للغاية (مثل دليل مستخدم مكون من 500 صفحة لسيارة فاخرة).
- EPC: كتيب أبسط وأكثر تسطحاً (مثل قائمة مراجعة سريعة).

3. نظام الدرجات: درجة "KVOR"

كيف تضع درجة للذكاء الاصطناعي؟ لا يمكنك فقط أن تسأل، "هل أصبت؟" لأن الذكاء الاصطناعي قد يحصل على الرقم الصحيح ولكنه يضعه في الصندوق الخطأ.

ابتكر المؤلفون مقياساً يسمى KVOR (معدل تداخل المفتاح والقيمة).

التشبيه: تخيل لعبة "سيمون يقول" (Simon Says). المعلم (الحقيقة الأرضية) يقول: "ضع الكرة الحمراء في الصندوق الأيسر".
إذا وضع الذكاء الاصطناعي الكرة الحمراء في الصندوق الأيسر، يحصل على نقطة.
إذا وضع الكرة الحمراء في الصندوق الأيمن، أو الكرة الزرقاء في الصندوق الأيسر، يحصل على صفر.
درجة KVOR هي ببساطة النسبة المئوية للكرات التي وضعها الذكاء الاصطناي في الصناديق الصحيحة. الدرجة 1.0 تعني كمالاً تاماً، و0.0 تعني كارثة مطلقة.

4. السباق: من الفائز؟

وضع الباحثون اثنين من عمالقة الذكاء الاصطناعي في مواجهة بعضهما البعض: GPT-5 (من OpenAI) و Gemini 2.5 (من Google). واختبروهما بطريقتين:

Zero-Shot (بدون أمثلة): "إليك المهمة. انطلق!" (بدون مساعدة).
Few-Shot (بأمثلة قليلة): "إليك المهمة، وإليك ثلاثة أمثلة لكيفية القيام بها بشكل مثالي. الآن جرب أنت".

النتائج:

فاز Gemini 2.5. فقد حصل باستمرار على درجات أعلى من GPT-5. كان أفضل في فهم القواعد والحفاظ على تنظيم البيانات.
دفعة الـ "Few-Shot": عندما تم إعطاء الأمثلة للتعلم، أصبح كلا النموذجين أفضل بكثير. الأمر يشبه إعطاء طالب اختباراً تجريبياً قبل الامتحان الحقيقي.
عامل الصعوبة: واجه الذكاء الاصطناعي صعوبة أكبر مع كتيب قواعد "HPXML" المعقد (دليل السيارة الفاخرة) مقارنة بقائمة مراجعة "EPC" البسيطة. كلما زادت تعقيد القواعد، زاد ارتباك الذكاء الاصطناعي.
فخ "الهلوسة": في بعض الأحيان، يقوم الذكاء الاصطناعي بتخمين رقم غير موجود في النص لمجرد ملء الفراغ. وقد عاقبه الاختبار بشدة على ذلك.

5. المفاجأة: الذكاء الاصطناعي يغش (نوعاً ما)

لاحظ الباحثون شيئاً مضحكاً. عندما يُطلب من الذكاء الاصطناعي استخراج البيانات، فإنه غالباً ما يحاول كتابة برنامج كمبيوتر للقيام بالمهمة بنفسه، بدلاً من مجرد قراءة النص وكتابة الإجابة.

التشبيه: تخيل أنك تطلب من روبوت "فرز هذه الجوارب الـ 100 حسب اللون". بدلاً من التقاطها وفرزها، يبدأ الروبوت في كتابة كود برمجي لبناء آلة لفرز الجوارب.
رغم أنه أمر ذكي، إلا أن هذا يظهر أن الذكاء الاصطناعي يحاول إيجاد طريق مختصر بدلاً من الفهم الحقيقي لمعنى الكلمات.

6. لماذا هذا مهم؟

هذه الورقة البحثية ليست مجرد اختبار واحد؛ بل تتعلق ببناء معيار مجتمعي.

قبل هذا، كان الجميع يبتكر اختباراته الخاصة. الآن، لدينا "مدرسة تعليم قيادة" مشتركة حيث يمكننا جميعاً رؤية أي ذكاء اصطناعي هو المستعد فعلياً للطريق.
يوضح لنا أن الذكاء الاصطناعي يصبح جيداً في المهام البسيطة، لكنه لا يزال يحتاج إلى مساعدة (مثل الأمثلة) للمهام المعقدة.
يشير هذا إلى أنه ربما نحتاج لتصميم "كتيبات القواعد" (schemas) الخاصة بنا لتكون أبسط وأكثر "صداقة للذكاء الاصطناعي" لمساعدة الروبوتات على أداء وظائفها بشكل أفضل.

الخلاصة

تقول الورقة البحثية: "لقنا بناء لوحة نتائج لقياس مدى قدرة الذكاء الاصطناعي على تحويل مستندات المباني الفوضوية إلى بيانات نظيفة. الذكاء الاصطناعي يتحسن، خاصة عندما نعطيه أمثلة، لكنه لا يزال يرتكب أخطاء في المهام المعقدة. نحن بحاجة لمواصلة الاختبار للتأكد من أنه آمن للاستخدام في مشاريع الإنشاءات الحقيقية."

إنها الخطوة الأولى نحو مستقبل يمكنك فيه رفع ملف PDF لمخططات منزلك، ويقوم الذكاء الاصطناعي فوراً ببناء نموذج الطاقة لك، مما يوفر على المهندسين ساعات من العمل الممل.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "BEMEval-Doc2Schema: تقييم النماذج اللغوية الكبيرة لاستخراج البيانات المهيكلة في نمذجة طاقة المباني."

1. بيان المشكلة

تعد نمذجة طاقة المباني (BEM) أمراً بالغ الأهمية لإزالة الكربون، ومع ذلك، تظل عملية تحويل وثائق المباني غير المهيكلة (مثل ملفات PDF، أو تقارير التدقيق، أو الرسومات) إلى بيانات مهيكلة وجاهزة للمحاكاة عملية يدوية وتتطلب جهداً كبيًرا.

الفجوة: بينما تُظهر النماذج اللغوية الكبيرة (LLMs) إمكانات واعدة في أتمتة هذا الاستخراج، إلا أن تطبيقها في مجال نمذجة طاقة المباني (BEM) يفتقر إلى التقييم الصارم. الأبحاث الحالية مجزأة وتفتقر إلى:
- مجموعات بيانات متاحة للجمهور ومخصصة لهذه المهمة.
- مقاييس أداء معيارية.
- اختبارات مرجعية (benchmarks) قابلة للتكرار لمقارنة النماذج المختلفة واستراتيجيات التلقين (prompting) المختلفة.
التحدي: تتطلب التطبيقات الهندسية دقة عالية وقابلية للتكرار. النماذج اللغوية الكبيرة عرضة لـ "الهلوسة" والأخطاء الدلالية، مما يجعل من الصعب الوثوق بها في المهام الحرجة مثل ربط بارامترات المبنى بمخططات معيارية (مثل HPXML أو EPC) دون وجود طريقة منهجية لقياس الدقة.

2. المنهجية

قدم المؤلفون إطار عمل BEMEval، وهو إطار تقييم معياري (modular benchmark framework) مصمم لتقييم النماذج التأسيسية عبر مهام BEM المتميزة. تركز الورقة على أول اختبار مرجعي له وهو: BEMEval-Doc2Schema.

أ. مكونات إطار العمل

المهمة: تحويل أوصاف المباني السكنية غير المهيكلة إلى بيانات مهيكلة ومتوافقة مع المخططات (HPXML و EPC).
مجموعات البيانات (المدخلات): تم اختيار ثلاث حالات مبانٍ سكنية ممثلة لضمان التنوع:
1. HERS L100: مبنى أساسي معياري لاختبار مصداقية برامج المحاكاة.
2. NIST NZERTF: منزل عائلي واحد يتميز بنظام طاقة صافي صفر (net-zero) مع أجهزة HVAC وأنظمة متجددة معقدة للغاية ومزود بأدوات قياس دقيقة.
3. NREL iUnit: شقة صغيرة نموذجية (micro-apartment) جاهزة للتصنيع، تمثل نماذج المباني متعددة العائلات.
الحقيقة الأرضية/المرجع (المخرجات): مجموعات بيانات مهيكلة في مخططين متميزين:
- HPXML: تنسيق XML هرمي ومعياري في الصناعة للتدقيق الطاقي السكني وعمليات التحديث (معقد، ذو تسلسل هرمي عميق).
- EPC Schema: تنسيق TOML مسطح يعتمد على مفتاح-قيمة (key-value)، مستند إلى معايير حسابية معيارية (بسيط، ذو تسلسل هرمي مخفض).
مقياس التقييم: معدل التداخل بين المفتاح والقيمة (KVOR).
- الصيغة: $KVOR = \frac{\text{عدد أزواج المفتاح-القيمة المتطابقة بشكل صحيح}}{\text{إجمالي عدد المفاتيح في المخطط المرجعي}}$
- يقوم هذا المقياس بمعاقبة كل من المفاتيح المفقودة والتعيينات الخاطئة للقيم، مما يوفر مقياساً كمياً للدقة الهيكلية والدلالية.

ب. الإعداد التجريبي

النماذج التي تم تقييمها:
- GPT-5 (من OpenAI، إصدار 2025): ركز على تعزيز الاستنتاج وتوليد البيانات المهيكلة.
- Gemini 2.5 (من Google DeepMind، إصدار 2025): دمج الفهم متعدد الوسائط والاستنتاج الرمزي.
استراتيجيات التلقين (Prompting Strategies):
- Zero-Shot (بدون أمثلة): تعليمات المهمة وتوثيق المخطط فقط.
  يد Few-Shot (بأمثلة قليلة): تعليمات المهمة بالإضافة إلى $N$ من الأمثلة لأزواج (المدخل-المخرج) لتوجيه سلوك الربط.

3. النتائج الرئيسية

قيمت الدراسة النماذج عبر مجموعات البيانات الثلاث والمخططين.

أداء النماذج:
- تفوق Gemini 2.5 باستمرار على GPT-5 عبر جميع مجموعات البيانات واستراتيجيات التلقين.
- أفضل نتيجة: حقق Gemini 2.5 معدل KVOR بلغ 0.851 على مجموعة بيانات iUnit (EPC) باستخدام التلقين بدون أمثلة (zero-shot).
- أسوأ نتيجة: حقق GPT-5 معدل KVOR بلغ 0.000 على مجموعة بيانات L100 (HPXML) باستخدام التلقين بدون أمثلة (zero-shot).
تأثير التلقين:
- أدى التلقين بأمثلة قليلة (Few-shot prompting) إلى تحسين الدقة بشكل كبير لكلا النموذجين. على سبيل المثال، تضاعف أداء Gemini في L100 (HPXML) من 0.040 (zero-shot) إلى 0.082 (few-shot).
تعقيد المخطط (Schema Complexity):
- حقق EPC (المخطط المسطح) درجات KVOR أعلى بكيد من HPXML (المخطط الهرمي).
- شكل التسلسل الهرمي العميق والمراجع المتبادلة المعقدة في HPXML تحديات أكبر، مما أدى إلى انخفاض دقة الاستخراج.
تعقيد المبنى:
- سجلت حالة NZERTF (الأنظمة شديدة التعقيد) أدنى الدرجات بين حالات HPXML، مما يشير إلى أن التبعيات بين الأنظمة وكثافة البارامترات العالية تؤدي إلى تدهور أداء النموذج.

4. المساهمات الرئيسية

إطار عمل BEMEval: اقتراح أول إطار عمل تقييم مفتوح ومدفوع من المجتمع مخصص لتقييم النماذج اللغوية الكبيرة في نمذجة طاقة المباني.
BEMEval-Doc2Schema: تنفيذ أول اختبار مرجعي محدد لاستخراج البيانات المهيكلة، والذي يتميز بـ:
- مجموعات بيانات منسقة من مرافق اختبار حقيقية (L100, NZERTF, iUnit).
- مراجع الحقيقة الأرضية في مخططات معيارية في الصناعة (HPXML, EPC).
- مقياس مبتكر وقابل للتفسير (KVOR) لقياس دقة الاستخراج.
النظام البيئي مفتوح المصدر: جميع الموارد (مجموعات البيانات، تعريفات المخططات، سكربتات التقييم، والوثائق) متاحة علناً على GitHub لضمان قابلية التكرار وتشجيع توسع المجتمع.
رؤى تجريبية: توفر الدراسة أول دليل كمي على أن:
- تصميم المخطط (مسطح مقابل هرمي) يؤثر جذرياً على أداء النماذج اللغوية الكبيرة.
- التلقين بأمثلة قليلة (few-shot) ضروري للمهام المتخصصة في المجال.
- النماذج اللغوية الكبيرة العامة الحالية تعاني مع المخططات الهندسية الهرمية المعقدة دون ضبط دقيق (fine-tuning) متخصص.

5. الأهمية والعمل المستقبلي

الأهمية: يسد هذا العمل الفجوة بين أبحاث الذكاء الاصطناعي وممارسة نمذجة طاقة المباني. من خلال إنشاء ما يشبه "ImageNet لـ BEM"، فإنه يتيح مقارنة عادلة للأدوات، وتتبع التقدم، وتحديد أوجه القصور (مثل الهلوسة في المخططات المعقدة). ويشير إلى أن تصميم المخططات "الصديقة للذكاء الاصطناعي" (الهياكل الأبسط والأكثر تسطحاً) قد يكون ضرورياً لتسريع الأتمتة في المدى القريب.
القصور:
- حجم مجموعة البيانات صغير حالياً (3 مبانٍ).
- لم يتم إجراء ضبط دقيق (fine-tuning) للنماذج في المجال (استُخدمت فقط نماذج عامة الأغراض).
- مقياس KVOR يعامل جميع المفاتيح بالتساوي، متجاهلاً التأثير المتفاوت للبارامترات على نتائج المحاكاة.
الاتجاهات المستقبلية:
- توسيع مجموعة البيانات لتشمل أنواعاً متنوعة من المباني، والعصور الزمنية، والمباني التجارية.
- تطوير نماذج خاضعة لضبط دقيق (fine-tuned) متخصصة في المجال.
- تقديم مقاييس موزونة تعطي الأولوية لبارامترات المحاكاة الحرجة.
- دمج اختبارات المتانة (على سبيل المثال، قياس معدلات الهلوسة والمفاضلة بين التكلفة وزمن الاستجابة).

في الختام، يمثل BEMEval-Doc2Schema خطوة تأسيسية نحو سير عمل موثوق ومؤتمت لنمذجة طاقة المباني (BEM)، حيث يثبت أنه بينما تكون النماذج اللغوية الكبيرة قادرة على استخراج البيانات المهيكلة، فإن نجاحها يعتمد بشدة على تعقيد المخطط واستخدام التوجيه بالأمثلة القليلة.