ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge

إليك ملخص تقني مفصل لورقة البحث بعنوان "ESGenius: تقييم النماذج اللغوية الكبيرة (LLMs) في معارف البيئة والمجتمع والحوكمة (ESG) والاستدامة."

1. بيان المشكلة

يعد مجال البيئة والمجتمع والحوكمة (ESG) والاستدامة أمراً بالغ الأهمية للمسؤولية المؤسسية والامتثال التنظيمي، ومع ذلك لا يزال يمثل "صندوقاً أسود" بالنسبة للنماذج اللغوية الكبيرة (LLMs).

• الفجوة المعرفية: يتم تدوين معرفة الـ ESG في أطر تقنية معقدة ومتطورة (مثل GRI، وSASB، وTCFD، وISSB، وIPCC) وتقارير مؤسسية هائلة. وتفتقر النماذج اللغوية الكبيرة الحالية إلى طريقة معيارية لإثبات كفاءتها في هذا المجال متعدد التخصصات.
• نقص المعايير المرجعية: تفتقر معايير التقييم الحالية للأسئلة والأجوبة (QA) إما إلى مواضيع الـ ESG تماماً أو تتناولها بشكل سطحي. ولا يوجد معيار شامل تم التحقق من صحته من قبل خبراء لتقييم الاستنتاج، أو الدقة الواقعية، أو قدرات الاسترجاع في سياقات الـ ESG.
• الآثار المترتبة العالية: يمكن أن تؤدي الاستجابات غير الصحيحة المتعلقة بالـ ESG إلى انتهاكات للامتثال، أو التضليل البيئي (Greenwashing)، أو استراتيجيات استدامة مضللة، مما يستلزم أداة تقييم موثوقة.

2. المنهجية

يقترح المؤلفون ESGenius، وهو إطار عمل شامل للتقييم يتكون من مكونين متكاملين بدقة وبروتوكول تقييم صارم.

أ. بناء البيانات

1. متن ESGenius (المعرفة المصدرية):

   • مستودع منتقى يضم 231 وثيقة PDF موثوقة من 7 مصادر رئيسية هي: GRI، وSASB، وIPCC، وISSB/IFRS، وTCFD، وCDP، وأهداف التنمية المستدامة للأمم المتحدة (UN SDGs).
   • يغطي المتن ما يقرب من 19,600 صفحة، تشمل علوم المناخ، ومعايير التقارير، وأهداف الاستدامة.
   • تم تصميمه ليكون نموذجياً وقابلاً للتوسع لاستيعاب اللوائح والأطر الجديدة.

2. ESGenius-QA (مجموعة بيانات التقييم):

   • التوليد: مسار مؤتمت باستخدام Qwen-Max لتوليد أسئلة مرشحة من نوع الاختيار من متعدد (MCQs) من المتن. تم هندسة المطالبات (Prompts) لإجبار النموذج على الاستنتاج العميق، مما يتطلب دمج عدة جمل وإنشاء خيارات مضللة "شبه صحيحة" (Near-miss).
   • التحقق: عملية متعددة المراحل تعتمد على العنصر البشري (Human-in-the-loop) بمشاركة ستة خبراء في المجال (بمتوسط خبرة تزيد عن 5 سنوات) وثلاثة مستشارين صناعيين (خبرة تزيد عن 10 سنوات).
   • المجموعة النهائية: 1,136 سؤالاً عالي الجودة من نوع الاختيار من متعدد مع الإجابات النموذجية.
   • ميزات التصميم:
     • كل سؤال مرتبط صراحة بصفحة (أو صفحات) محددة ومقاطع نصية من الوثائق المصدرية.
     • يتضمن خيار "لست متأكداً" (Z) لمعاقبة الهلوسة ومكافأة الامتناع المدروس (Calibrated abstention).
     • يغطي ثلاثة ركائز: البيئة (المناخ، التنوع البيولوجي)، المجتمع (العمالة، حقوق الإنسان)، والحوكمة (الأخلاق، المخاطر).

ب. بروتوكول التقييم

يقيم المعيار 50 نموذجاً لغوياً كبيراً (تتراوح أحجامها بين 0.5 مليار إلى 671 مليار معلمة) عبر إعدادين:

1. التعلم من الصفر (Zero-Shot): يختبر المعرفة المعلمية المتأصلة للنموذج دون سياق خارجي.
2. التوليد المعزز بالاسترجاع (RAG): يوفر للنموذج نص المصدر المحدد المرتبط بالسؤال (RAG ذو السياق الطويل) لتقييم قدرته على تأصيل الإجابات في أدلة موثوقة.

3. المساهمات الرئيسية

1. أول معيار شامل للـ ESG: يعد ESGenius أول معيار للأسئلة والأجوبة مصمم خصيصاً لتقييم النماذج اللغوية الكبيرة بصرامة في معارف الـ ESG والاستدامة، مما يسد الفجوة بين معايير معالجة اللغات الطبيعية العامة والمتطلبات المتخصصة.
2. مجموعة بيانات مدققة من الخبراء: يضمن إنشاء 1,136 سؤال اختيار من متعدد، والتي تم التحقق منها من قبل خبراء المجال، دقة واقعية عالية وأهمية موضوعية، مما يعالج الضجيج الذي غالباً ما يوجد في مجموعات البيانات المولدة بواسطة النماذج اللغوية.
3. التأصيل الشفاف: من خلال ربط كل سؤال بنص مصدر محدد، يتيح المعيار تقييماً شفافاً ويدعم منهجيات الـ RAG، وهو أمر حيوي في المجالات عالية المخاطر.
4. مبادرة مفتوحة المصدر: أطلق المؤلفون مجموعة البيانات الكاملة، وكود التقييم، وبوابة ويب تفاعلية مع لوحة صدارة (Leaderboard) في الوقت الفعلي لتعزيز الأبحاء المجتمعية.

4. النتائج الرئيسية

قيمت الدراسة 50 نموذجاً (بما في ذلك DeepSeek، وLlama، وGemma، وQwen، ونماذج API مملوكة مثل GPT-4o وo3).

• أداء التعلم من الصفر (Zero-Shot) متوسط:

  • حتى النماذج الرائدة (SOTA) تواجه صعوبة، حيث حققت معظمها 55-70% دقة.
  • أفضل نموذج أداءً في حالة التعلم من الصفر هو o3 (مملوك)، والذي حقق 72.54% فقط.
  • يسلط هذا الضوء على فجوة معرفية كبيرة في المجالات المتخصصة والمتداخلة للنماذج اللغوية الكبيرة الحالية.

• الـ RAG يدفع تحسناً كبيراً:

  • توفير سياق المصدر يعزز الأداء بشكل كبير، خاصة للنماذج الأصغر حجماً.
  • تحسن نموذج DeepSeek-R1-Distill-Qwen-14B من 63.82% (Zero-shot) إلى 80.46% (RAG).
  • أظهر نموذج Gemma-3-27B تحسناً نسبياً هائلاً بنسبة 141.57% (من 0.2165 إلى 0.5229).
  • رؤية: الاسترجاع المستهدف غالباً ما يكون أكثر فعالية من مجرد زيادة حجم النموذج في المعارف المتخصصة.

• الاستنتاج وضبط التعليمات (Reasoning and Instruction Tuning):

  • النماذج ذات قدرات الاستنتاج (مثل متغيرات DeepSeek-R1، وo3) تتفوق عموماً على نظيراتها غير المستنتجة من نفس الحجم.
  • أظهرت النماذج المضبوطة بالتعليمات (Instruction-tuned) نتائج مختلطة في حالة التعلم من الصفر، لكنها غالباً ما أظهرت هوامش تحسن متفوقة عند دمجها مع الـ RAG.

• تحليل الأخطاء:

  • تفشل النماذج بشكل متكرر في الأسئلة التي تتطلب تمييزاً دقيقاً (مثل التفاوتات الإقليمية في القدرة المتجددة) أو تعريفات محددة (مثل حوادث مكان العمل المسجلة)، وغالباً ما تعتمد على مطابقة الكلمات المفتاحية السطحية بدلاً من الفهم العميق.

5. الأهمية

• الذكاء الاصطناٍ الموثوق في الـ ESG: يوفر ESGenius أداة حاسمة لتعزيز الذكاء الاصطناعي الموثوق في مجال الاستدامة. ويثبت أنه بالنسبة للمجالات عالية المخاطر، فإن تأصيل الاستجابات في مصادر موثوقة (RAG) هو العامل الأكثر حسماً من الاعتماد فقط على الذاكرة المعلمية.
• توجيه تطوير النماذج: تشير النتائج إلى أنه بالنسبة للمجالات المتخصصة، فإن الاستثمار في آليات الاسترجاع وهياكل الاستنتاج يحقق عوائد أفضل من مجرد زيادة عدد معلمات النموذج.
• مورد مجتمعي: من خلال جعل المعيار مفتوح المصدر، يُمكّن المؤلفون الباحثين من تتبع التقدم، وتحديد نقاط الضعف (مثل ركائز أو مواضيع فرعية معينة في الـ ESG)، وتطوير أدوات أفضل لتحليل الـ ESG والامتثال والتقارير.
• الاعتبارات الأخلاقية: تتناول الورقة المخاوف الأخلاقية المتعلقة بحقوق الطبع والنشر (باستخدام مقتطفات/مراجع)، والتحيز (التحقق من قبل الخبراء)، وخطر التضليل البيئي، داعية إلى الاستجابات المرتبطة بالأدلة بدلاً من التوليدات غير المدعومة.

في الختام، يضع ESGenius معياراً جديداً لتقييم الذكاء الاصطناعي في مجال الاستدامة، ويثبت أنه بينما تمتلك النماذج اللغوية الكبيرة الحالية فهماً أساسياً للـ ESG، إلا أنها تتطلب تأصيلاً قوياً في البيانات الموثوقة لتحقيق الموثوقية اللازمة للتطبيقات الواقعية.