💬 NLP

ESG-Bench: Benchmarking Long-Context ESG Reports for Hallucination Mitigation

تقدم هذه الورقة ESG-Bench، وهو مجموعة بيانات مرجعية مُوسومة بشرياً صُممت لتقييم والحد من الهلوسة في النماذج اللغوية الكبيرة عند تحليل تقارير الحوكمة البيئية والاجتماعية وحوكمة الشركات المعقدة، مما يثبت أن استخدام أسلوب "سلسلة الأفكار" (Chain-of-Thought) في التلقين والضبط الدقيق على هذه المجموعة من البيانات يحسنان بشكل كبير من الدقة الواقعية والقدرة على التعميم.

المؤلفون الأصليون: Siqi Sun, Ben Peng Wu, Mali Jin, Peizhen Bai, Hanpei Zhang, Xingyi Song

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Siqi Sun, Ben Peng Wu, Mali Jin, Peizhen Bai, Hanpei Zhang, Xingyi Song

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز، ولكن بدلاً من مسرح جريمة، فإن "مسرح جريمتك" هو تقرير مؤسسي ضخم مكون من 300 صفحة حول كيفية تعامل شركة ما مع البيئة، والعمال، والمديرين. هذا هو تقرير الحوكمة البيئية والاجتماعية وحوكمة الشركات (ESG).

في الماضي، كانت الشركات تكتب هذه التقارير طواعية. أما الآن، فالعديد من الحكومات تقول: "يجب عليكم كتابة هذه التقارير، ويجب أن تكون حقيقية". لكن هذه التقارير ضخمة، ومربكة، وأحياناً تحاول الشركات خداع الناس عبر المبالغة في إنجازاتها الجيدة (وهي ممارسة تسمى "الغسل الأخضر" أو Greenwashing).

هنا يأتي دور الذكاء الاصطناعي (النماذج اللغوية الكبيرة). قد تفكر: "رائع! دعونا نطلب من الذكاء الاصطناعي قراءة هذه الـ 300 صفحة وإخبارنا بالحقيقة".

إليك المشكلة: الذكاء الاصطناعي كاذب واثق.

إذا سألت ذكاءً اصطناعياً سؤالاً حول صفحة محددة في مستند مكون من 300 صفحة، فقد لا ينظر فعلياً إلى تلك الصفحة، بل قد يخمن بناءً على ما "يتذكره" من تدريبه العام. قد يقول: "أوه، لقد زرعوا بالتأكيد 1,000 شجرة!" بينما يقول التقرير في الواقع إنهم زرعوا 10 أشجار فقط. تُسمى هذه الظاهرة "الهلوسة" (Hallucination). وفي عالم التمويل والقانون، الكذبة الواثقة أمر خطير.

الحل: ESG-Bench

قام الباحثون في هذه الورقة البحثية ببناء "صالة ألعاب رياضية للذكاء الاصطناعي" تسمى ESG-Bench.

فكر في ESG-Bench كأرض تدريب متخصصة حيث أنشأوا مكتبة ضخمة من تقارير ESG الحقيقية ومجموعة من الأسئلة الماكرة حولها.

الاختبار: طلبوا من الذكاء الاصطناعي الإجابة على أسئلة بناءً فقط على النص المقدم.
التقييم: قام خبراء بشريون (طلاب دكتوراه في الاستدامة) بدور الحكام. لقد فحصوا كل إجابة من إجابات الذكاء الاصطناعي.
- صحيح: وجد الذكاء الاصطناعي الحقيقة في النص.
- هلوسة: اخترع الذكاء الاصطناعي شيئاً ما أو أغفل حقيقة كانت موجودة هناك بالفعل.
- التحول المفاجئ: علموا الذكاء الاصطناعي أيضاً متى يقول "لا أعرف"، إذا لم تكن الإجابة موجودة في النص.

السلاح السري: سلسلة الأفكـار (Chain-of-Thought - CoT)

وجدت الورقة البحثية أن مجرد تغذية الذكاء الاصطناعي بمزيد من البيانات لم يحل مشكلة الكذب. كان الذكاء الاصطناعي بحاجة إلى تعلم كيف يفكر قبل أن يتحدث.

استخدم الباحثون تقنية تسمى "سلسلة الأفكار" (CoT). تخيل أنك تطلب من طالب حل مسألة رياضية.

الذكاء الاصطناعي السيئ: يلقي الإجابة فحسب. "الإجابة هي 42!" (حتى لو كانت خاطئة).
الذكاء الاصطناعي الذي يستخدم (CoT): يُجبر على كتابة خطواته أولاً.
1. "حسناً، السؤال يسأل عن استخدام المياه."
2. "أحتاج إلى البحث في التقرير عن كلمة 'مياه'."
3. "لقد وجدت جدولاً في الصفحة 45."
4. "الجدول يقول 500 لتر."
5. "لذلك، الإجابة هي 500 لتر."

ابتكر الباحثون طريقة خاصة تسمى "سلسلة الأفكار المكونة من 4 خطوات" لتقارير ESG. لقد علموا الذكاء الاصطناعي أن:

يحدد الموضوع.
يبحث في المستند عن أدلة.
يقرر ما إذا كانت الإجابة موجودة بالفعل أم لا.
بعد ذلك فقط يعطي الإجابة (أو يعترف بالهزيمة).

النتائج

عندما دربوا الذكاء الاصطناعي باستخدام طريقة "التفكير أولاً" هذه، كانت النتائج مذهلة:

كذب أقل: توقف الذكاء الاصطناعي عن اختلاق الحقائق.
أمانة أفضل: عندما لم تكن الإجابة في التقرير، تعلم الذكاء الاصطناعي أن يقول "لا يمكنني العثور على ذلك"، بدلاً من التخمين.
مهارات عامة: هذا التدريب لم يساعدهم في تقارير ESG فحسب؛ بل جعل الذكاء الاصطناعي أفضل في الإجابة على الأسئلة في مجالات أخرى (مثل البيولوجيا أو المعلومات العامة).

الصورة الكبيرة

فكر في هذه الورقة البحثية كأنها دورة تعليم قيادة جديدة للذكاء الاصطناعي.
قبل ذلك، كان سائقو الذكاء الاصطناعي يسرعون عبر المدينة، ويخمنون أين توجد لوحات التوقف، مما يتسبب غالباً في حوادث (الهلوسة).
الآن، بفضل ESG-Bench، يتعلم سائقو الذكاء الاصطناعي:

النظر إلى لوحات الطريق (المستند).
تفقد مراياهم (البحث في النص).
التوقف إذا لم يكونوا متأكدين (الامتناع عن الإجابة).

هذا أمر بالغ الأهمية لأن الذكاء الاصطناعي عندما يبدأ في تولي مهام أكثر أهمية مثل فحص القوانين المؤسسية أو السجلات الطبية، لا يمكننا تحمل كونه كاذباً واثقاً. نحن بحاجة لأن يكون محققاً حذراً وصادقاً.

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "ESG-Bench: Benchmarking Long-Context ESG Reports for Hallucination Mitigation" (تقييم معايير تقارير الحوكمة والمسؤولية الاجتماعية والبيئية ذات السياق الطويل للحد من الهلوسة).

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في الهلوسة (Hallucination) في النماذج اللغوية الكبيرة (LLMs) عند تحليل تقارير الحوكمة والمسؤولية الاجتماعية والبيئية (ESG).

السياق: أصبحت تقارير ESG متطلباً قانونياً عالمياً، ومع ذلك فإن هذه الوثائق غالباً ما تكون مئات الصفحات، ومعقدة، ومتعددة الوسائط (نصوص، جداول، رسومات بيانية)، وتخصصية للغاية.
التحدي: تعاني النماذج اللغوية الكبيرة من صعوبة في استرجاع السياقات الطويلة، وغالباً ما تعتمد على المعرفة البارامترية (المخزنة مسبقاً) التي قد تتعارض مع وثائق المصدر. يؤدي هذا إلى نوعين من الهلوسة:
1. الهلوسة الإضافية (Additive Hallucinations): حيث يقوم النموذج بتوليد معلومات غير مدعومة أو مختلقة.
2. الهلوسة الإغفالية (Omissive Hallucinations): حيث يفشل النموذج في الإجابة حتى عندما توجد أدلة ذات صلة في النص.
الفجوة: لا تستهدف معايير التقييم الحالية (مثل HaluEval و BioASQ) بشكل محدد القيود الفريدة لوثائق ESG الطويلة وغير المتجانسة، كما أنها لا توفر تسميات دقيقة للهلوسة أو مسارات استدلال "سلسلة الأفكام" (Chain-of-Thought - CoT) لهذا المجال.

2. المنهجية

أ. بناء ESG-Bench

قام المؤلفون ببناء مجموعة بيانات معيارية جديدة باستخدام منهجية "النموذج ثم المقيّم" (Model-Then-Annotator):

جمع البيانات: تم جمع 94 تقريراً فريداً لـ ESG (من 2020 إلى 2024) من قطاعات متنوعة (التمويل، الطاقة، التكنولوجيا، إلخ) من موقع ResponsibilityReports.com.
توليد الأسئلة: تم اشتقاق 270 سؤالاً من الأدبيات الأكاديمية، والهيئات التنظيمية (مثل CDP)، وتوليد GPT-4o. تغطي الأسئلة الركائز الثلاث لـ ESG (البيئية، والاجتماعية، والحوكمة).
توليد استجابات النموذج: تم استخدام ChatGPT-4o للإجابة على الأسئلة بناءً على التقارير، مع تقديم الإجابات، ومراجع الصفحات، وأنواع التنسيق.
التعليق البشري (Human Annotation): قام خبراء بمستوى الدكتوراه في مجال الاستدامة بمراجعة مخرجات النموذج، وقاموا بتعيين التصنيفات التالية:
- صحيح (Correct): مدعوم بالكامل من السياق.
- هلوسة (Hallucination): معلومات مختلقة أو غير مدعومة.
- غير مكتمل (Incomplete): دقيق جزئياً ولكن ينقصه معلومات رئيسية.
- الإجابة غير موجودة (Answer Not Found): فشل النموذج في الإجابة رغم وجود أدلة (إغفال).
إصدارات مجموعة البيانات:
1. القائم على التقارير: 270 زوجاً من (سؤال-جواب) مع تقييمات بشرية.
2. مهمة الحد من الهلوسة: أكثر من 27,000 حالة (1,358 صحيحة، 25,516 هلوسة) مصممة للتدريب، وتتميز بفقرات خلفية ذات أطوال متفاوتة (متوسط 2,604 رمز/token).

ب. استراتيجيات الحد من الهلوسة

تقترح الورقة نهجاً من ثلاث مراحل لتحسين أداء النماذج اللغوية الكبيرة:

الضبط الدقيق الخاضع للإشراف (SFT): ضبط النماذج بدقة على مجموعة بيانات أسئلة وأجوبة ESG لتشجيعها على الاستناد إلى الأدلة النصية الصريحة.
تلقين سلسلة الأفكار (CoT Prompting): إدخال خطوات استدلال مهيكلة أثناء الاستنتاج لإجبار النموذج على تقييم توافر الأدلة قبل الإجابة. تم اختبار تنسيقين:
- خطوتان: تحديد ما إذا كان السؤال قابلاً للإجابة $\leftarrow$ تقديم الإجابة.
- أربع خطوات: تحديد الموضوع $\leftarrow$ البحث في التقرير $\leftarrow$ تحديد ما إذا كان السؤال قابلاً للإجابة $\leftarrow$ تقديم الإجابة.
الضبط الدقيق القائم على سلسلة الأفكار (CoT-based Fine-Tuning): ضبط النماذج بدقة على مجموعة فرعية من البيانات التي تم التعليق عليها بمسارات استدلال (CoT) صريحة (خطوات الاستدلال المتوسطة). هذا يرسخ عملية اتخاذ القرار المهيكلة، متجاوزاً مجرد مطابقة الأنماط السطحية.

C. الإعداد التجريبي

النماذج: Llama-3.2-3B، و Gemma-2-2B، و Mistral-7B.
مجموعات البيانات: ESG-Bench (الأساسية)، و HaluEval، و BioASQ (لقياس القدرة على التعميم).
المقاييس:
- دقة WA: الدقة في حالات "مع إجابة" (المستندة إلى دليل).
- دقة WoA: الدقة في حالات "بدون إجابة" (الامتناع عن الإجابة).
- الدقة المتوازنة ودرجة F1: لقياس المقايضة بين الدقة والاستدعاء في اكتشاف الهلوسة.

3. المساهمات الرئيسية

مجموعة بيانات ESG-Bench: أول مورد مهيكل مصمم خصيصاً لأسئلة وأجوبة السياق الطويل والحد من الهلوسة في مجال ESG، وتتميز بتسميات هلوسة موثقة بشرياً وتعليقات (CoT) توضيحية.
استراتيجية CoT المخصصة للمهمة: نهج مبتكر للضبط الدقيق باستخدام مسارات CoT متعددة الخطوات مصممة لاسترجاع الأدلة من الوثائق الطويلة. هذا يوجه النماذج للتحقق من نص المصدر قبل توليد الإجابات.
التحقق من الإشراف بالوكالة (Proxy Supervision): أثبتت الدراسة أن أحكام GPT-4o الثنائية حول "الاستناد إلى النص" (نعم/لا) يمكن أن تعمل كإشارة إشراف فعالة لتدريب النماذج الأصغر على اكتشاف الهلوسة، مما يقلل الحاجة إلى تعليقات بشرية ضخمة أثناء التدريب.
تقييم شامل: قدمت تقييماً قوياً لأحدث النماذج اللغوية الكبيرة في سياقات الامتثال عالية المخاطر، مظهرة أن الاستدلال المهيكل يتفوق بشكل كبير على التلقين القياسي.

4. النتائج التجريبية

تحسين الأداء: تفوق الضبط الدقيق القائم على سلسلة الأفكار (تحديداً الـ 4 خطوات في CoT) بشكل كبير على كل من التلقين بدون تدريب (Zero-shot) والضبط الدقيق القياسي (SFT) عبر جميع النماذج ومجموعات البيانات.
- في ESG-Bench، حقق نهج الـ 4 خطوات في CoT دقة متوازنة بلغت 96.00% و درجة F1 بلغت 78.62% لنموذج LLaMA-3.2-3B، وهو تحسن جوهى عن خط الأساس.
- لقد حسّن بشكل ملحوظ دقة WoA (القدرة على الامتناع عن الإجابة بشكل صحيح عندما لا توجد إجابة)، مما قلل من الإيجابيات الكاذبة (الهلوسة) مع الحفاظ على استدعاء عالٍ.
القدرة على التعميم: انتقلت التحسينات إلى مجموعات بيانات الأسئلة والأجوبة العامة (HaluEval و BioASQ)، مما يشير إلى أن استراتيجية CoT تعزز قدرات الاستدلال في السياق الطويل بما يتجاوز مجال ESG فقط.
التحقق من الوكالة: أظهر توافق تقييم GPT-4o لذاته مع التعليقات البشرية نسبة عالية (أكثر من 80%)، مما يؤكد صلاحية استخدامه كإشارة إشراف قابلة للتوسع للتدريب الواعي بالهلوسة.

5. الأهمية

الامتثال التنظيمي: مع تحول تقارير ESG إلى متطلب قانوني، تصبح القدرة على أتمتة التحليل دون هلوسة أمراً حيوياً للمساءلة المؤسسية وثقة المستثمرين.
الثقة القابلة للتوسع: تقدم الورقة مساراً لتوسيع نطاق الذكاء الاصطناዊ الموثوق في المجالات الحساسة اجتماعياً من خلال الجمع بين الاستدلال المهيكل (CoT) والإشراف بالوكالة، مما يجعل التحليل عالي الموثوقية ممكناً للوثائق الطويلة والمعقدة.
التقدم المنهجي: تنقل الورقة النموذج من الاعتماد على المعرفة البارامترية إلى الاسترجاع والتحقق المستند إلى الأدلة، مما يقدم مخططاً للحد من الهلوسة في مجالات أخرى ذات سياق طويل وحرجة للامتثال (مثل القانون والطب).