Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)
يكشف هذا الاختبار المعياري الطولي لخمسة نماذج لغوية كبيرة ذات أوزان مفتوحة عبر 518 تقريراً للحوكمة والمسؤولية الاجتماعية والبيئية (ESG) أنه بينما تلخص النماذج السياسات السردية بشكل موثوق، فإنها تعاني في الاستخراج الرقمي الدقيق وتهلوس البيانات بشكل متكرر دون استدلال صريح أو تعليمات صارمة، مما يسلط الضوء على الحاجة الماسة لتحسين آليات الامتناع في التدقيق الآلي للاستدامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الأعمال الحديث، لم يعد التزام الشركة بالبيئة، ومعاملة العمال، والحوكمة الأخلاقية مجرد مسائل تتعلق بالعلاقات العامة. لقد أصبحت هذه العوامل بيانات صلبة، ومطلوبة قانوناً في أماكن كثيرة، وتخضع لتدقيق المستثمرين الذين يحتاجون إلى معرفة ما إذا كانت المؤسسة مستدامة حقاً أم أنها تتظاهر بذلك فحسب. وقد خلق هذا التحول تحدياً هائلاً للمدققين؛ إذ يمكن لتقرير استدامة واحد أن يمتد لمئات الصفحات، مليئاً بجداول الأرقام الكثيفة، والحواشي السفلية، والتعريفات المتغيرة. ولتفسير هذا الحجم من المعلومات، تتوجه المؤسسات المالية إلى الذكاء الاصطناعي، وتحديداً نوع من البرامج الحاسوبية المعروف باسم "نماذج اللغات الكبيرة". هذه البرامج مدربة على كميات هائلة من النصوص ويمكنها قراءة المستندات لإيجاد إجابات محددة، تماماً مثل أمين مكتبة سريع جداً ومطلع جداً. ومع ذلك، لكي تُمنح هذه الأدوات الثقة للقيام بعمليات تدقيق رسمية، يجب أن تفعل أكثر من مجرد تلخيص قصة؛ بل يجب أن تستخرج الأرقام الدقيقة دون اختلاق أشياء، ويجب أن تعرف متى تعترف بأن الإجابة ببساطة غير موجودة في المستند.
وضع فريق من الباحثين من جامعة غانا اختباراً دقيقاً لمدى كفاءة نماذج الذكاء الاصطناعي مفتوحة المصدر في هذا البيئة عالية المخاطر. فقد جمعوا مجموعة ضخمة مكونة من 518 تقريراً حقيقياً لاستدامة الشركات نُشرت بين عامي 2010 و2026، وهي فترة تشمل التقارير التطوعية القديمة والتقارير الأحدث الملزمة قانوناً وفقاً للقوانين الأوروبية. ومن هذه المكتبة من المستندات، صمموا اختباراً صارماً يتكون من 120 سؤالاً تدقيقياً محدداً. تراوحت هذه الأسئلة بين طلب ملخصات للسياسات العامة، وبين المطالبة بأرقام دقيقة لانبعاثات الغازات الدفيئة أو استخدام المياه. ثم قام الباحثون بتغذية هذه الأسئلة لخمسة نماذج مختلفة من نماذج الذكاء الاصطناعي الرائدة، محاكيين سيناريو واقعياً حيث يبحث الكمبيوتر أولاً في المستند عن الصفحة ذات الصلة ثم يحاول قراءة الإجابة. وعلاوة على ذلك، ولضمان النزاهة، استخدموا نظام ذكاء اصطناعي منفصلاً ومستقلاً لتقييم الإجابات، مما منع النماذج من منح نفسها درجات مرتفعة عن عملها الخاص.
كشفت النتة عن انقسام واضح بين مدى فهم هذه الآلات للكلمات ومدى تعاملها مع الأرقام. فعندما طُلب منها تلخيص السياسات العامة للشركات أو التزاماتها، أدت النماذج أداءً جيداً للغاية، وغالباً ما نجحت في التقاط جوهر النص بدقة عالية. ومع ذلك، عندما تطلبت المهمة استخراج رقم محدد من جدول معقد — مثل الكمية الدقيقة لثاني أكسيد الكربون المنبعث في عام معين — انخفض أداؤها بشكل كبير. وحتى عندما زود الباحثون النماذج بالصفحة المثالية من التقرير، لم يستطع أفضل النماذح أداءً استخراج الرقم الصحيح إلا بنسبة 73 بالمائة تقريباً. ولم تكن الصعوبة تكمن غالباً في العثين على الصفحة الصحيحة، بل في قراءة الجدول بشكل صحيح، مثل الخلط بين إجمالي الشركة الأم وإجمالي شركة تابعة، أو إساءة قراءة وحدات القياس.
ولعل النتيجة الأكثر أهمية تتعلق بكيفية تصرف هذه النماذج عندما تكون الإجابة مفقودة. ففي عملية تدقيق حقيقية، قد تفشل شركة ما في الإبلاغ عن مقياس معين، أو قد يسحب البحث عن طريق الخطأ صفحة من عام آخر. اختبر الباحثون ذلك عبر إعطاء النماذج سؤالاً عن النفايات الخطرة لعام 2024، ولكن مع تزويدها بصفحة وثيقة تناقش فقط إعادة تدوير المياه لعام 2022. وتحت التعليمات القياسية، حاولت العديد من النماذج أن تكون "مفيدة" عبر اختلاق رقم أو استبداله برقم مشابه من سنة أخرى، وهو سلوك يُعرف بـ "الهلوسة". وقد حدث هذا في نصف الحالات تقريباً لبعض النماذج. ومع ذلك، أظهرت الدراسة أن هذا الميل الخطير يمكن إصلاحه إلى حد كبير؛ فمن خلال إعطاء النماذج تعليمات صارمة بالقول "لا يمكنني الإجابة" إذا لم تكن البيانات الدقيقة موجودة، انخفض معدل الأرقام المختلقة بشكل حاد. علاوة على ذلك، فإن أحد النماذج المصممة لـ "التفكير" في استدلالاتها قبل الإجابة كان أفضل بطبيعته في رصد هذه التناقضات ورفض التخمين، حتى بدون تلك التعليمات الصارمة.
كما بحثت الدراسة في كيفية تأثير الطبيعة المتغيرة للتقارير المؤسسية على هذه الأدوات. ووجد الباحثون أن التقارير الأحدث والإلزامية التي تفرضها التنظيمات الأوروبية، والتي تستخدم جداول معيارية وتسميات متسقة، هي في الواقع أسهل للذكاء الاصطناعي في القراءة من التقارير القديمة التطوعية. فبمجرد أن يجد الكمبيوتر القسم الصحيح في هذه المستندات الحديثة، تتحسن دقة أدائه بشكل ملحوظ. وهذا يشير إلى أنه مع إجبار التنظيمات للشركات على تنظيم بياناتها بشكل أكثر وضوحاً، ستصبح هذه الأدوات أكثر موثوقية. وفي الختام، خلص البحث إلى أنه بينما يعد الذكاء الاصطناعي جاهزاً للمساعدة في تلخيص القصص التي ترويها الشركات عن استدامتها، إلا أنه ليس جاهزاً بعد لاستبدال المدققين البشريين في التحقق من الأرقام الصعبة. إن النهج الأكثر أماناً يتمثل في استخدام هذه النماذج لصياغة الملخصات وتحديد المشكلات المحتملة، مع إبقاء العنصر البشري في الحلقة للتحقق من الأرقام النهائية، لضمان أن الأرقام حقيقية وليست مجرد تخمين مقنع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.