DiligenceProv: A Truth-Ledger Benchmark for Verifiable Financial Due-Diligence Answers from Large Language Models
تقدم هذه الورقة DiligenceProv، وهو معيار مرجعي ومنهجية بناء مبتكرة تستخدم غرف صفقات اصطناعية تحتوي على عيوب مسجلة لتقييم وتحسين القدرة على التحقق، واسترجاع الأدلة، والدقة التعريفية للنماذج اللغوية الكبيرة في عمليات الفحص النافي للجهالة المالي عالية المخاطر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما تُباع شركة أو تُشترى، تعتمد العملية على فحص دقيق لصحتها المالية، وهي مرحلة تُعرف باسم "العناية الواجبة" (due diligence). يقضي المستشارون أسابيع في فحص "غرفة صفقات"، وهي مجموعة من الوثائق التي تتراوح بين البيانات المالية المدققة وتقارير الأرباح إلى مسودات العقود والعروض التقديمية للإدارة. وتتمثل مهمتهم في الإجابة على أسئلة حاسمة: كم تبلغ أرباح العمل الحقيقية؟ وما هي المخاطر التي يحملها أكبر عملائهم؟ في هذه البيئة عالية المخاطر، لا تكون الإجابة ذات قيمة إلا إذا استندت إلى دليل. يجب أن يكون المراجع قادرًا على التحقق ليس فقط من الرقم النهائي، بل أيضًا من التعريف المحدد المستخدم لحسابه ومن الوثيقة الدقيقة التي تدعم هذا الادعاء. فإذا بدت الإجابة واثقة ولكنها خاطئة، يمكن أن تضلل قرارًا استثماريًا بشكل أكثر خطورة من عدم وجود إجابة على الإطلاق.
بدأ الذكاء الاصطناعي، وتحديدًا النماذج اللغوية الكبيرة، في دخول هذا المجال، واعدًا بتسريع قراءة وتحليل هذه الوثائق المعقدة. ومع ذلك، لا يزال هناك عائق كبير؛ فالأنظمة الحالية للذكاء الاصطناعي يمكنها قراءة النصوص بطلاقة، لكنها تواجه صعوبة في نوع التحقق المحدد المطلوب في التمويل. فقد تنتج رقمًا يبدو منطقيًا ولكنه في الواقع غير صحيح، أو قد تستشهد بوثيقة لا تدعم استنتاجها. التحدي الجوهي ليس في قدرة الذكاء الاصطناعي على قراءة الكلمات، بل في قدرته على التنقل عبر مجموعة فوضوية من المعلومات المتضاربة للعثور على الحقيقة الوحيدة التي قد يقبلها الخبير البشري.
ولمعالجة ذلك، أنشأ الباحثون ميدان اختبار جديدًا يسمى "DiligenceProv". هذا ليس اختبارًا قياسيًا يعتمد على تقارير مالية عامة نظيفة حيث تكون الإجابات متوافقة ومتفقًا عليها بالفعل. بدلاً من ذلك، قام الباحثون بإنشاء شركة خيالية وتوليد مجموعة واقعية من ثلاثين وثيقة، تشمل بيانات مالية، وجداول ديون، وعروضًا تقديمية للإدارة. لقد أدخلوا عمدًا أنواع الفوضى الموجودة في الصفقات الحقيقية: مثل تعريف نفس مقياس الأربات بثلاث طرق مختلفة، وأرقام قديمة تبدو حديثة، وأسئلة لا تستطيع الوثائق الإجابة عليها ببساطة. كان الهدف هو معرفة ما إذا كان بإمكان نظام ذكاء اصطناعي تقديم إجابات يمكن للمراجع البشري التحقق منها، من خلال فحص الرقم، والتعريف، والدليل في آن واحد.
وجد الباحثون أن مجرد جعل الوثائق تبدو واقعية لم يكن كافيًا لتحدي أكثر أنظمة الذكاء الاصطناعي تقدمًا. ففي اختبار أولي مع مجموعة وثائق واقعية ولكنها متسقة تمامًا، أجاب نموذج تجاري رفيع المستوى على كل الأسئلة بشكل صحيح، حتى عندما كانت الأسئلة صعبة. لم يواجه النظام مشكلة لأن الوثائق لم تكن تحتوي على أنواع الفخاخ الموجودة في المفاوضات الحقيقية. أدرك الباحثون أنه لكي يختبروا هذه الأنظمة حقًا، كان عليهم هندسة الصعوبة. فقاموا بإنشاء "دفتر حقيقة" (truth ledger)، وهو سجل رئيسي لكل حقيقة، ثم كتبوا الوثائق بحيث تحتوي على عيوب مسجلة. شملت هذه العيوب تعارضات بين الوثائق المختلفة، ومشتتات واقعية تبدو وكأنها الإجابة الصحيحة لكنها خاطئة، وفجوات صامتة حيث تكون المعلومات مفقودة ولكن لا يتم التصريح صراحةً بأنها مفقودة.
وعندما اختبروا نماذج الذكاء الاصطناعي مقابل هذه الفوضى المهندسة، تغيرت النتائج بشكل دراماتيكي. فالموديلات الأكثر تقدمًا، والتي سجلت درجة مثالية سابقًا، بدأت في الإخفاق عندما توجب عليها التعامل مع هذه العيوب المسجلة. والأمر الأكثر إثارة للدهشة هو أن الباحثين اكتشفوا أنه بالنسبة للعديد من النماذج متوسطة المستوى، فإن إعطاء الذكاء الاصطناعي مجموعة الوثائق الثلاثين كاملة جعل أداءه أسوأ من إعطائه ست صفحات مختارة بعناية فقط. فعندما كان لدى الذكاء الاصطناعي إمكانية الوصول إلى الغرفة الكاملة، غالبًا ما كان يتشتت بأرقام قديمة أو استشهادات ملفقة ظهرت في النص الإضافي. كان يلتقط النسخة الخاطئة من رقم ما أو يخترع وثيقة غير موجودة. ومع ذلك، عندما قدم الباحثون له الفقرات الأكثر صلة فقط، كان أداء الذكاء الاصطناعي أفضل بكثير. في هذه الحالة، عملت عملية الاسترجاع بمثابة مرشح واقٍ، يحمي النموذج من الضجيج والارتباك الناتج عن مجموعة الوثائق الكاملة.
كما كشفت الدراسة أن الجزء الأصعب بالنسبة لهذه الأنظمة لم يكن العثور على الدليل، بل فهم كيفية استخدامه. فحتى عندما قدم الباحثون للنماذج الوثائق الصحيحة تمامًا والأرقام الصحيحة، ارتكبت النماذج أخطاءً. فقد فشلت غالبًا في تطبيق التعريف الصحيح لمقياس مالي أو لم تستطع التمييز بين نسخة مسودة من عقد ونسخة نهائية منه. لم تكن الأخطاء بسبب نقص المعلومات، بل بسبب نقص الانضباط في تطبيق القواعد الخاصة بالصفقة. وقد صنف الباحثون هذه الإخفاقات إلى أنواع محددة، مثل "الإجابات الواثقة الخاطئة" حيث يذكر الذكاء الاصطناعي حقيقة خاطئة بيقين، أو "الوقوع في فخ المشتتات" حيث يتشبث برقم مضلل.
وكانت هناك نتيجة مقلقة للغاية، وهي عدم قدرة الذكاء الاصطناعي على الاعتراف بعدم معرفته بشيء ما. في العالم الحقيقي، إذا لم تتضمن وثيقة ما توقعًا معينًا، فإن الإجابة الصحيحة هي القول بأن المعلومات مفقودة. وفي الاختبارات، نادرًا ما رفضت نماذج الذكاء الاصطناعي الإجابة؛ وبدلاً من ذلك، عندما واجهت بيانات مفقودة، حاولت غالبًا التخمين أو الاستنباط، مما أدى إلى إنشاء رقم ملفق يبدو مهيكلًا واحترافيًا. وهذا سلوك خطير في التمويل، حيث يمكن أن يكون الرقم الخاطئ الذي يبدو واثقًا أكثر ضررًا من الاعتراف الواضح بنقص المعلومات.
خلص الباحثون إلى أن الصعوبة في عملية العناية الواجبة المالية لا تكمن فقط في تعقيد النص، بل في كيفية الوصول إلى الأدلة وإدارتها. بالنسبة لأقوى أنظمة الذكاء الاصطناعي، سمح لها الوصول إلى السياق الكامل لجميع الوثائق بتحقيق درجات تقارب الكمال، مما يشير إلى أن قصورها الرئيسي يكمن ببساطة في عدم توفر المعلومات المناسبة لها. أما بالنسبة للنماذج الأخرى، فقد كان توفر الكثير من المعلومات عبئًا عليها. تشير الدراسة إلى أنه لكي تصبح هذه الأنظمة جديرة بالثقة في الصفقات الحقيقية، فإنها تحتاج إلى سير عمل يعطي الأولوية للتحقق والتعريف على مجرد الاسترجاف البسيط. أصبح المعيار متاحًا الآن للباحثين الآخرين لاستخدامه، مما يوفر وسيلة لقياس وتحسين هذه الأنظمة قبل الوثوق بها في إدارة الأموال الحقيقية. ويظهر هذا العمل أنه بالنسبة للمهام المالية عالية المخاطر، فإن الطريق نحو الموثوقية لا يكمن في جعل الذكاء الاصطناعي أكثر ذكاءً، بل في بناء أنظمة يمكنها التحقق من إجاباتها مقابل مجموعة صارمة من القواعد والأدلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.