LLM-based Triplet Extraction from Financial Reports
تقدم هذه الورقة مساراً شبه مؤتمت لاستخراج الثلاثيات المالية باستخدام النماذج اللغوية الكبيرة ومقاييس وسيطة قائمة على الأنطولوجيا، مما يثبت أن الأنطولوجيات المستحثة آلياً تقضي على انحراف المخطط، بينما تساهم استراتيجية التحقق الهجينة في تقليل معدلات الهلوسة بشكل كبير وتكشف عن عدم تماثل منهجي في توليد الموضوع والمفعول به.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق مالي تحاول حل لغز مخبأ داخل آلاف الصفحات من التقارير السنوية للشركات. هذه التقارير تشبه الروايات الكثيفة والمعقدة المكتوبة بـ "لغة قانونية"، مليئة بالجمل المبنية للمجهول والأرقام المخفية. هدفك هو استخراج حقائق محددة — مثل "من فعل ماذا لمن؟" — وتنظيمها في قائمة مرتبة ومنظمة (رسم بياني معرفي - Knowledge Graph).
هذه الورقة البحثية تدور حول بناء روبوت محقق (باستخدام النماذج اللغوية الكبيرة، أو LLMs) للقيام بهذه المهمة. ولكن هناك عقبة: الروبوت عرضة لـ "الهلوسة"، مما يعني أنه قد يخترع أحياناً حقائق ليست موجودة في النص. وفي عالم التمويل، اختلاق الحقائق أمر خطير.
إليك قصة كيف بنى الباحثون نظاماً أفضل، مشروحة ببساطة:
١. المشكلة: فخ "الضياع في المنتصف" وفخ "التأليف"
التقارير المالية ضخمة جداً. إذا قدمت تقريراً كاملاً للروبوت دفعة واحدة، فسيشعر بالارتباك وينسى التفاصيل المهمة الموجودة في المنتصف (وهي مشكلة تسمى "الضياع في المنتصف" - lost in the middle). أيضاً، إذا طلبت من الروبوت ببساطة "البحث عن الحقائق"، فقد يصبح مبدعاً ويخترع علاقات غير موجودة لأنه يريد أن يبدو ذكياً.
التشبيه: تخيل أنك تطلب من طالب قراءة كتاب مدرسي مكون من 500 صفحة وتدوين كل حقيقة فيه. إذا أعطيته الكتاب بأكمله دفعة واحدة، فقد يفقد تركيزه. وإذا قلت له فقط "اكتب الحقائق"، فقد يبدأ في اختراع حقائق لملء الفراغات لأنه يشعر بالقلق من ترك مساحات فارغة.
٢. الحل: "كتاب القواعد" (Ontology)
لإيقاف الروبوت عن اختلاق الأمور، أعطاه الباحثون كتاب قواعد صارم يسمى الـ Ontology. هذا يشبه نموذجاً يقول له: "يمكنك فقط تدوين الحقائق التي تناسب هذه الفئات المحددة".
لقد اختبروا طريقتين لإنشاء كتاب القواعد هذا:
- كتاب القواعد اليدوي (الثابت): جلس خبير بشري وكتب كتاب قواعد عاماً بناءً على تقرير شركة واحدة، ثم حاول استخدام نفس هذا الكتاب لشركة أخرى.
- النتيجة: كان الأمر أشبه بمحاولة وضع وتد مربع في ثقب مستدير. تقرير الشركة الثانية لم يتناسب تماماً مع القواعد القديمة، لذا ارتبك الروبوت أو تجاهل القواعد.
- كتاب القواعد الآلي (الديناميكي): سُمح للروبوت ببناء كتاب قواعد خاص به أثناء قراءته لكل تقرير محدد. نظر إلى النص وقال: "أوه، هذا التقرير يتحدث عن 'الأنشطة الاستثمارية'، لذا سأضيف ذلك إلى كتاب قواعدي"، ثم واصل القراءة.
- النتيجة: كان هذا ملاءماً تماماً. لقد تم تخصيص كتاب القواعد ليكون مناسباً للوثيقة المحددة، لذا لم يرتبك الروبوت أو يخرج عن الموضوع. وقد حقق التزاماً بنسبة 100% بالقواعد.
٣. كاشف "الحقائق المزيفة": التعبير النمطي (Regex) مقابل "القاضي"
حتى مع وجود كتاب قواعد، ارتكب الروبوت بعض الأخطاء أحياناً. احتاج الباحثون إلى طريقة للتحقق مما إذا كان الروبوت يقول الحقيقة دون امتلاك "نموذج إجابة صحيح" (بما أنه لا يوجد أحد قد راجع يدوياً كل حقيقة في هذه التقارير).
قارنوا بين طريقتين للتحقق من العمل:
- "مطابق النصوص الصارم" (Regex): هذا يشبه مدققاً إملائياً يبحث فقط عن تطابق الكلمات بدقة. إذا ذكر النص "المجموعة" وكتب الروبوت "الشركة"، فإن المدقق الإملائي سيصرخ: "خطأ! لقد اخترعت هذا!".
- المشكلة: كان هذا قاسياً للغاية. فقد صنف 65% من الإجابات على أنها "مزيفة" لمجرد أن الصياغة كانت مختلفة قليلاً، رغم أن المعنى كان صحيحاً.
- "القاضي الهجين" (Regex + LLM-as-a-Judge): هذه عملية من خطوتين. أولاً، يبحث المدقق الإملائي عن تطابقات دقيقة. إذا لم يجدها، فإنه لا يفشل الروبوت فوراً. بدلاً من ذلك، يسأل روبوتاً ثانياً أكثر ذكاءً (القاضي): "مهلاً، هل تعني 'الشركة' نفس معنى 'المجموعة' في هذه الجملة؟".
- النتيجة: أدرك "القاضي" أن: "نعم، إنهما يعنيان الشيء نفسه". أدى ذلك إلى خفض معدل "الحقائق المزيفة" من 65% إلى 1.6% فقط. لقد منع النظام من معاقبة الروبوت على كونه مبدعاً قليلاً في الكلمات، مع الاستمرار في كشف الأكاذيب الحقيقية.
٤. فخ "المبني للمجهول"
لاحظ الباحثون شيئاً غريباً: كان الروبوت أكثر عرضة لاختلاق الفاعل (الـ "مَن") من المفعول به (الـ "ماذا").
التشبيه: تعشق التقارير المالية استخدام صيغة المبني للمجهول، مثل "تمت زيادة الربح بنسبة 5%". إنهم يخفون "الفاعل" (هل هو المدير التنفيذي؟ أم مجلس الإدارة؟).
- عندما يرى الروبوت جملة "تمت زيادة الربح"، فعليه أن يخمن من فعل ذلك. وغالباً ما يخمن بشكل خاطئ (يهلوس بشأن الفاعل).
- لكن "الشيء" (5%) موجود هناك في النص. من السهل نسخه ولصقه.
- الدرس: من الصعب أن تكون صادقاً بشأن من فعل الشيء عندما لا تذكر الجملة ذلك، ولكن من السهل أن تكون صادقاً بشأن ماذا حدث.
٥. الخلاصة
تعلمنا هذه الورقة البحثية ثلاثة أشياء رئيسية لبناء ذكاء اصطناعي يتعامل مع البيانات المالية:
- لا تستخدم كتاب قواعد واحد يناسب الجميع. اسمح للذكاء الاصطناعي ببناء كتاب قواعد مخصص لكل وثيقة يقرؤها. هذا يعمل بشكل أفضل بكثير.
- لا تثق في مدقق إملائي بسيط. إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي يكذب، فأنت بحاجة إلى "قاضٍ" ذكي لفهم المعنى، وليس فقط الكلمات الدقيقة.
- احذر من صيغة المبني للمجهول. يعاني الذكاء الاصطناعي أكثر عندما يخفي البشر "الفاعل" الخاص بالفعل في الجملة.
من خلال الجمع بين كتاب قواعد مخصص وقاضٍ ذكي من خطوتين، نجح الباحثون في إنشاء نظام أكثر موثوقية ودقة وجدارة بالثقة لتحويل التقارير المالية الفوضوية إلى بيانات نظيفة وقابلة للاستخدام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.